首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

《Python分布式计算》 第5章 云平台部署Python (Distributed Computing with Python)云计算和AWS创建AWS账户创建一个EC2实例使用Amazon S3存

上一章介绍了创建Python分布式应用的Celery和其它工具。我们学习了不同的分布式计算架构:分布任务队列和分布对象。然而,还有一个课题没有涉及。这就时在多台机器上部署完成的应用。本章就来学习。 这里,我们来学习Amazon Web Services (AWS),它是市场领先的云服务产品,以在上面部署分布式应用。云平台不是部署应用的唯一方式,下一章,我们会学习另一种部署方式,HPC集群。部署到AWS或它的竞品是一个相对廉价的方式。 云计算和AWS AWS是云计算的领先提供商,它的产品是基于互联网的按需计算

06

常用python组件包

$ pip list Package Version ---------------------- ------------- aniso8601 2.0.0 asn1crypto 0.23.0 astroid 1.6.2 attrs 17.2.0 Automat 0.6.0 awscli 1.14.14 bcrypt 3.1.4 beautifulsoup4 4.6.0 bleach 1.5.0 boto 2.48.0 boto3 1.5.8 botocore 1.8.22 bs4 0.0.1 bz2file 0.98 certifi 2017.7.27.1 cffi 1.11.0 chardet 3.0.4 click 6.7 colorama 0.3.9 constantly 15.1.0 coreapi 2.3.3 coreschema 0.0.4 cryptography 2.0.3 cssselect 1.0.1 cycler 0.10.0 cymem 1.31.2 cypari 2.2.0 Cython 0.28.2 cytoolz 0.8.2 de-core-news-sm 2.0.0 decorator 4.1.2 dill 0.2.7.1 Django 1.11.5 django-redis 4.8.0 django-rest-swagger 2.1.2 djangorestframework 3.7.3 docutils 0.14 dpath 1.4.2 en-blade-model-sm 2.0.0 en-core-web-lg 2.0.0 en-core-web-md 2.0.0 en-core-web-sm 2.0.0 entrypoints 0.2.3 es-core-news-sm 2.0.0 fabric 2.0.1 Fabric3 1.14.post1 fasttext 0.8.3 flasgger 0.8.3 Flask 1.0.2 Flask-RESTful 0.3.6 flask-swagger 0.2.13 fr-core-news-md 2.0.0 fr-core-news-sm 2.0.0 ftfy 4.4.3 future 0.16.0 FXrays 1.3.3 gensim 3.0.0 h5py 2.7.1 html5lib 0.9999999 hyperlink 17.3.1 idna 2.6 incremental 17.5.0 invoke 1.0.0 ipykernel 4.6.1 ipython 6.2.0 ipython-genutils 0.2.0 ipywidgets 7.0.1

02

安装s3cmd

一、测试S3访问     root@node4:~# apt-get install python-boto     root@node4:~# vim s2test.py     import boto     import boto.s3.connection     access_key = 'SSCRZQ0L7O6UM71OYV7H'     secret_key = '8VQ8Gr5CaxL5ZokorupYbf5xQ+AXYqA+KFa4OlZ+'     conn = boto.connect_s3(     aws_access_key_id = access_key,     aws_secret_access_key = secret_key,     #host = '{hostname}'     host = 'node4',     is_secure=False,     calling_format = boto.s3.connection.OrdinaryCallingFormat(),     )     bucket = conn.create_bucket('my-new-bucket-node4')     for bucket in conn.get_all_buckets():             print "{name}\t{created}".format(                    name = bucket.name,                    created = bucket.creation_date,     )     root@node4:~# python s2test.py     说明:access_key和secret_key需修改成被测试的用户的access_key和secret_key。 二、下载s3cmd安装包并安装     下载地址:https://sourceforge.net/projects/s3tools/files/s3cmd/     我们这里选择s3cmd-1.5.2.tar.gz版本。     root@node4:~# tar -zxvf s3cmd-1.5.2.tar.gz     root@node4:~# cd s3cmd-1.5.2     root@node4:~# apt-get install python-setuptools     root@node4:~# python setup.py install     root@node4:~# s3cmd --configure     注意:access_key和secret_key需分别配置成S3用户的access_key和secret_key     配置完成后会生成/root/.s3cfg文件,我们修改该文件中的host_base和host_bucket两项,用主机名替代原有网址。     root@node4:~# vim /root/.s3cfg     host_base = node4     host_bucket = %(bucket)s.node4     root@node4:~# ln -s /s3cmd-1.5.2/build/scripts-2.7/s3cmd  /usr/bin/s3cmd 三、安装dnsmasq     root@node4:~# apt-get install dnsmasq     root@node4:~# vim /etc/dnsmasq.conf     address = /node4/192.168.107.24(node4为主机名,192.168.107.24为该主机的IP地址)     listen-address = 127.0.0.1     root@node4:~# service dnsmasq restart

03
领券