本文面向有 Python Web 基础的小伙伴
作者:HelloGitHub-吱吱
这里是 HelloGitHub 推出的《讲解开源项目》系列,今天要向小伙伴们介绍一个 Python 无服务(Serverless)框架 Zappa。
Zappa 让我们可以轻松部署 Python 应用程序:仅需几条命令、打包代码、上传云服务器、程序上线,bingo 一气呵成!从此减少部署成本,放下运维的重担。仅需你有一点点 Python Web 基础!
它到底有多便捷?一条命令即刻部署!
项目地址:https://github.com/Miserlou/Zappa
下面就让我们动手来试试吧!
刚开篇便提到了一个莫名其妙的名词:无服务(Serverless),一开始我也是问号脸,经过多方搜证,我们可以简单的认为 Serverless 是指不必担心底层基础结构,不需要管理服务器,从而来构建和运行应用程序。具体概念小课堂如下:
回忆一下,平时上线一个简单的 Python Web 应用的过程。
而对于使用 Serverless 架构的应用,我们只需要关心我们的应用编写和核心业务,无需操心云主机、操作系统、资源分配和 Web 服务器配置等相关问题,无需考虑服务器的规格大小、存储类型、网络带宽、自动扩缩容问题,无需再对服务器进行运维、不断打系统补丁和应用补丁、无需进行数据备份等工作。一切非核心业务都外包给了公共云营运商,让开发人员从复杂的部署和运维环境中脱身出来,专注于业务本身的价值。
用 Zappa 里的一句话说就是 “without any permanent infrastructure”(无需任何永久性基础设施)。
敲黑板,尽管从名字上说是 Serverless,但是仍然需要物理服务器,只是我们开发人员成了甩手掌柜。
在该项目中,伸手白piao AWS 海外区域账户免费 AWS Lambda 套餐。AWS Lambda 作为 Serverless 最早的框架产品由亚马逊在2014年推出,是一种无服务器的计算服务,无需预置或管理服务器即可运行代码。Lambda 几乎可以为任何类型的应用程序或后端服务运行代码,我们只需上传相应的代码,它会处理运行和扩展代码所需的一切工作。
本篇文章的主角:Zappa 登场!我们可以通过 Zappa 工具体验一下 Serverless 技术,用它实现我们 Python 应用程序的无服务器部署,初步体验无限伸缩扩展、零宕机、零维护的快捷。有了 Zappa,我们无需:
实战时间:已经实验(踩坑)成功(不断)的我就来分享部署一个简单的 Flask
应用的过程,不要担心跟着做你也可以~
保证自己的项目是运行在虚拟环境下。
# 需要安装 Python 3.x 版本
python --version
# 安装 Pipenv
pip install --user pipenv
# 进入自己的项目
cd demo
# 实例化 pipfile 和 venv
pipenv shell
安装 Zappa 和 Flask,项目需要其他库的话,可自行添加。
$ pipenv install zappa flask
在目录下创建 my_app.py
文件,写入官方样例,可以先 pipenv run python my_app.py
看看是否能正常运行
from flask import Flask
app = Flask(__name__)
@app.route('/')
def hello():
return "hello, from Zappa!\n"
if __name__ == '__main__':
app.run()
注册 AWS 账户,并且正确安装 AWS credentials file
My Security Credentials
下的 Access keys (access key ID and secret access key)
,如果没有则创建一个,记住 access key ID
和 secret access key
~/.aws
目录下会出现两个文件 config 和 credentials,credentials 中储存了 AWS 的 access key ID
和 secret access key
, config 中储存了 region name 和 output format 信息。通过执行下面语句进行初始化,定义部署和配置的设置,自动检测应用类型(Flask 或 Django)
$ zappa init
在执行过程中,可能需要如下设置,后续也可以在新生成的 zappa_setting.json
的配置文件中修改:
完成后,我们的项目目录中将有一个 zappa_settings.json
文件,里面是我们刚刚定义的基本部署设置,后期我们可以按照自己的需求修改此文件。
{
"dev": {
"app_function": "my_app.app",
"profile_name": null,
"project_name": "demo",
"runtime": "python3.6",
"s3_bucket": "zappa-ti0ra29xi"
}
}
注意如果之前已经在 ~/.aws/config
文件中添加 region 信息,则会在 zappa init
的时候自动寻找到这些 region 信息,无需后续修改。
如果之前没有添加,则修改 zappa_settings.json
,添加 region 信息如下:
# 修改如下
{
"dev": {
"app_function": "my_app.app",
"profile_name": null,
"project_name": "demo",
"runtime": "python3.6",
"s3_bucket": "zappa-ti0ra29xi"
"aws_region": "us-west-2"
}
}
region 的信息可以自行选择。
配置设置后,可以使用如下命令将应用程序打包并部署:
$ zappa deploy dev
当我们调用 deploy 时,Zappa 会自动将我们的应用程序和本地虚拟环境打包到 Lambda 兼容的 archive,用为 Lambda 预先编译的版本替换所有依赖项,设置功能处理程序和必要的 WSGI 中间件,然后上传 archive 到 S3,创建和管理必要的Amazon IAM 策略和角色,将其注册为新的 Lambda function,创建新的 API 网关资源,为其创建 WSGI 兼容的路由,将其链接到新的 Lambda function,最后从 S3 bucket 中删除 archive。
执行成功后,就会出现一个链接,点击链接即可访问我们的简易 Web 应用。看到已上线的应用程序,心内窃喜,直呼快准狠。
更新操作:假设应用程序已经部署完毕,并且只需要上传新的 Python 代码,而无需修改基础路由,则可以执行以下操作:
$ zappa update dev
这将创建一个新的 archive,将其上传到 S3 并更新 Lambda function 以使用新代码。
查看部署和事件计划的状态,只需使用命令:
$ zappa status production
查看部署的日志:
$ zappa tail dev
# 过滤 HTTP 请求
$ zappa tail dev --http
# 执行相反操作,并且仅显示非 HTTP 事件和日志消息
$ zappa tail dev --non-http
# 选择时长
$ zappa tail dev --since 4h # 4 hours
回滚操作:通过提供要返回的修订版本数将部署的代码回滚到以前的版本。
# 回滚到3年前部署的版本
$ zappa rollback production -n 3
安排 function 定期执行:修改 zappa_setting.json
,加入如下内容:
{
"dev": {
...
"events": [{
// The function to execute
"function": "your_module.your_function",
// When to execute it (in cron or rate format)
"expression": "rate(1 minute)"
}],
...
}
}
然后执行如下操作,我们的 function 就会在每分钟执行一次。
$ zappa schedule dev
# cancal
$ zappa unschedule dev
取消部署:如果要删除以前发布的 API Gateway 和 Lambda function,则只需:
$ zappa unschedule dev
在成功运行一次之前,踩坑千千万万遍,都是因为自己手残眼瞎魔改了很多地方,把经历过的报错记录下来,分享给和我一样的小小白。
“Unable to import module ‘handler’: attempted relative import with no known parent package”
:原因是我们期望的依赖在虚拟的环境中没有,需要查看自己虚拟环境中的依赖是否完整。
出现如下报错,可以更换一个 region 信息。
$ zappa deploy dev
Calling deploy for stage dev..
Creating demo-dev-ZappaLambdaExecutionRole IAM Role..
Error: Failed to manage IAM roles!
You may lack the necessary AWS permissions to automatically manage a Zappa execution role.
Exception reported by AWS:An error occurred (InvalidClientTokenId) when calling the CreateRole operation: The security token included in the request is invalid.
To fix this, see here: https://github.com/Miserlou/Zappa#custom-aws-iam-roles-and-policies-for-deployment
如果我们在 zappa init
的时候,不使用默认分配的 s3_bucket
,则须注意自己的名称是不允许重名的,否则会报错 botocore.errorfactory.BucketAlreadyExists: An error occurred (BucketAlreadyExists) when calling the CreateBucket operation: The requested bucket name is not available. The bucket namespace is shared by all users of the system. Please select a different name and try again.
。
是不是当自己成功部署后,突然觉得妙不可言,一身轻松,好像再也没有了之前所说的繁琐的过程,反而几条命令,白piao AWS 的服务,咱的应用程序就轻巧上线了呢,还不赶紧把生成的链接分享给小伙伴们点击一下。
至此,我们已经可以基本实现快速部署一个简单的 Flask 应用了,由于篇幅有限,还有部分 Zappa 的高级功能没有提及,以及如何使用 Zappa 部署 Django 应用或者一个更为庞大的项目(包含数据库等),希望感兴趣的小伙伴们能够多多尝试,我已经开始期待的搓搓手了。如果大家对开源项目感兴趣,请第一时间关注 HelloGitHub,我们将会为大家带来更多有趣的干货内容。