容器的下一代基础设施：腾讯云Serverless产品SCF实战

为什么选择腾讯云SCF

面临的问题

2020年上半年，我负责的业务初步完成IAAS层、PAAS层上云，借助云能力，基本解决了整体的资源供应效率、发布效率的问题。但是针对简单的接口应用、爬虫、刷任务脚本等，复用现有基础设施，交付速度一直提升不上来，后续的运维、运营工作负担也比较重。主要体现在以下几个痛点：

分析整个系统约3000+模块，约80%以上模块，大都是低流量、轻逻辑模块，基本发布一次后，再变更的概率比较低，就算有变更，也是基于非核心逻辑变更。

如何解决这部分服务的运维问题呢？从上面痛点可以看出，是资源管理粒度的问题：用管理服务的方法，来管理单薄应用。单薄应用一般功能单一，甚至是一个函数。经过参考IAAS资源演进和业界经验，决定尝试用腾讯云SCF来解决这些问题。

IAAS资源演进

使用场景、管控能力、弹性能力比较：

Serverless简介

无服务器（Serverless）不是表示没有服务器，而表示当您在使用 Serverless 时，您无需关心底层资源，也无需登录服务器和优化服务器，只需关注最核心的代码片段，即可跳过复杂的、繁琐的基本工作。核心的代码片段完全由事件或者请求触发，平台根据请求自动平行调整服务资源。Serverless 拥有近乎无限的扩容能力，空闲时，不运行任何资源。代码运行无状态，可以轻易实现快速迭代、极速部署。

业界的一些使用Serverless案例

从这三个公司的用法可以看出，应用场景主要体现在：

1、非主业务逻辑

2、前端可以闭环，无需增加中间层

所以使用云函数时，可以考虑从这两个维度选择接入业务

SCF的问题

整体来看，scf零运维管理、自动扩缩容的特性实现了单薄、非核心应用的快速试错能力，但使用下来发现有以下问题：

通过调研发现，Serverless Framework可以解决手动发布和多环境管理问题，所以云函数可以结合Serverless Framework做了一些实践，下面是一些工作记录。

Serverless Framework简介

Serverless Framework 是业界非常受欢迎的无服务器应用框架，开发者无需关心底层资源即可部署完整可用的 serverless 应用架构。Serverless Framework 具有资源编排、自动伸缩、事件驱动等能力，覆盖编码-调试-测试-部署等全生命周期，帮助开发者通过联动云资源，迅速构建 serverless 应用。

在本次实战中，我们主要使用Serverless Framework自动部署能力、多环境管理能力。

环境文件.env

部署scf时，如果没有预先在.env文件配置secret_key和secret_id，则会弹出认证界面。用户认证后，自动生成类似如下内容：

TENCENT_APP_ID=1234567890
TENCENT_SECRET_ID=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
TENCENT_SECRET_KEY=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
TENCENT_TOKEN=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

这些内容会自动过期，过期时间与控制台登陆的过期时间一致。

如果要实现登陆权限不过期，需要申请平台子账号权限，获取key和secret。

然后配置.env文件，删掉TENCENT_APP_ID、TENCENT_TOKEN，修改参数TENCENT_SECRET_ID和TENCENT_SECRET_KEY的值即可。

配置文件serverless.yml

配置文件是自动生成的

component: django # (required) name of the component. In that case, it's express.
name: mydjangoDemo # (required) name of your express component instance.
org: mydjangoDemo # (optional) serverless dashboard org. default is the first org you created during signup.
app: mydjangoDemo # (optional) serverless dashboard app. default is the same as the name property.
stage: release # (optional) serverless dashboard stage. default is dev.

inputs:
  region: ap-XXXXXXXXXX
  functionName: DjangoFunction
  djangoProjectName: mydjangocomponent
  src:
    src: ./src
  functionConf:
    timeout: 10
    memorySize: 256
    environment:
      variables:
        TEST: vale
    vpcConfig:
      subnetId: ''
      vpcId: ''
  apigatewayConf:
    protocols:
      - https
    environment: release

主要参数说明

name: 表示实例名，会用在管理路径中

app: 表示应用名，会用在管理路径中

stage: SF框架的命名空间，可以模拟云函数多环境部署

src: 代码入口所在路径

vpcConfig: 配置云函数所在网络，vpcId即vpc网络ID，subnetId即vpc网络的子网ID

使用经验

简介

本文中CI工具，使用的是蓝鲸智云开源的持续集成平台，代码地址https://github.com/tencent/bk-ci/，是一个十分好用的平台，大家可以根据文档搭起来试用。

文档地址：https://bk.tencent.com/docs/document/6.0/129/5868

基于蓝鲸+ServerlessFramework的CICD

完成基于蓝鲸的CICD需要以下几步：

获取账号的KEY和ID

1. 登陆腾讯云控制台打开访问管理，地址：https://console.cloud.tencent.com/cam/overview，如下图
2. 从左边栏进入 访问密钥 - API密钥管理，点击新建密钥(如已有密钥，可直接使用)

申请构建机

由于Serverless Framework部署云函数到腾讯云走的公网接口，所以构建机需要申请带公网设备，可以找运维协助。

设备申请好后，可以按照如下步骤将构建机加入蓝鲸

安装nodejs环境

1、SF框架需要nodejs最低V10版本，所以下载最新nodejs linux安装包、解压并移动到/usr/local目录下

[root@VM_75_248_centos ~]# wget https://nodejs.org/dist/v14.15.1/node-v14.15.1-linux-x64.tar.xz
[root@VM_75_248_centos ~]# tar xf node-v14.15.1-linux-x64.tar.xz
[root@VM_75_248_centos ~]# mv node-v14.15.1-linux-x64 /usr/local/node

2、配置PATH环境变量，并用source命令生效配置

[root@VM_75_248_centos ~]# echo 'export PATH=$PATH:/usr/local/node/bin' >> ~/.bashrc
[root@VM_75_248_centos ~]# source ~/.bashrc

3、验证node是否安装成功

[root@VM_75_248_centos ~]# node -v
v14.15.1

部署Serverless Framework

[root@VM_75_248_centos ~]# npm install -g serverless
[root@VM_75_248_centos ~]# sls -v
Framework Core: 2.11.1
Plugin: 4.1.2
SDK: 2.3.2
Components: 3.3.1

根据命令执行结果，可见已安装成功。

在蓝鲸添加构建机

1. 打开蓝鲸的环境管理，选择节点
2. 在打开的界面选择第三方构建机，打开如下弹窗。根据申请的测试机信息，选择机型、地点等。

根据弹窗：

1. 选择机器的系统，不同操作系统安装命令和安装方法不一样；
2. 复制安装 Agent 的命令，在你的构建机的目标工作空间中执行该命令，进行 Agent 的下载和安装
3. 安装完 Agent 以后，点击刷新，刷新出节点，点击导入即可。
4. 在申请的测试机上面执行上图中的命令
5. 执行完之后，点击第二步团创中的刷新，测试机就会出现在已连接的节点，点击倒入即可完成构建机导入。

构建流水线

1. 打开搭建的蓝鲸平台中的流水线
2. 本流水线主要有以下两个stage

1. 需要注意的是stage-2，选 按节点选择，找到添加的自定义构建机

1. 下面的原子任务，是bash插件。脚本内容只需要输入sls deploy即可

多环境实现

配置多环境

当前SCF没有多环境的概念，我们可以结合sf框架，模拟多环境。关键参数如图

stage是关键，用stage代表环境

functionName中有一个变量，这里是必须的。如果没这个变量，则不同环境的函数会相互覆盖，导致多环境实际无效

src是指scf入口代码真正的路径

vpcConfig是配置网络的，如果需要不同环境间强隔离，可以考虑不同vpc

environment是配置云函数的调用API，建议和stage一致

搞清楚这些参数后，可以在不同代码分枝，建不同的配置文件，结合蓝盾，即可实现多环境

多环境结果

多环境建设OK后，在Serverless Framework管理界面，可以看到如下结果

在scf控制台可以看到如下结果

与自己业务打通

scf如需访问自己传统业务，只需要修改serverless.yml文件中网络配置部分。

1. 开发一个接口，其中会调用自研接口

from django.shortcuts import render
from django.http import HttpResponse, JsonResponse
import requests, json
# Create your views here.

def index(request):
    d = requests.post('http://0.0.0.0/test_api/search_api/', data=json.dumps({'id': 398137}))
    return JsonResponse(d.json())

1. release环境，未配置网络

1. 发布release环境后，浏览器访问接口

1. 在test环境增加自研vpc网络配置

1. 浏览器访问验证，已经可以看到接口返回值了

接下来的使用方向

从云函数目前应用场景来看，主要适合实时文件处理、数据处理等场景，大流量场景用的不多，比较类似Python类的胶水语言：聚合各种接口或连接各种系统。但随着系统流量增大、承担的功能越来越重要，需要在下面几个方面实践和调研。

可用性架构输出

从官网介绍来看，小程序已具备可用区容灾、弹性自动扩容能力；借助API Gateway，可以实施流控及状态码监控。接下来可以借助这些能力做可用性架构测试。

开发流程闭环

当前使用云函数，主要是开发人员负担起了测试、灰度、上线等任务，加上函数代码本身比较简单，所以开发速度非常快。但对于一个完整的应用或子系统，如何协作，构建从开发、测试、灰度、上线的全生命周期的管理，也是接下来需要探索的一个问题。

持续运营能力

目前云函数主要的监控是控制台的调用次数，主要的日志功能就是控制台看日志。服务为维度的管理中积累的优秀监控实践、日志系统实践，目前都还不具备，如果想要有更多的核心场景使用云函数，这些能力要尽快完善。

Serverless未来发展趋势的思考

前端赋能

从高德的使用场景来看(出行界面的相关推荐功能使用的是Serverless)，在使用Serverless前，推荐相关聚合接口由后端开发(Back-end For Front-end模式)，容易形成厚的BFF层。使用Serverless后，转变为前端开发(Serverless For Front-end模式)，借助于函数级别的管理模式，也解决了厚BFF层的问题。

随着Serverless生态完善，可以预料会极大解放前端生产力，前端工程师可以承担一部分后端的工作。

简化后端

Serverless的一个特性是自动扩缩容，即在单函数无法承载算力或并发要求时，自动扩充更多实例。那像传统的生产者、消费者模型可以省略了消息层，生产者直接调用消费者，而不需要考虑消费者不够用的情况；再比如多进程编程，借助Redis等设施，也直接可以省略了多进程编程，直接调用云函数即可。

随着基础设施的完善，可以预料后端的设计模式会有新的突破，传统的设计模式会变的更加简单。

驱动基础架构升级

Serverless一个特性是零运维。零运维我的理解是目标，对于实际的it环境，往往有若干环境，若干环境中有不同的基础设施，如dns，Serverless架构如何在没有运维的情况下，Serverless怎么和各环境无缝对接而开发无感，是一个需要考虑的问题。一个可行的点是Serverless和基础网络联动。

另一个特性是自动扩缩容。作为平台服务来讲，客户越多，那客户的行为具有更大的不可预测性，自动扩容的及时性、冗余资源的预测算法，都需要更多考量。

这些问题都对我们当前的基础架构引入了新的问题和挑战。