Serverless ETL应用案例

背景

许多大型的电商系统，直播系统，流媒体系统，每天都会产生大量的数据，包括不仅限于交流，交易、浏览等等，这些行为会产生大量的数据，当这些数据源产生数据后，需要有一个组件获取数据源的数据，将数据写到 kafka，在传统的解决办法中，一是通过 Lofstash、Filebeat 等开源的数据存储方案处理，二是自己写代码实现这种逻辑。开始数据量小的时候还可以，随着业务的不断扩张，数据越来越大，为了保障可用性、可靠性以及性能相关的内容，需要大量的研发资源投入，因此，亟待新的解决方案支持。

方案设计

我们可以通过腾讯云severless + Ckafka解决这个难题。

腾讯云 Serverless 云函数具有天然的优势：

• 支持多语言
• 学习成本低，不需要学习开源方案，不需要学习分布式调度
• 无限的弹性扩容能力
• 多重触发方式，事件触发、定时触发、主动触发
• 集群稳定性和可用性的维护成本几乎没有
• 按实际用量计费，1ms计费，费用很低 同时，腾讯云 Serverless 云函数+ Ckafka 提供自建的 UI 交互界面，可进行流量告警配置，同时控制台上可进行扩容配置且安全可靠。那么我们设计整体架构如下：

image.png

对比使用云主机自建 Ckafka Consumer 的方式，云函数帮用户屏蔽掉了很多不必要的开销：

• 云函数控制台上可以一键开启 Ckafka 触发器，帮助用户自动创建 Consumer，并由云函数平台来维护组建的高可用；
• Ckafka 触发器自身支持很多实用的配置：支持配置 offset 位置、支持配置1~1万消息聚合条数、支持配置 1~1万次重试次数等； 基于云函数开发的业务逻辑，天然支持弹性伸缩，无需额外搭建和维护服务器集群等。