最佳实践

文档中心 > 云函数 > 客户案例 > 电子商务行业案例

电子商务行业案例

最近更新时间:2021-08-23 18:00:49

客户介绍

某电子商务企业,核心宗旨是购物与社区的相互结合,为更多消费者提供更有效的购物决策建议。

客户痛点

该企业上每天有几百万用户在线交流时尚、购物的话题,这些行为会产生大量数据,当这些数据源产生数据后,需要有一个组件获取数据源的数据,并将数据写到 Kafka。研发团队以往的解决办法,一是通过 Logstash、Filebeat 等开源的数据存储方案处理,二是研发团队开发代码实现这种逻辑。

随着业务的不断扩张,数据越来越大,为了保障可用性、可靠性以及性能相关的内容,需要大量的研发资源投入,因此,亟待新的解决方案支持。

Serverless + Ckafka 解决方案

企业团队对比市场上的技术解决方案,从学习成本、扩缩容能力以及人工维护成本和稳定性方面考虑,腾讯云 Serverless 云函数具有天然的优势:

  • 支持多语言。
  • 学习成本低,无需学习开源方案和分布式调度。
  • 无限的弹性扩容能力。
  • 多重触发方式,事件触发、定时触发、主动触发。
  • 几乎没有集群稳定性和可用性的维护成本。
  • 按实际用量计费,1ms计费,费用较低。
说明:

如需了解更多 CKafka,请参见 消息队列 CKafka

腾讯云 Serverless 云函数 + Ckafka 提供自建的 UI 交互界面,可进行流量告警配置,同时控制台上可进行扩容配置且安全可靠。

腾讯云 Serverless 云函数团队为企业提供的业务解决方案,是通过云函数将一个实例中某个 Topic 的消息转储至另一个实例对应的 Topic上,对比原来的 Connector 方案,云函数能够通过腾讯云控制台进行管理,能控制触发阈值,触发开关等,可以很方便地对每个函数进行管理。简单来讲:

  • 消息转储:将 Topic 的消息同步至离线集群。
  • 集群迁移:在集群迁移合并的过程中起到双写作用。

经过对比,腾讯云 Serverless 云函数 + Ckafka 是最优的解决方案,企业最终决定选择使用腾讯云 Serverless 云函数 + Ckafka 运用在消息同步业务上。

方案优势

Kafka 社区的繁荣,越来越多的电商用户开始使用 Kafka 进行日志收集、大数据分析、流式数据处理等。腾讯云 Ckafka 也借助了开源社区的力量,和云函数结合,推出了非常实用的功能,其优化点包括:

  • 基于 ApacheKafka 的分布式、高可扩展、高吞吐。
  • 100%兼容 Apache KafkaAPI(0.9及0.10)。
  • 无需部署,直接使用 Kafka 所有功能。
  • Ckafka 封装所有集群细节,无需用户运维。
  • 支持动态升降实例配置,按照需求付费(开发中)。
  • 对消息引擎优化,性能比社区最高提升50%。

如下图,云函数可以实时消费 Ckafka 中的消息,例如,数据转存、日志清洗、实时消费等。并且,像数据转存的功能已经集成到 Ckafka 控制台上,用户可以一键开启使用,大大降低了用户使用的复杂度。

对比使用云主机自建 Ckafka Consumer 的方式,云函数帮用户屏蔽掉了很多不必要的开销:

  • 云函数控制台上可以一键开启 Ckafka 触发器,帮助用户自动创建 Consumer,并由云函数平台来维护组建的高可用。
  • Ckafka 触发器自身支持很多实用配置,例如支持配置 offset 位置、支持配置1 - 1万消息聚合条数、支持配置1 - 1万次重试次数等。
  • 基于云函数开发的业务逻辑,天然支持弹性伸缩,无需额外搭建和维护服务器集群等。
目录