前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >ASW 工作流最佳实践(四):并行多任务处理

ASW 工作流最佳实践(四):并行多任务处理

作者头像
腾讯云serverless团队
发布2021-06-03 18:11:28
1.1K0
发布2021-06-03 18:11:28
举报
文章被收录于专栏:Tencent Serverless 官方专栏

在数据处理、多媒体文件处理、商品审核、容器运维管理等系统架构中,往往需要并行多路任务处理的场景 。

例如电商商品审核系统,商家每天对商品进行管理更新后,商品数据需要通过商品中台进行一系列的审核操作:如 图片审核、死链检测、商品打标、文本审核、统一类目 等环节。海量更新的商品数据会先投递到 Ckafka,商品中台需要一个能快速处理大量数据,高并发、高吞吐量的数据处理流水线。

利用 ASW 低代码、灵活便捷的特性,通过 ASW + 云函数作为微服务的粘合剂,可快速搭建一个高效可用、易扩展性的微服务架构应用。ASW 凭借云平台和云函数的 HA 特性,可以轻松地无限扩展,具备兼容公有云,私有云,自建服务的融合能力 。

Parallel 节点 & Map 节点

在数据处理流水线中,ASW 工作流的并发能力主要依赖于 Parallel 节点Map 节点

  • Parallel 节点,也称 并行节点。使用该节点可以在工作流中创建并行的任务分支,让多个任务并行执行,大大提升了业务数据处理的效率。
  • Map 节点,也称 循环节点。使用该节点对数组中的每一个元素任务计算,且这些元素计算可以并发执行,大大提升了数据处理的吞吐量。

Map 节点与 Parallel 节点都具有并发处理的能力,两者的区别如下:

操作指引

1. 登录 应用与编排服务流控制台,点击「新建」,进入创建工作流页面,选择「入门模板 - Parallel 并行」。

2. 后续的步骤参考《使用 ASW 编排云函数》中介绍的方式,同时可以将分支中的节点替换成需要调用的云函数。


ASW 工作流是一个用来协调分布式任务执行的编排产品,根据腾讯云状态语言定义来编排分布式任务和服务,工作流会按照设定好的顺序可靠地协调执行,将云函数与多个腾讯云服务按步骤进行调度,通过低代码配置,就可以完成开发和运行业务流程所需要的任务协调、状态管理以及错误处理等繁琐工作。

识别下方 ? 二维码,即可加入腾讯云 ASW 交流群。


推荐阅读

One More Thing


欢迎进入千人 QQ 群 (871445853) 交流 Serverless!

  • GitHub: github.com/serverless
  • 官网: cloud.tencent.com/product/serverless-catalog

点击「阅读原文」,深入了解「腾讯云 ASW 工作流」产品服务。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-06-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 ServerlessCloudNative 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云函数
云函数(Serverless Cloud Function,SCF)是腾讯云为企业和开发者们提供的无服务器执行环境,帮助您在无需购买和管理服务器的情况下运行代码。您只需使用平台支持的语言编写核心代码并设置代码运行的条件,即可在腾讯云基础设施上弹性、安全地运行代码。云函数是实时文件处理和数据处理等场景下理想的计算平台。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档