ASW 应用与服务编排工作流是腾讯云服务的编排工具,用户可以将多个云服务编排到业务场景相关的应用程序中,可以通过 ASW 工作流编排分布式任务,管理执行任务的顺序、错误处理、重试逻辑和状态,从而显著减轻团队的研发负担。
通过 ASW Map 并发能力编排调用云函数,完成批量数据的处理,并将结果写回存储,提供开箱即用、灵活便捷、高弹性高可用的数据处理系统模型。尤其适合证券交易数据统计,电商系统商品订单数据分析,微博热点分析等大数据分析场景。本文为您介绍如何使用 ASW 编排云函数,快速搭建一个高可用的数据处理流水线。
01.
ASW 工作流优势
02.
系统架构
使用 ASW 创建编排云函数,先完成业务鉴权等预处理操作,然后通过 Map 并发函数读取数据,进行数据处理,将处理后的数据存储到云端数据库。同时,批量处理的数据可以直接给发送到图表与模型分析中。
03.
ASW 数据分析处理方案示例
在《ASW 工作流最佳实践(二):使用 ASW 并发调用函数》文章中,使用 ASW 的 Map 节点能力进行并发的数据求和计算。本期将为您演示如何通过 ASW 工作流处理「一个并发获取多个微博用户信息」的完整数据分析流程。
应用部署后,将为您创建以下资源:
1. 创建工作流
1.1 登录 ASW 应用与编排服务流控制台。在工作流页面,单击「新建」,进入创建工作流页面,单击「示例项目」,选择「数据分析处理」模板。
1.2 单击「下一步」,在「配置基本信息」页面,您将会看到示例项目需要创建的资源,单击「开始部署」,等待资源创建成功,完成示例项目的部署。
2. 运行工作流
2.1 在工作流列表,单击「名称」链接进入工作流,您可以在界面中看到工作流的基本信息,单击「执行」下的「开始执行」 。
2.2 在弹出的「开始执行」窗口中,会有默认的输入参数,直接单击「确定」,运行工作流。
2.3 执行完成后,可以在详情页查看执行结果。滑动至页面最下方,在「执行历史记录」下,您可以查看子节点的运行情况。
2.4 单击「资源」中的云函数链接,可以直接跳到云函数控制台,查看函数执行详情。
识别下方 ? 二维码,即可加入腾讯云 ASW 交流群。
推荐阅读
One More Thing
欢迎进入千人 QQ 群 (871445853) 交流 Serverless!
点击「阅读原文」,深入了解「腾讯云 ASW 工作流」产品服务。
本文分享自 ServerlessCloudNative 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!