演示示例说明

最近更新时间:2019-10-23 17:32:52

为了方便大家快速了解流计算 SQL 作业的创建和开发过程,这里设计了一个简单的网站流量统计示例。下文主要介绍在共享集群上创建一个 SQL 作业的操作流程。

操作流程

SQL作业示例操作流程

示例介绍

PV/UV 是网站流量统计和分析的重要指标,PV(Page View)即页面浏览次数,UV(Unique Visitor)即独立访客人数,网站主可以结合它们来掌握网站活跃情况。

  • 示例名称:网站流量统计。
  • 示例目标:了解网站各页面每分钟的实时访问情况。
  • 示例方法:使用 CKafka 作为流式数据源,来接收网站点击流的实时数据,通过流计算来统计每个页面 ID 每分钟的 PV 和 UV,并将它与保存页面名映射关系的维表实时 Join,得到每个页面名对应的每分钟 PV 和 UV。

示例架构

流计算 SQL 作业使用 CKafka 作为数据输入管道,使用腾讯云数据库 MySQL 作为输入数据维表进行 Join 计算,并将结果输出到腾讯云数据库。

SQL作业示例架构图

消息队列 Ckafka 源表的表结构:

字段名 类型 描述
record_time varchar 网站页面访问时间,yyyy-MM-dd HH:mm:ss格式
user_id varchar 访客 ID
page_id varchar 网站页面 ID

云数据库 MySQL 维表的表结构:

字段名 类型 描述
page_id varchar 网站页面 ID
page_name varchar 网站页面名称

云数据库 MySQL 结果表的表结构:

字段名 类型 描述
record_time varchar 网站页面访问时间(分钟),yyyy-MM-dd HH:mm格式
page_name varchar 网站页面名称
pv bigint 网站页面在当前分钟内的浏览量
uv bigint 网站页面在当前分钟内的独立访客数量