00:00
大家好,欢迎收看plink实战系列教程,本章节为进阶系列一,为表关联。腾讯云六计算LIST10大数据产品生态体系的实时化分析利器,兼容opachlink作业。下面将教大家学习如何利用oist色口作业实时获取MY色口数据,与h base为表,数据关联后存入OS arch中。MYSQ的CDC源表支持对MYSQL数据库的全量和增量读取,并保证exactly want语移。MYSQLCDC底层使用了double注母来做CDC h base连接器可以作为原表为表以及追加更新数据流的目的表。ES连接器只支持写入,可以作为追加数据流的目的表,也可以作为更新数据流的目的表。进入moisql控制台,从相关实例页面进入MYSQ数据库。这里我提前创建好了数据源表,并手动插入了两条数据。
01:05
接下来,我们可以选择一台CVM进入我们购买的h base集群。同样的,我也事先创建好了为表,并手动插入了三行数据。进入ocean控制台,创建色口作业。点击作业调试,进入作业开发页面,首先创建source,单击插入模板,选择马口CDC实时数据同步。点击添加修改数据源表的相关信息。
02:31
这里proton字段配合下面留为join式使用。然后创建h base为表,单击插入模板,选择数据源表和数据目的表,点击添加修改为表相关信息。
03:36
接下来创建,单击插入模板,选择ES数据目的表,点击添加修改目的表相关信息。
04:36
最后编写业务逻辑,这里统计的是各个班级年龄大于等于18岁,并且成绩大于等于90分的人数。
05:13
这里一定要加入persistent time of语句,否则虽然仍然可以执行join,但是只会全量读取一次数据库,结果可能不符合预期。
06:04
点击保存语法检查、发布草稿、运行作业。我们可以看到,作业已经处于运行中状态。接下来进入ES控制台,通过keyboard查看数据的写入情况。可以看到数据已经正常写入,一般符合条件的有一个人。我们在往马口表手动写入一条数据。返回keyboard了,看到这个时候符合条件的有两个人了。
我来说两句