温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
大家好,欢迎收看patche flink实战系列教程,本章节为入门系列十、Python作业的使用,腾讯云六计算OIST10大数据产品生态体系的实时化分析利器,兼容opache flink作业。下面将教大家学习如何使用oceanist Python link作业。本例子首先在本地调试,之后将Python文件上传到oceanist平台运行,并将结果输出到MY色Le由计算。oceanist支持使用Python开发link作业。您可以在Python环境中使用flink所有功能,在降低开发门槛的同时,发挥pon在数据处理、机器学习领域的生态优势。首先在本地p charm中创建Python工程。
01:13
接下来使用如下命令安装flink环境,注意这里默认安装最新版本的NK。接下来编写业务逻辑,作者这里对Python link作业进行本地调试,使用data general连接器产生十条随机数据,然后经过简单的运算后,使用print连接器将数据输出到控制台。
02:21
可以看到数据正常输出。紧接着,我们将S替换为JDBC连接器,将输出的数据存入到mole。这里我们直接将文章里的代码复制过来了,然后进入mysle控制台并登录这里。作者提前创建好了表,用于接收数据。进入option控制台,在依赖管理页面中将P轮接上传。
03:03
之后在作业管理页面创建pon作业。点击开发调试,进入作业开发页面,在主程序包处引用刚刚上传的文件。单机作业参数,在内置connector处选择JDBC连接器,如需要将flink日志输出到oceanist日值,则需要在运行日志采集处选择相应的配置,之后选择相应的Python运行环境。点击保存语法检查、发布草稿、运行作业。
04:09
我们可以看到,作业已经处于运行中状态。接下来返回马控制台,查看刚刚写入的数据。进入oceanist官方文档,可以看到,Ocean不仅支持pthon文件的上传,还支持zip board上传。另外,Oceanist已经内置了许多Python相关的依赖包,如作业中需要在使用第三方Python包,可按文档说明打包上传引用即可。到此为止,我们入门系列时的演示就结束了,欢迎大家一元购体验流计算LCH。
我来说两句