Flink 实践教程-进阶（7）：基础运维原创

大家好，欢迎收看patche winnk实战系列教程，本章节为进阶系列七、基础运维腾讯云六计算LIST10大数据产品生态体系的实时化分析利器，兼容opachlink作业。本视频主要分为两方面，基本错误和基础运维。基本错误方面为大家归纳了七种基本的用户可以自己规避的常见错误，将通过PPT为大家一一讲解。基础运维章节将通过演示的方式讲解。首先是缺少DML语句的问题，DML语句只查询语句和插入语句。一个完整的色口作业必须包括source think和插入语句这三个拈。如左侧例子，首先创建一个source，这个source使用my circle CDC连接器实时捕获blog数据。然后创建一个S。这个使用JDBC连接器将数据转换后的数据落入对应的数据目的表。然后进行插入语句或者查询语句的编写，用于将实时捕获的数据进行转换后插入到sink端。经常有客户在写色口作业的时候没写插入语句导致报错。

另一个常见的问题就是数据类型映射错误的问题，这里借用ocean官方文档里面MYSQLCDC的字段类型与Li字段类型的数据映射作为示例。大家在创建source table或者sink table的时候注意其字段类型需要与数据源表或数据目的表的字段类型相对应。尽管有些数据库的某些字段类型在连接器读取数据的时候是可以自动转换的，如不能转换的则需要对应好。接下来一个问题就是连接超时失败的相关问题。如右侧所示，在创建source和s share，大家请检查好with里面的配置参数，尤其是IP地址端口、ul、用户及密码、用户权限、数据库及表明等参数的正确性。

否则作业运行时汇报相关的连接错误。这里使用Co作为source my circlele作为S，演示了各种场景下的报错信息。然后是主键定义问题。source端使用flink CDC系列接受数据源表变更数据时需定义主键，S端如果需要以更新方式写入数据时，也需要定义主键。Think n定义主键的两种常见场景如下，其一，Source的使用，Fli c c系列，其二，转换过程中有更新、删除数据场景存在，例如去重。大家看看右侧的例子，这种写法是错误的，原因就是source但使用mysle CBC连接器，但是S定义主键。这种错误场景在语法检查时就不会通过正确写法应该在sin单加一个主键，定义窗口函数的错误用法也经常出现。首先这里要记住3.1LINK13版本使用window in TV f函数对窗口函数进行优化，其更符合色口写法规范，底层优化逻辑也更好，建议优先使用窗口tvif函数。

二窗口TF函数并不能单独使用，目前需配合聚合函数使用，社区后续会进行优化。三、窗口聚合函数并不能处理更新和删除的数据。以下是两种常见的错误用法，1SOURCE连接器使用flink CDC系列。二需中后使用窗口聚合函数右侧侧口就是这种错误写法。最后就是与作业相关的两个问题了，其一，JA bogada这个问题主要是用户在打包的时候将flink相关的核心依赖打了进去，其实这里oist平台已经内置了这些jar将po文件依赖的scope。设置为provided即可，省去相关依赖。其二就是打包的时候没有把运行主类打包进去，或者运行主类填写错误，导致启动jar作业的时候报错。

在流计算L平台日常运营中，经翅有客户咨询这方面问题，这里给大家做了一下讲解，这都是些可以规避的问题，然后给大家讲解下基础运维相关的问题，主要分为两部分，监控和日志。监控部分可以实时监控自己作业的运行情况，也可设置告警，及时通知用户，日志部分主要在作业出问题后，方便用户定位问题。下面来看一下这么一个简单的DEMO，这个DEMO的source使用MYSQLCDC连接器实时读取sle数据，经过简单的转换后，使用JDBC连接器写入Mar口。我们点开监控页面，可以看到概览页主要包括两项作业概览指标和task manager概览指标。作业概览指标包括每秒流入数据的条数、每秒流出数据的条数、算子计算总耗时等等。task manager概览指标主要包括task manager CPU使用率、对内存使用率等。

另外还有checkpoint job manager task manager task相关的指标监控。打开日志页面，我们可以查看作业不同运行版本的启动日志和运行日志，另外也可按异常关键字进行搜索对应的错误日志，方便排查问题。Ocean内置了常见的异常关键字，点击搜索即可。官方文档也对这些异常关键字做出了解释，并告知用户哪种异常情况下该使用什么样的关键字。

另外，Oless也提供了fank UI链接和云监控链接，打开云监控页面，这里有更加详细的监控指标。到此为止，我们进阶系列期的演示就结束了，欢迎大家一元购体验流计算lchless。