专栏首页M莫的博客Debezium kafka connector 运行报错1236

Debezium kafka connector 运行报错1236

今天发现stag环境kafka connector运行报错( curl 172.18.1.1:8083/connectors/order-center-connector/status)

12345678910111213141516

{ "name": "order-center-connector", "connector": { "state": "RUNNING", "worker_id": "172.18.1.1:8083" }, "tasks": [ { "state": "FAILED", "trace": "org.apache.kafka.connect.errors.ConnectException: The slave is connecting using CHANGE MASTER TO MASTER_AUTO_POSITION = 1, but the master has purged binary logs containing GTIDs that the slave requires. Error code: 1236; SQLSTATE: HY000.\n\tat io.debezium.connector.mysql.AbstractReader.wrap(AbstractReader.java:200)\n\tat io.debezium.connector.mysql.AbstractReader.failed(AbstractReader.java:167)\n\tat io.debezium.connector.mysql.BinlogReader$ReaderThreadLifecycleListener.onCommunicationFailure(BinlogReader.java:955)\n\tat com.github.shyiko.mysql.binlog.BinaryLogClient.listenForEventPackets(BinaryLogClient.java:921)\n\tat com.github.shyiko.mysql.binlog.BinaryLogClient.connect(BinaryLogClient.java:559)\n\tat com.github.shyiko.mysql.binlog.BinaryLogClient$7.run(BinaryLogClient.java:793)\n\tat java.lang.Thread.run(Thread.java:745)\nCaused by: com.github.shyiko.mysql.binlog.network.ServerException: The slave is connecting using CHANGE MASTER TO MASTER_AUTO_POSITION = 1, but the master has purged binary logs containing GTIDs that the slave requires.\n\tat com.github.shyiko.mysql.binlog.BinaryLogClient.listenForEventPackets(BinaryLogClient.java:882)\n\t... 3 more\n", "id": 0, "worker_id": "172.18.1.1:8083" } ], "type": "source" }

搜索查了下,按照规避Debezium master purged GTID问题的说法,分析了分析博主是正确的,但是按照他的实现方式(如下)还是不能够解决问题。

12345678910111213141516171819202122

curl -H "Content-Type:application/json" -XPUT 'http://172.18.1.1:8083/connectors/order-center-connector/config' -d ' { "connector.class": "io.debezium.connector.mysql.MySqlConnector", "tasks.max": "1", "database.hostname": "sha2app220.stag.rs.com", "database.port": "3306", "database.user": "debezium", "database.password": "password1234567890", "database.server.id": "19991", "database.server.name": "trade_order_0", "database.whitelist": "db_order", "include.schema.changes": "false", "snapshot.mode": "schema_only", "snapshot.locking.mode": "none", "gtid.source.includes":"631357f9-95a0-11e6-a28c-005056b50019.*,631c2fd3-95a0-11e6-a28c-005056b51ac6.*,d9af3b6a-cfe3-11e7-a3ce-005056ab1bc3:1-36631495,fefa6b5b-d00f-11e7-a4ee-005056ab5e4d.*", "database.history.kafka.bootstrap.servers": "base6511.stag.rs.com:9092,base6512.stag.rs.com:9092,base6513.stag.rs.com:9092", "database.history.kafka.topic": "dbhistory.trade_order_0", "decimal.handling.mode": "string", "table.whitelist": "db_order.tx_order,db_order.tx_order_addition,db_order.tx_customer_service", "database.history.store.only.monitored.tables.ddl":"true", "database.history.skip.unparseable.ddl":"true" }'

最后发现解决这个问题比较简单,只需要把之前的order-center-connector删除掉,重新建立不同名称的connector就行了,如下

1234567891011121314151617181920

curl -H "Content-Type:application/json" -XPUT 'http://172.18.1.1:8083/connectors/order-center-connector1/config' -d ' { "connector.class": "io.debezium.connector.mysql.MySqlConnector", "tasks.max": "1", "database.hostname": "sha2app220.stag.rs.com", "database.port": "3306", "database.user": "debezium", "database.password": "password1234567890", "database.server.id": "19991", "database.server.name": "trade_order_0", "database.whitelist": "db_order", "include.schema.changes": "false", "snapshot.mode": "schema_only", "snapshot.locking.mode": "none", "database.history.kafka.topic": "dbhistory.trade_order_0", "decimal.handling.mode": "string", "table.whitelist": "db_order.tx_order,db_order.tx_order_addition,db_order.tx_customer_service", "database.history.store.only.monitored.tables.ddl":"true", "database.history.skip.unparseable.ddl":"true" }'

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python——量化分析常用命令介绍(二)

    不知不觉,2019过半了。最近节奏有点慌乱,看了点玄学,一晃2个周过去了,然而,并没有收获多少,感觉自己不是这块料

    Ed_Frey
  • 如何批量打印可变内容的方法

    在可变数据软件中,批量生成可变内容是一种不可缺少而且是非常专业的一项功能,但是在很多不太了解可变内容批量打印的用户,可能会不太理解其制作原理或者生...

    用户5759861
  • 项目中常用的19条MySQL优化,升职加薪必看!

    MySQL对于IN做了相应的优化,即将IN中的常量全部存储在一个数组里面,而且这个数组是排好序的。但是如果数值较多,产生的消耗也是比较大的。再例如:select...

    秃头哥编程
  • 第十章 LAMP架构

    说到LAMP,实际是四项应用的简称,即:Linux、apache、MySQL、PHP。LAMP比较适合于互联网页企业的web服务部署,使用PHP语言编写网页,使...

    晓天
  • 自动化测试解决验证码问题

    短信验证码只做了手工测试,当时想的是短信验证码需要一台手机,并且能够发送验证码,由于当时没有做移动端的任何测试,考虑到成本问题只能在自动化测试是放弃这种登录验证...

    软测小生
  • 从接口到工厂 设计模式也很简单

    本章从代码的角度再来解读一下接口这个知识点。嗯~辣条既然那么好吃,本章先继续吃吃辣条。。。

    用户5745563
  • 一次给女朋友转账引发我对分布式事务的思考

    前两天发了工资,第一反应是想着要给远方的女朋友一点惊喜!于是打开了平安银行的APP给女朋友转点钱!填写上对方招商银行卡的卡号、开户名,一键转账!搞定!在我点击的...

    秃头哥编程
  • 如何用条码软件生成ISBN书号条形码

    条形码在现代社会可以说是随处可见,而且它在运输行业、商品流通、图书管理、邮政管理等等都有其自己的条码类型,本文我们就来了解一下图书方面的条码类型I...

    用户5759861
  • Spring的三大器之监听器

    现在来说说Servlet的监听器Listener,它是实现了javax.servlet.ServletContextListener 接口的服务器端程序,它也是...

    一觉睡到小时候
  • AWS发布新服务,屠MongoDB祭天

    在大家都忙着取乐贝佐斯正在进行全世界最昂贵的离婚案的时候,亚马逊AWS悄悄的发布了一个叫做Amazon Document Database Service的服务...

    用户1564362

扫码关注云+社区

领取腾讯云代金券