如何正确重新启动卡夫卡s3接收器连接？
如何正确重新启动卡夫卡s3接收器连接？
提问于 2018-05-10 10:27:02
从5月1日起，我启动了一个kafka s3接收器连接器(捆绑连接器来自汇流包)。5月8日之前天气很好。检查状态后，它会告诉我们，有些aws异常会使这个连接器崩溃。这不应该是个大问题，所以我想恢复它。
我尝试了以下步骤：
- 我发布/连接器/s3接收器/重新启动。然后我看到连接器处于运行模式，但任务仍然失败。
- 然后我将/连接器/s3接收器/任务/0/重新启动。好的，现在任务处于运行模式。
但后来我跟踪日志，我发现它开始重写旧的数据，比如5月3日的数据。把旧数据搞砸了！
那么，连接重启restart是否重置偏移量？我以为它会保存偏移量，然后从它失败的偏移量开始。
以及如何正确重新启动失败的连接器任务？删除那些豆荚？(使用kubernetes)，还是通过REST /task/0/重新启动？何时使用/连接器/s3接收器/重新启动？
回答 1
Stack Overflow用户
回答已采纳
发布于 2018-05-11 03:28:33
/connector/:name/restart是对员工领袖的滚动重新启动操作，需要以异步方式传播到所有工作服务器任务。因此，您需要确保领导工作者和所有其他人之间的网络连接。
/connector/:name/task/:num/restart将直接向该工作人员发送请求，重新启动线程。
重新启动不应重置偏移量，因为它们存储在consumer offsets topic for that connect cluster中。如果有的话，任务无法将偏移提交回__consumer_offsets主题，但是您应该会看到相应的日志。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/50270764
复制相关文章
相似问题
腾讯云开发者
