专栏首页授客的专栏Python 基于pykafka简单实现KAFKA消费者

Python 基于pykafka简单实现KAFKA消费者

1.测试环境

python 3.4

zookeeper-3.4.13.tar.gz

下载地址1:

http://zookeeper.apache.org/releases.html#download

https://www.apache.org/dyn/closer.cgi/zookeeper/

https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/

下载地址2:

https://pan.baidu.com/s/1dnBgHvySE9pVRZXJVmezyQ

kafka_2.12-2.1.0.tgz

下载地址1:

http://kafka.apache.org/downloads.html

下载地址2:

https://pan.baidu.com/s/1VnHkJgy4iQ73j5rLbEL0jw

pykafka-2.8.0.tar.gz

下载地址1:

https://pypi.org/project/pykafka/

https://files.pythonhosted.org/packages/55/4b/4828ec5ed766cca0c27de234688122494c5762965e70deeb88b84f5d8d98/pykafka-2.8.0.tar.gz

2.问题描述

使用python-kafka类库实现kafka消费者时,发现程序有时候会自动停止消费,对一些参数进行配置后无果,换成pykafka类库实现,搞定

3.代码简单实现

#-*- encoding:utf-8 -*-

__author__ = 'shouke'

from pykafka import KafkaClient

client = KafkaClient(hosts="127.0.0.1:9092")

# 获取主题

print(client.topics)

topic = client.topics['MY_TOPIC1']

# 获取消费者

consumer = topic.get_balanced_consumer('MY_GROUP1', auto_commit_enable=True, auto_commit_interval_ms=3000)

for message in consumer:

if message is not None:

print(message.offset, message.value)

参考链接:

https://pykafka.readthedocs.io/en/latest/index.html

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python 使用python-kafka类库开发kafka生产者&消费者&客户端

    http://zookeeper.apache.org/releases.html#download

    授客
  • Android 常见adb命令

    C:\Users\laiyu>adb push d:\\WiFi.apk /mnt/sdcard/

    授客
  • SQLServer 学习笔记之超详细基础SQL语句 Part 12(The End)

    -----------------------接Part 11-------------------

    授客
  • 排序-线性排序,如何做到百万级数据秒级排序,时间复杂度O(n)?

    我们经常接触的冒泡排序,快速排序,归并排序等,这些排序时间复杂度大多是n^2或者N(logN),他们都是基于比较的排序(就是排序过程中数据两两做比较),那你有知...

    阿伟
  • Java Bean Validation的使用

    因为在Spring Boot中默认已经包含了Hibernate Validator,所以不需要再引入额外的Jar包

    十毛
  • Mysql 排序操作的实现思路

    在MySQL中,ORDER BY的实现有如下两种类型: (1)通过有序索引直接取得有序的数据,不用进行任何排序操作即可满足客户端要求 (2)通过MySQL的排序...

    dys
  • 关于nodejs的__dirname

    https://stackoverflow.com/questions/8817423/node-dirname-not-defined

    Jerry Wang
  • 2019年的语义分割指南

    原标题 | A 2019 Guide to Semantic Segmentation

    AI科技评论
  • PHP 关于数组排序的函数

    php的数组排序函数有很多。有按键排序,有按值排序。有升序,有降序。有的排序后改变原数组索引,有的不改变。

    写PHP的老王
  • 最新目标检测论文

    【6】ReBiF:残差双融合特征金字塔网络,用于精确的Single-shot目标检测

    于小勇

扫码关注云+社区

领取腾讯云代金券