KafkaBridge - Kafka Client SDK 开源啦~~~

导引

KafkaBridge 封装了对Kafka集群的读写操作,接口极少,简单易用,稳定可靠,支持c++/c、php、python、golang等多种语言,并特别针对php-fpm场景中作了长连接复用的优化,已在360公司内部广泛使用。

前言

  • 众所周知,Kafka是近几年来大数据领域最流行的分布式流处理平台。它最初由LinkedIn公司开发, 已于2010年贡献给了Apache基金会并成为顶级开源项目, 本质上是一种低延时的、可扩展的、设计内在就是分布式的,分区的和可复制的消息系统;
  • Kafka在360公司内部也有相当广泛的使用,业务覆盖搜索,商业广告,IOT, 视频,安全, 游戏等几乎所有核心业务,每天的写入流量近1.2PB, 读取流量近2.4PB;
  • Kafka官方提供了Java版本的客户端SDK, 但因360公司内部产品线众多,语言几乎囊括目前所有主流语言,所以我们研发了Kafka客户端SDK —— KafkaBridge;

简介

  • KafkaBridge 底层基于 librdkafka, 与之相比封装了大量的使用细节,简单易用,使用者无需了解过多的Kafka系统细节,只需调用极少量的接口,就可完成消息的生产和消费;
  • 针对使用者比较关心的消息生产的可靠性,作了近一步的提升;
  • 开源地址:[https://github.com/Qihoo360/kafkabridge])

特点

  • 支持多种语言:c++/c、php、python、golang, 且各语言接口完全统一;
  • 接口少,简单易用;
  • 针对高级用户,支持通过配置文件调整所有的librdkafka的配置;
  • 在非按key写入数据的情况下,尽最大努力将消息成功写入;
  • 支持同步和异步两种数据写入方式;
  • 在消费时,除默认自动提交offset外,允许用户通过配置手动提交offset;
  • 在php-fpm场景中,复用长连接生产消息,避免频繁创建断开连接的开销;

编译

使用

数据写入

  • 在非按key写入的情况下,sdk尽最大努力提交每一条消息,只要Kafka集群存有一台broker正常,就会重试发送;
  • 每次写入数据只需要调用produce接口,在异步发送的场景下,通过返回值可以判断发送队列是否填满,发送队列可通过配置文件调整;
  • 在同步发送的场景中,produce接口返回当前消息是否写入成功,但是写入性能会有所下降,CPU使用率会有所上升,推荐还是使用异步写入方式;
  • 我们来简单看一下写入kafka所涉及到的所有接口:
//初始化接口
bool QbusProducer::init(const string& broker_list, const string& log_path, const string& config_path, const string& topic)
//写入数据接口
bool QbusProducer::produce(const char* data, size_t data_len, const std::string& key)
//不再需要写入数据时,需要调用的清理接口,必须调用 
void QbusProducer::uninit()
  • 具体使用可以参考源码中的实例;

数据消费

  • 消费只需调用subscribeOne订阅topic(也支持同时订阅多个topic),然后执行start就开始消费,当前进程非阻塞,每条消息通过callback接口回调给使用者;
  • sdk还支持用户手动提交offset方式,用户可以通过callback中返回的消息体,在代码其他逻辑中进行提交。
  • 下面是消费接口,以c++为例:
//初始化接口
bool QbusConsumer::init(const string& string broker_list, const string& string log_path, const string& string config_path, QbusConsumerCallback& callback)
//订阅需要消费的消息
bool QbusConsumer::subscribeOne(const string& string group, const string& string topic)
//开始消费
bool QbusConsumer::start()
//停止消费
void QbusConsumer::stop()

性能测试

  • kafka 集群三台broker, 除测试用topic外,无其他topic的读写操作;
  • 测试用topic有3个partition;
  • Producer单实例,单线程;
  • Topic无复本下测试:
    1. 单条消息 100 byte, 发送 1百万 条消息,耗时 1.7 秒;
    2. 单条消息 1024 byte, 发送 1百万 条消息,耗时 13 秒;
  • Topic有2复本下测试:
    1. 单条消息 100 byte, 发送 1百万 条消息,耗时 1.7 秒;
    2. 单条消息 1024 byte, 发送 1百万 条消息,耗时 14 秒;

写在最后

  • KafkaBridge 一直在360公司内部使用,现在已经开源,有疏漏之处,欢迎广大使用者批评指正,也欢迎更多的使用者加入到 KafkaBridge 的持续改进中。
  • 开源地址:KafkaBridge

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Timhbw博客

Windows下iOS开发环境搭建教程

2016-06-1513:59:42 发表评论 2,027℃热度 1.下载工具 2.安装基本文件 3.开始主要步骤 4.总结 目录 可能许多初学者并没...

1K8
来自专栏存储

从银行转账失败到分布式事务:总结与思考

作者:xybaby 正文 思考这个问题的初衷,是有一次给朋友转账,结果我的钱被扣了,朋友没收到钱。而我之前一直认为银行转账一定是由事务保证强一致性的,于是学习、...

3086
来自专栏butterfly100

Chris Richardson微服务翻译:微服务之事件驱动的数据管理

Chris Richardson 微服务系列翻译全7篇链接: 微服务介绍 构建微服务之使用API网关 构建微服务之微服务架构的进程通讯 微服务架构中的服务发现 ...

2859
来自专栏CSDN技术头条

【问底】夏俊:深入网站服务端技术(一)——网站并发的问题

本文来自拥有十年IT从业经验、擅长网站架构设计、Web前端技术以及Java企业级开发的夏俊,此文也是《关于大型网站技术演进的思考》系列文章的最新出炉内容,首发于...

2018
来自专栏IT大咖说

VMware vSphere 6.7 新功能介绍

内容来源:2018 年 06 月 19 日,VMware大中华区原厂高级技术讲师姚泉在“VMware在线技术专题分享·第二期”进行《VMware vSphere...

4643
来自专栏王清培的专栏

后端服务性能压测实践

后端服务性能压测实践 标签(空格分隔): 性能 压测 后端服务 压测实践 作者:王清培(Plen wang) 背景 环境检测 压力机及压力工具检测 Linux...

7119
来自专栏zhangdd.com

生产内网ssh登陆变慢问题原因及解决办法

最近发现内网一些服务器ssh连接变慢,原来都是秒开的现在基本上要等10几秒才能返回登陆界面,因为是在内网基本上排除网络连接问题

991
来自专栏CSDN技术头条

饿了么Influxdb实践之路

作者 | 刘平 文章来源GitChat,CSDN独家合作发布,查看交流实录:http://gitbook.cn/books/59428f6f7e850f039...

1.3K6
来自专栏ThoughtWorks

大型项目程序配置管理演化之路|TW洞见

今日洞见 文章作者、图片来自ThoughtWorks:窦衍森。封面图片来自网络。 本文所有内容,包括文字、图片和音视频资料,版权均属ThoughtWorks公司...

3286
来自专栏Golang语言社区

Golang - 调度剖析【第一部分】

首先,Golang 调度器的设计和实现让我们的 Go 程序在多线程执行时效率更高,性能更好。这要归功于 Go 调度器与操作系统(OS)调度器的协同合作。不过在本...

1302

扫码关注云+社区