专栏首页云技术万亿级!腾讯大数据组件TubeMQ正式开源
原创

万亿级!腾讯大数据组件TubeMQ正式开源

近日,一年一度的国际开源顶会ApacheCon 2019在美国举办,正值 Apache 软件基金会(Apache Software Foundation,ASF)成立 20 周年之际,腾讯作为本次大会主会受邀的唯一中国企业,发表ApacheCon的keynotes演讲。

会上,腾讯开源管理委员会委员、腾讯开源联盟主席、Apache 软件基金会Member堵俊平向全球开源生态伙伴介绍了腾讯开源路线图,宣布腾讯万亿级分布式消息中间件TubeMQ正式对外开源,并计划捐赠给Apache基金会。这将是继加入Apache基金会白金会员后,腾讯与Apache基金会又一次紧密携手。

“腾讯和Apache基金会在开源事业上拥有同样的初衷和目标”,堵俊平表示:“基于Apache之道,我们总结出腾讯开源‘三步走’的路线图,并建立起腾讯特色的开源管理机制,这激发了近年来多个优质自主开源项目的快速涌现。如今,腾讯也在不断加码资源投入,积极参与社区建设和项目贡献,希望在国际开源舞台上贡献更多的智慧与创造力。”

(腾讯开源路线图)

受益“Apache之道”,腾讯特色开源管理机制形成

近年来,腾讯在开源上的步伐不断加快。截至9月,腾讯自主开源项目已达84个,Star数超过24万,重点关注领域包括 IaaS、容器与云原生、数据库、大数据与 AI、中间件、IoT/边缘计算、小程序生态等。在不断贡献优质项目之余,腾讯也积极贡献开源社区,除了加入Apache基金会、Linux基金会、LFAI 基金会、OpenStack基金会、MariaDB 基金会多个顶尖开源基金会的白金会员外,腾讯众多业务团队和技术人员也积极参与到开源贡献中,已广泛参与数十个社区和项目的建设。

腾讯云也在众多业务场景下帮助开源技术落地,通过创新回馈开源。典型的包括Linux、KVM、MySQL、PostgreSQL、Kubernetes、Hadoop、Spark、TensorFlow等等。以KVM为例,凭借向KVM贡献的patch数,腾讯云已经连续两年登上KVM开源贡献排行榜,成为国内贡献度最高的公有云厂商。

腾讯开源的快速发展背后,离不开从“Apache之道”脱胎而来的腾讯特色开源管理机制。

“Apache 之道”是Apache基金会开源方法论的精华所在,其中最重要的原则之一是:社区重于代码。这意味着对开源而言,最重要的是人而不是代码,开源组织需要吸引最优秀的人来加入,一起推动开源的成功。基于大多数人的共识通常比投票的权利和流程更为重要,重大事项和决定需要通过开放透明的讨论来达成等原则也具有相当的普适性。

堵俊平表示,这些原则对腾讯的开源工作提供了很好的指引方向。腾讯从“Apache之道”的开源方法论中汲取了宝贵经验,成立了腾讯开源管理办公室,形成了自上而下传递腾讯开源策略、自下而上落地开源技术生态的开源管理机制。在开展开源工作时,腾讯既融合了“Apache之道”的精髓,帮助内部的自研项目“走出去”;同时结合腾讯研发文化,有效提升开源治理与管理效率,抱以尊重和共享的精神,帮助更多的外部开发者和开源项目“走进来”。

来自真实生产环境,腾讯自研TubeMQ正式发布

TubeMQ是此次腾讯在ApacheCon上最新发布的自研开源项目。它的原型是腾讯数据平台部在2013年自研的分布式消息中间件系统(MQ),专注于大数据场景下海量数据的高性能存储和传输,长期服务微信支付、腾讯视频、广点通等产品。

(TubeMQ项目介绍)

作为中国最大的互联网公司之一,腾讯每天要处理规模惊人的数据。为支持海量业务,腾讯组建了包含存储层、数据管理层及分析层3层结构的数据湖协同方案,向下管理多种数据引擎,向上支撑多种数据应用需求。TubeMQ就是来源于腾讯数据湖存储层的消息中间件系统,支撑着海量数据的流入和运转。

(腾讯数据湖方案,其绝大多数组件由Apache的开源项目组成)

经过近7年、万亿规模的海量数据沉淀,TubeMQ目前日均接入量超过25万亿条消息。较之于其他的开源MQ组件,TubeMQ长期应用于真实生产环境中,在稳定性、性能和成本方面都有着核心优势。

据了解,Apache基金会目前已为超过350个开源项目提供支持,尤其在大数据与云计算领域,拥有众多明星开源项目。

堵俊平介绍到,作为Apache基金会在中国的首家白金赞助商,腾讯计划将TubeMQ捐赠给Apache基金会,目前已经启动了相关的孵化流程。期望以TubeMQ为重要的里程碑,在大数据领域持续贡献优秀的项目来反哺开源社区。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 独家:“云养鹅目前已完成内测,将择日开放”

    腾讯公司宣布,筹备近两年的“AI生态鹅厂”已在贵州贵安新区完成项目主体建设,预计于年内投产运行。

    用户1532637
  • 性能超前,详解腾讯云新一代Redis缓存数据库

    当前内存数据库发展迅速,用户对于存储系统的要求也越来越高,为了满足各类业务场景的需要,腾讯云设计了新一代的内存数据库,不但保留了原来系统的高性能,高可用等特性,...

    用户1532637
  • 全面布局“边” “端”,腾讯云边缘计算技术探索及落地应用

    我们已经进入了中心与边缘互相协作,共同助力各行各业数字化转型的时代。随着物联网的发展,未来的网络结构必定是“云—边—端”的模式。腾讯云在强大的云端能力之外,正在...

    用户1532637
  • 腾讯作为ApacheCon2019主会唯一受邀中国企业亮相谈开源

    近日,一年一度的国际开源顶会ApacheCon 2019在美国举办,正值 Apache 软件基金会(Apache Software Foundation,AS...

    腾讯开源
  • 万亿级!腾讯大数据组件TubeMQ正式开源

    近日,一年一度的国际开源顶会ApacheCon 2019在美国举办,正值 Apache 软件基金会(Apache Software Foundation,ASF...

    技术美学
  • 国内首家Apache基金会白金会员 腾讯开源之路再上台阶

    前言:9月20日,世界知名的开源软件组织Apache软件基金会(Apache Software Foundation,简称ASF)正式宣布腾讯成为其白金会员。...

    腾讯开源
  • Goroutine 泄露排查

    我们在发布一个 go 应用时,默认都会启用两个 http handler: 一个是 pprof,方便线上动态追踪问题;另外一个是 prometheus 的 me...

    poslua
  • SAP Cloud for Customer Sales Lead明细页面视图的UI模型

    SalesLead的明细页面的UI模型路径:COD_MarketingLead.TI.uicomponent

    Jerry Wang
  • 关于硬件模拟的一点感知

    设计一般以一个规范开始, 这个规范能够约定最终产品应该做什么, 并从根本上推动整个开发周期。在开发的早期阶段, 第一个任务是使用规范来验证正在开发的设计是否正确...

    半吊子全栈工匠
  • 快速学习-IOC容器和Bean的配置

    cwl_java

扫码关注云+社区

领取腾讯云代金券