腾讯大手笔开源整个容器平台,20年技术积累首公开

刚刚,在腾讯2019Techo开发者大会的现场,腾讯对一众开源项目进行了联合发布,并首次公开20年技术积累,指出未来云计算领域的三大技术趋势。

大手笔开源:容器平台TKE、数据库TBase等

截至目前,腾讯共开源了86个项目,覆盖云计算、大数据、AI、安全、小程序等领域,参与贡献的人数超过1000 名,累计在GitHub获得了超过 25万个 Star。同时,腾讯也是Apache基金会、Linux基金会、CNCF基金会和OpenStack基金会的顶级白金赞助商。

腾讯开源联盟主席堵俊平首先介绍了TubeMQ项目。TubeMQ是腾讯大数据从7年前就开始研发的一款分布式消息中间件,七年内支撑了腾讯的海量数据业务,目前每天支撑的数据量超过30万亿条。特点是支持数据的高性能存储与传输,吞吐率非常高,延迟低至5ms。本周,TubeMQ正式被Apache基金会接受为正式Incubator项目,开始孵化之旅。

第二个项目是腾讯Kona JDK。腾讯Kona JDK在主流OpenJDK8的基础上,进行了针对性的开发和优化, 引入了一些高版本JDK的特性,能够帮助用户在无感知的使用共享核心类信息来提高启动速度。在云场景下,JVM的启动速度最高能够提升到40%左右。

为了增强线上诊断的能力, 腾讯Kona JDK引入了JFR以及活页图等功能,可以帮助Java用户获得从系统到应用的profiling信息,增强运行时诊断以及热点分析,指导优化。目前, 腾讯Kona JDK已经在腾讯上万台服务结点大规模部署,服务云上Java场景。目前,该项目已经正式开源, 腾讯将对Kona进行长期维护,包括季度性的版本更新,以保证Kona用户的Java应用的稳定与安全。

然后是TBase,TBase是腾讯大数据基于PostgreSQL开发的分布式HTAP数据库。TBase在兼容SQL标准,提供完整的分布式事务能力的同时,保证了金融级数据容灾。在数据安全、分布式执行器优化以及读写分离等方面做了很多工作。目前,该项目已经在腾讯内部大规模采用,同时在HTAP、地理信息系统以及实时高并发等场景得到验证,线上运行超过200个集群实例,节点规模突破1000,单日请求量超过10亿次,是一个生产级的企业级HTAP数据库。

最后是企业级容器平台TKEStack。腾讯从2009年开始开发自己的容器编排平台,到 2013 年已经在内部维护了上万台服务器,支撑腾讯很多业务的平稳运行。当Docker和 Kubernetes 开源并成为事实标准,腾讯将内部平台切换到这两个项目上,并在公有云和私有云上为大量客户提供服务。这些经验和改进被整合在一起,就形成了 TKEStack 这样一个 K8s 发行版。

据介绍,面向离线业务和在线业务混部的业务场景,TKEStack能够稳定管理万级别Kubernetes 集群,并提供全方位资源管控,解决网络带宽控制、磁盘IO等难题。同时,该项目还有腾讯创新的 GPU 虚拟化技术,包括对GPU调度的改进,可以算是一款重磅级的开源项目。

未来云计算三大趋势

腾讯副总裁、腾讯云总裁邱跃鹏表示,开源是让所有开发者通过代码共享成果最好的方式,通过腾讯这么多年服务开发者的经验,腾讯看到的未来云计算发展的三大趋势是软硬件一体化(Cloud Native Hardware)、无服务器计算(Serverless)和智能化(Smart)。

邱跃鹏指出,随着云计算承载的业务规模越来越大,软件和硬件的结合成为刚需。软硬件一体化技术会进一步发展,为开发者提供更强壮的基础设施平台,提升云计算的性能、提高资源利用率,最终为开发者提供稳定、更具性价比的服务。软硬件一体化带来的技术红利,值得每一位开发者关注。

同时,无服务器计算,即 Serverless正在快速演进。Serverless把开发者从繁琐、冗杂的开发配置工作中解放出来,不需要任何的基础设施建设、管理与运维,极大降低了开发门槛,开发者只需关注自己的业务逻辑。以腾讯云和微信联合推出的“小程序·云开发”为例,上线一年已经服务超过50万开发者。“小程序·云开发”让更多开发者实现他们的小程序梦想。未来,Serverless理念也会在更多开发场景中落地。

随着硬件红利不断释放、开发者越来越关注于自己的应用,数字化进程不断加快。随之而来的数据量不断增长,对算力的要求越来越高,人工智能成为开发者们必须关注和应用的技术。人工智能正在快速演进,云厂商也将会提供更多人工智能产品和能力给到开发者。

腾讯20年技术积累

作为全球最大的互联网公司之一,腾讯无论在基础架构还是大数据AI领域的实践,都极具代表性。目前,腾讯的算力资源池已经达到20万台,日分析任务数达到了1500万,日接入数据条数为35万亿,日实时计算次数达到30万亿,模型训练维度为1万亿。腾讯云副总裁、云架构平台部总经理谢明表示:

无论是从使用通用服务器到不久前发布的“为云而生”的服务器星星海,还是从第一代数据中心中传统的电信解决方案到如今第四代的T-block产品家族,腾讯云在基础设施领域已经走出了一条自主创新之路,而随着云计算基础设施的不断进化,这些经过微信、QQ等海量业务充分验证过的基础能力,正在通过腾讯云共享给更多开发者,助力产业互联网发展。

以星星海服务器来说,在设计过程中,结合了数据中心实际部署环境要求,针对云端的计算、存储,网络等场景做了重点优化,能够有效满足腾讯云98%应用场景需求。同时,深度定制的CPU,能够实现行业最优单核性能和最优单核TCO;根据测试,星星海可以实现云服务实例综合性能提升35%以上,最大负载能效对比业界可提高50%。

在数据中心方面,第四代数据中心T-block让用户能够以搭积木的方式,快速实现全数据中心的模块化配置及建设,相比于传统大规模数据中心,T-block可以显著减少建设周期和施工成本。同时,由于率先在行业内采用更高效率的制冷和供配电架构,系统能源使用效率得到有效提升。以一个拥有30万台服务器的园区为例,一年可节省2.5亿度电,真正实现绿色数据中心的理念。

除了基础设施,大数据在支撑云计算应用上也起着至关重要的作用,腾讯云副总裁蒋杰,数据平台部总经理蒋杰表示:

经过10年的积累,腾讯大数据平台的算力资源池目前已有超过20万台的规模,每天实时数据计算量超过30万亿条,腾讯已经成为中国实时数据计算量最大的公司。

十年,从以Hadoop为核心的离线计算时代到以Spark、Storm、Flink为核心的实时计算时代,再到如今的机器学习和深度学习时代,腾讯从无到有研发了分布式的机器学习引擎Angel,以及一站式AI开发平台智能钛TI。目前,腾讯正在研究以批流融合、ABC融合、以及数据湖和联邦学习为方向的下一代大数据平台,该平台将具备混合部署、跨域数据共享和边缘计算等能力。

在过往的开源项目中,大数据领域同样占据着重要地位。从2014开始,腾讯将第一代大数据平台的核心,腾讯版的Hive进行了开源,2017年,更是把第三代平台的核心Angel开源。今年,腾讯加快开源脚步, 在两个月前的ApacheCon 2019上,腾讯面向全球开发者正式宣布开源自研核心平台——实时数据采集平台TubeMQ,并捐献给Apache社区。此次在Techo大会现场,再次重磅宣布正式开源资源管理平台核心TKE和分布式数据库TBase,随着在大数据开源领域的开源逐步加速,腾讯正在成为中国大数据领域开源最全面的厂商之一。

如前文言,腾讯是目前中国唯一全面支持四大顶级开源基金会的白金赞助商,并通过不断赞助、捐献项目、为开源项目贡献代码、解决问题等各种形式,积极参与开源社区生态建设。未来,腾讯云将以更开放的心态拥抱和回馈社区,为更多的开发者带去便捷、高效的开发体验。

  • 发表于:
  • 本文为 InfoQ 中文站特供稿件
  • 首发地址https://www.infoq.cn/article/83avthBk4JhXGgOPLZuY

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励