京东618的秘密 | 全球最大规模 Kubernetes 生产集群运营实践

德国输了,巴西平了,媳妇儿的购物车满了,天台都快站不下了!

公元 2018年6月19日凌晨,京东公布交易额,从2018年6月1日0点到6月18日24点,累计下单金额达1592亿元,其中出库订单金额同比增长超过37%,电脑数码品类一分钟销量高达十万件!

近来京东可谓好事连连。据官方消息,京东和 Google 达成战略合作,Google 以5.5亿美元投资京东。

当我们在狂欢时,是什么在背后默默的支撑着我们每一次点击?如此大规模的交易量,这得需要多大的数据中心?多少服务器呀?

或者说,京东是如何撬动数据中心的?

厉害之处在于,京东相关IT系统早就不是基于数据中心的物理服务器啦,而是基于 Docker。更进一步说,是基于 Docker 的 Kubernetes 集群。

而且,是目前全球最大规模的 Kubernetes 集群!(根据 CNCF官方近期统计数据)

那么,京东是如何运营全球最大规模 Kubernetes 集群实践?

小编偷来了京东商城基础架构部技术总监鲍永成老师的PPT,和您一起先睹为快!

京东数据中心集群管理发展历程

早在2014年,京东就率先将 Docker 容器技术大规模应用至生产环境,和大多数刚开始实践容器技术的团队一样,京东也是从 Container as VM 做起。

在2016年初开始实践 Kubernetes,在2017年初基于 Vitess 构建起弹性数据库,并且自研京东“阿基米德”调度系统。

京东商城基础架构团队持续建设“阿基米德”平台,作为支撑京东万亿 GMV 的技术基础设施,阿基米德由大规模容器集群调度、数据库与存储技术平台、组件化微服务平台、商品图片技术平台、异地多活与智能运维、边缘计算平台构成。其中容器技术是所有平台服务的基石。

在此过程中,采用容器最大化资源利用,节省数据中心数亿元采购成本。大促之前加机器的历史一去不复返。

京东的容器生态

2014年,京东基于 OpenStack 深度定制,研发出京东的分布式数据中心操作系统 JDOS 1.0 。后来随着业务和系统的不断增长,开始基于容器技术研发新一代容器引擎平台 JDOS 2.0。JDOS 从基础设施升级为应用平台。

2.0 推进了业务从源码到编译打包构建镜像到上线的全流程,建设了一站式应用运行平台,并研发大量子项目,从而构建起京东的容器生态:阿基米德(撬动数据中心的人)。

京东基础架构团队也开放出很多的容器开源项目:http://github.com/tiglabs/

容器生态架构图

Kubernetes 基于 Google 的 Borg 调度系统进行设计与研发,目前已经成为事实上的开源容器编排标准,但是开源软件要考虑多方面的需求,就必然走向复杂,要在生产环境中应用,必须要化繁为简,进行重构。

运营力量:全球最大规模的 Kubernetes 集群的运营秘密

针对 Kubernetes 集群的日常运维,主要围绕上线过程、巡检、监控预警、事件管理来进行。

除了集群的日常运维以外,对整个 Kubernetes 集群的可视化是运营中非常重要的部分。包括集群的实时状态、各个组件的响应情况等。

达则兼济天下

经过多年的历练和沉淀,2018 年 4 月,京东宣布加入 CNCF 云原生计算基金会 (Cloud Native Computing Foundation CNCF),成为最高等级的白金会员。

同时,京东作为容器技术(Containers)最佳实践者,京东商城首席架构师、基础架构部负责人刘海锋先生受邀进入 CNCF 全球理事会,共同推进该组织及其旗下开源技术的发展与应用。

在到京东交流后,CNCF 基金会官方确认,京东目前运营着全球最大规模的Docker 集群、Kubernetes 集群,以及最复杂的 Vitess 集群之一,基本实现了“All in Containers”,是目前全球容器化最彻底的互联网企业之一。京东也成为 CNCF 开源项目最大的使用者与贡献者之一。

原文发布于微信公众号 - DevOps时代(DevOpsTimes)

原文发表时间:2018-06-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯社交用户体验设计

《黑x金》企鹅FM品牌24小时诞生记 - 腾讯ISUX

1432
来自专栏安恒信息

【RSA 2017】DAY 5 · 最后一天仍有猛料曝 — 卖出两年的汽车仍尽在掌控

DAY 5 大咖盛宴 欢聚一堂 今天是本届RSA大会的最后一天,安排的议题和小组讨论并不多,但还是有猛料爆出。 在一场有关物联网安全的演讲中,IBM公司X-F...

2724
来自专栏机器人网

当今最实用的十大医用机器人

机器人对于医疗保健行业并不陌生。我们知道,已经有大量的机器人被用于各种物理治疗中,还有一些机器人被用于帮助训练医生进行一系列治疗和手术。下面这10个机器人是当前...

2725
来自专栏机器人网

五大误区+十大标配,工厂自动化改造不仅仅需要机器人

“机器人革命”开始,不少企业就已踏上工厂自动化的“不归路”,无人工厂也似乎渐渐成为未来工厂的发展趋势。但全自动化流水线却零星地出现大型企业中,尽管政府大力推动机...

2933
来自专栏腾讯大讲堂的专栏

腾讯山洞“鹅厂”试运行(附最新高清无码写真)

2057
来自专栏编程坑太多

想想自己如果不做开发,可能会从事什么职业?

PS:愿你岁月无波澜,愿我余生不悲观,我身边儿呐大多数人都已经认命,但我还在拼命,我不赶什么潮,我也不搭什么船,我有自己的海,程序员老铁们,加油吧。

1846
来自专栏新智元

【快报】各国机器人亮相天津达沃斯 |机器人律师打赢16万起交通罚单官司

1各国机器人亮相天津达沃斯论坛 ---- ? 2016夏季达沃斯论坛刚刚在天津落下帷幕。本届论坛主题是“第四次工业革命——转型的力量”,人工智能成为论坛的热点话...

3546
来自专栏PPV课数据科学社区

☞2018政府数据要开放?先看看现在长啥样【真相】

被堵成狗的种子君在国庆回来上班第一天就听说,发改委表示2018年将建成政府数据统一开放门户。听到这个消息,种子君不禁心中窃喜,脑补如下画面: 政府数据公开--拿...

3887
来自专栏罗超频道

Super快报第21期:平板手机还是手机平板

1、8寸手机来了:平板手机? 三星昨天正式发布Galaxy Note 8.0,8英寸1280*800分辨率TFT屏幕,1.6GHz Exynos 4四核处...

2698
来自专栏大数据文摘

你永远不想被问到的12个真实技术工作面试题

1182

扫码关注云+社区