专栏首页京东技术【深度】Kubernetes在京东人工智能平台的应用

【深度】Kubernetes在京东人工智能平台的应用

“目前Kubernetes是容器圈里的“当红炸子鸡”,京东人工智能平台——登月中也大量应用了Kubernetes。在京东资深架构师范振看来,登月平台的设计出发点就是Kubernetes调度一切。”

在京东,分布式机器学习平台已经应用于包括电商,金融等多个应用场景。“我们将在9月16日,北京,国家会议中心举办的京东技术开放日——人工智能平台的系统架构与数据处理专场中,专题分享Kubernetes在京东人工智能平台的应用。”

9月16日

北京,国家会议中心

京东技术开放日:人工智能平台的系统架构与数据处理

范振谈到:“包括将学习任务分配到集群的物理节点上进行运算,如果遇到任务失败的情况,Kubernetes 会自动重启任务;以及Kubernetes可以把很多并发进程组织成service,并且实现auto scaling——白天用户数量多的时候,增加Web service里的进程数,减少AI作业的进程数。晚上减少Web service里的进程数,释放资源给AI作业,提升机器资源利用率和降低基础设施成本。”

这些内容都将在9月16日,北京,国家会议中心举办的京东技术开放日上做专题分享。

人工智能的集中式爆发,机器学习的训练过程对于快速迭代的高要求,让能够轻量级接入,并且可以对用户提供秒级响应的Kubernetes发挥了巨大的优势。师出同门的Google Tensorflow项目很早也进行了与Kubernetes的集成,京东的人工智能平台上实现了Spark on Kubernetes。

从Kubernetes的角度出发,把Driver和Executor分别Container化,完成Spark的原生调度,架构更清晰。同时,继承了Docker的计算资源隔离性,通过Kubernetes的Namespace,将不同的Job从网络上彻底隔离。

在9月16日,北京,国家会议中心举办的京东技术开放日上,这些大家关注的热点内容,都将在活动现场精彩呈现。

范振认为,未来Kubernetes也可能会成为云管理平台的统治者,也还会有更多的应用在Kubernetes上原生运行起来。因为对于Kubernetes,它可以把很多分散的物理计算资源抽象成一个大的资源池,利用这些资源来执行用户的计算任务。对于用户来说,操作一个分散的集群资源就像在使用一台计算机。

实际上,Kubernetes不仅简单的解决了容器的部署和运行问题,它还关注如何帮助用户构建容器化分布式服务这个问题。因此9月16日,北京,国家会议中心举办的京东技术开放日对于在容器化道路上还在“摸着石头过河”的用户来说,也是很有价值的。

“Kubernetes作为一个快速演进的项目,应用起来潜在的坑还是很多的。本次京东技术开放日上的Kubernetes议题,就是在你做为应用新技术方面,可以借鉴的很好的一次经验分享。” ——京东副总裁 翁志

本文分享自微信公众号 - 京东技术(jingdongjishu)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-09-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 服务器端的图像处理 | 请召唤ImageMagick助你解忧

    在客户端我们可以用 PhotoShop 等 GUI 工具处理静态图片或者动态 GIF 图片,不过在服务器端对于 WEB 应用程序要处理图片格式转换,缩放裁剪,翻...

    京东技术
  • 你们要的Intellij IDEA 插件开发秘籍,来了!

    王昭霞,软件开发工程师,先后从事脚本工具编写、工具开发、Android基础模块开发等工作。

    京东技术
  • 数字经济与实体经济“相聚”乌镇 京东推动两者融合成长

    在本届大会上,京东智能供应链摘得2018年世界互联网领先科技成果奖,代表着数字技术对实体经济的助力正在向着更加融合的趋势发展。特别是在人工智能方面,京东集团副总...

    京东技术
  • Kubernetes扩展容器架构的7 个工具

    Kubernetes是最初由Google开发的容器编排工具,已成为敏捷和DevOps团队的重要资源。作为一个开源工具,Kubernetes本身正在成为一个生态系...

    February
  • 只需三步,轻松实现应用在 Kubernetes 上的优雅落地!

    出身豪门、大厂背书的 Kubernetes 项目自 2014 年 6 月开源以来,在众多厂商和开源爱好者的共同努力下迅速崛起,时至今日已成长为容器管理领域的事实...

    iMike
  • 使Kubernetes管理更容易的7个工具

    Kubernetes是最初由Google开发的容器编排工具,已成为敏捷和DevOps团队的重要资源。作为一个开源工具,Kubernetes本身正在成为一个生态系...

    kubernetes中文社区
  • 浅谈K3OS:首个K8s操作系统,为边缘计算而生!

    4月24日,容器软件提供商Rancher Labs正式发布k3OS,这是业界首个专为Kubernetes而生的极轻量操作系统,资源消耗极低,操作极简,秒级启动,...

    边缘计算
  • Kubernetes 是否值得学习吗?

    Original image by Myriam Zilles from Pixabay

    YP小站
  • 关于如何正确使用Kubernetes的5个技巧

    为了有效地使用云计算,您必须使用Kubernetes来协调您的工作负载。以下是正确执行此操作的5个提示。

    February
  • 针对各级开发人员的顶级Kubernetes教程和资源

    如果您是使用容器的开发人员,您和您的团队可能已经听说过Kubernetes。Kubernetes的核心是网络容器操作系统,但已经发展得更多。当然,Kuberne...

    February

扫码关注云+社区

领取腾讯云代金券