前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >吴恩达等为何力挺MLOps?告别数据漂移,又成求职敲门砖

吴恩达等为何力挺MLOps?告别数据漂移,又成求职敲门砖

作者头像
新智元
发布2021-07-29 17:10:45
6020
发布2021-07-29 17:10:45
举报
文章被收录于专栏:新智元新智元


新智元报道

来源:外媒

编辑:Priscilla Emil

【新智元导读】近日,MLOps领域的五位专家做客Deeplearning.ai线上讨论会,共同探讨MLOps的发展现状与意义。

自投入应用以来,越来越多人发现MLOps的好处。

一些专家认为MLOps是目前可用的最佳解决方案,甚至掀起了一股「MLOps热」。

在之前,吴恩达在Deeplearning.ai的线上直播中,谈过自己对MLOps的看法。

那时他就认为,人们应该以数据为中心来开发机器学习系统,而MLOps就是为项目提供高质量的数据的重要保障。

近日,Deeplearning.ai邀请了包括吴恩达、Robert Crowe、Lawrence Moroney、Chip Huyen 和 Rajat Monga五位专家,共同讨论MLOps,深入了解生产机器学习最重要的方面以及MLOps的实际表现。

而在回顾五位专家的交流之前,先看看MLOps是什么?究竟为什么会有这么大的吸引力?

什么是MLOps?

要了解MLOps,就要先了解它的前身:DevOps。

一个软件从无到有,需要经历规划、编码、构建、测试、发布、部署和维护这几个阶段,一个程序员就能够完成这些阶段的工作。

但是,当整个软件产业开始发展壮大, 软件的规模和复杂程度会不断攀升,客户一个又一个的需求,再加上产品生产过程中出现的种种问题,工作量可以说是指数级上升。

这其中还会涉及开发和运营维护这两大板块。

但DevOps就能够高效地解决开发和运维的问题。

DevOps,即「development + operations」,包括了开发和运维两个层面。

但DevOps的含义却并不像它的名字来源一样,将开发与运维简单粗暴地合并起来。

它要求开发与运维两边的工程师都能够做到「换位思考」,相互接触对方的流程:开发人员参与运维初期的系统部署、提供优化意见;运维人员了解系统架构和技术路线,制定合适的运维方案。

而MLOps,就是机器学习时代的DevOps。

也就是说,它既含有DevOps沟通开发运维的功能,也具有利用机器学习的能力来促进企业业务增长的功能。

MLOps的要义之一就是缩短模型开发部署的迭代周期,凭借更标准化、自动化的流程与基础设施支持来提高模型交付的整体效率。

此外,MLOps有望能作为一个平台,方便业务、数据、算法、运维角色之间的沟通。

MLOps作为ML的分支,集合了DevOps和ML的所有优点,这也是MLOps受到追捧的原因。

了解过MLOps后,一起来回顾一下这五位专家都讨论了什么吧!

MLOps的重要性

Chip Huyen在斯坦福大学教授机器学习,她认为,模型训练只是其中一个小问题,更大的问题是再培训。

Chip Huyen,计算机科学家

一旦模型公开,就会发生数据漂移。

那么,如何才能不断更新和补偿这些变化呢?那就是让模型在现实世界中呈现不同程度的性能。

而谷歌TensorFlow团队成员Robert Crowe就表示自己不喜欢这种命名法,不太看重人们炒作MLOps。

Robert Crowe,谷歌TensorFlow团队成员

他更感兴趣的是从模型中制作产品并解决所有问题,例如模型漂移、隐私、资源优化和生产ML设置中出现的其他因素。

Crowe解释说,「当你在做研究或在学术界时,你不会遇到这些问题。于我而言,MLOps的重点在于,能够负责任地创建和维持产品或服务。」

几年前,ML社区更强调构建模型、调整超参数或选择正确的架构。

如今,该行业取得了巨大的飞跃,将ML和AI带给大众,只有不断发展,才能发现DevOps在ML中的好处。

吴恩达也承认,过去十年里,深度学习取得了长足的进步。

吴恩达,人工智能领域最权威的学者之一

他强调,MLOps将帮助每个人完成机器学习项目的整个生命周期:从界定、收集和管理数据,到训练模型、改进数据,改进模型,再到部署监控和管理数据驱动模型维护的概念。

「我认为MLOps是一门振奋人心的新兴学科,它可以解决机器学习项目的整个生命周期。MLOps和机器学习生产是最前沿的。」

前谷歌员工Rajat Monga则强调,数据并不是静态的。

前谷歌员工Rajat Monga

由于模型代表数据,模型确实必须随着数据而变化。无论是市场还是其他领域,我们周围的世界都在发生变化,产生大量的数据。

一直以来,软件会使用目标函数进行硬编码。考虑到数据的动态特性,Monga认为,它正被预测模型取代。

「未来一两年内不会有太多新的分支,但另一方面,在依赖客户数据或类似事物的企业中,事情瞬息万变,你就会想要这些模型能够随时更新。」

MLOps的实际表现

一年多来,谷歌一直在积极参与围绕MLOps的对话。

但是,应用于像谷歌这样的公司的原则,也可以应用于其它地方吗?

Moroney表示,谷歌的ML团队关注扩展问题,并尝试回答以下问题:如何确保我们能够专注于数十亿用户,而不是数千名用户,以及扩展过程中必须具备的服务基础设施是什么?

而接下来的挑战是构建一个适当的监控基础设施,确保这些模型能够以所需的参数、所需的速度运行。

「有这么多人、这么多部分才能让所有这些工作在一起。我们希望确保灵活性,而我们通常也以这种方式设计来基础设施。」

对于初创公司,Monga建议人们不要像大规模运营的公司那样,从头开始构建单个元素。

小型组织试图通过机器学习解决的大多数问题,许多工具都能够解决。

Chip Huyen表示,现在的MLOps工具实际上在很大程度上取决于公司规模、用例和成熟度。

被问及MLOps工具的现状,吴恩达表示,在提供代码时,性能会提高。以这种方式设计数据,不同工具之间的能力存在很大差距。

然而,Crowe认为,拥有数学或统计背景的人对机器学习有很深刻的理论理解,但他们在创建生产级代码和系统时仍然面临困难。

十年前,社区开始接受深度学习,那时还不知道需要多少万份新颖的发明、多少研究论文,才能达到我们现今的发展地位。

但昔日的不解早已烟消云散。

「人们一开始质疑TensorFlow和其它奠定基础的框架。而如今,我认为,在考虑MLOps和以数据为中心的人工智能时,随时都有数以万计的想法有待发明。」

归根结底,任何机器学习的企业都必须关心客户对产品的需求,所有事情都与业务有关。

在构建MLOps团队时,吴恩达推荐了一条可靠的原则:

要求团队进行长期、认真的审视,确保在整个产品生命周期中,始终能产出高质量的数据。

「职位描述里不会写明这一点,许多公司都在聘请那些知道如何构建和部署机器学习系统的人。即使在求职面试中,候选人也会被问及机器学习部署问题。」

「即使MLOps一词没有出现在职位描述中,但我认为,MLOps仍然是现在人们需要学习的一项重要技能。」

参考资料:

https://analyticsindiamag.com/does-mlops-live-upto-the-hype/

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-07-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 新智元 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 什么是MLOps?
    • MLOps的重要性
    相关产品与服务
    CODING DevOps
    CODING DevOps 一站式研发管理平台,包括代码托管、项目管理、测试管理、持续集成、制品库等多款产品和服务,涵盖软件开发从构想到交付的一切所需,使研发团队在云端高效协同,实践敏捷开发与 DevOps,提升软件交付质量与速度。
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档