腾讯赵建春:AI浪潮下的高效运维思考及实践

GOPS 全球运维大会暨首届金牌运维峰会于11月17日-18日在上海圆满举行。腾讯 SNG 助理总经理、GOPS 金牌讲师赵建春老师受邀出席大会,并带来精彩演讲《AI 浪潮下的高效运维思考与实践》。本文根据此演讲实录整理而成。

AI 是如何工作的?

抽丝剥茧,找出规律

运维工作中存在大量有规律的数据,要能准确预测数据的走势,我们要找到运维数据的规律,并建立模型。

AI和机器学习的分类

传统的异常指标分析方法有阀值、同比环比等,这些方法依靠大量的人力配置,随着数据量和指标量的增加,根本无法满足我们对数据精细化分析的要求。在智能运维时代,更多分析策略和手段被引入。

监督学习和样本标注

运维常常需要与很多业务KPI数据打交道,结合样本标注的有监督学习分析法对此类数据的异常识别效果显著。

损失函数及常见损失函数

损失函数是度量算法准确率的重要指标,损失函数越小,代表机器学习算法的精准度越高。

常见算法的工作机制

目前行业内流行的机器学习算法,绝大部分是源自于十大经典机器学习算法,而运用在智能运维领域,以分类算法居多。

NLP简介

在运维场景中,还有些需要与自然语言处理打交道的场景,下文介绍织云舆情监控实践中,会有NLP的案例。

AI 和运维工作结合的思考

对运维和AI技术结合点的思考

自动化运维是当下热门的话题,但是要真正意义上实现无人运维,与无人驾驶技术类似,还需要更多积累。但是基于有监督学习的数据分析和基于规则的运维自动化,则有很多可以突破的场景。

寻找与AI结合的运维场景

与腾讯的AI in All战略类似,智能运维的落地要找准场景,这样更能事半功倍的达到我们想要的效果。

分类算法应用

专业的人做专业的事,运维人员是运维领域的专家,可以利用自身丰富的运维工作经验,找到最合适的场景,并协同AI专家找到最恰当的算法,来解决该运维场景的分析难题。

运维和AI可能的结合点

通过腾讯SNG多年的运维经验,得出以下多个机器学习与运维结合的场景点,下面将以几个案例简述下我们已经取得的一些技术突破。

腾讯织云的一些实践案例

Monitor智能监控

织云Monitor监控平台,是基于时序数据的智能监控平台。从125w个监控点数据中抽取大量的数据正负样本数据建模。面对的挑战是数据量级大、监控曲线各异、数据正负样本不平衡。

去除干扰,找到准确的异常数据点,对问题或故障进行告警,是运维团队迫切要解决的难题。

多维智能监控

应用运行的日志数据通常包含多个维度的信息,倘若运维能高效的分析这些多维度的数据,对快速识别服务异常和提升排障效率的帮助极大。

关联告警智能分析

随着分布式和微服务技术的普及,架构的复杂度决定了关联监控告警分析的复杂度,在腾讯SNG海量的运维挑战下,关联告警智能分析的实践经验如下。

智能运维客服

智能匹配FAQ库,机器人客服对常见问题给出最准确的答案,或给出相关度Top5的问题链接。在腾讯SNG的运维实践中,我们整理出常见的FAQ知识库,并结合NLP技术实现智能客服的功能。让运维人员可以免受小白问题的打扰,极大的提升了运维团队的工作效率。

基于文本投诉的舆情监控系统

织云舆情监控系统——天王星,是运维团队与开发、产品团队合作的产品,通过对用户反馈的自然语言的智能分析,对文本问题进行自动归类,准确率接近95%。并且,按问题类别实现分钟级告警的能力。

分享中大量腾讯SNG的运维实践经验与技术,即将在由赵建春老师带领的织云产品对外输出,敬请关注!

最后,借用腾讯SNG助理总经理赵建春老师的演讲结语:

理想的AI运维就像无人驾驶一样 似乎离我们还很远 但通过不断的进步 我们坚信 它, 一定会到来

PPT中干货满满,文中只截取了部分

欢迎大家扫码下载

《AI浪潮下的高效运维思考及实践》

更多大会PPT下载地址:

链接: https://pan.baidu.com/s/1jIDwZTO

密码: egeq

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CSDN技术头条

携程:机器学习在酒店服务领域的实践

在携程技术中心推出的线上公开课程[携程技术微分享]上,携程酒店研发BI经理潘鹏举介绍了如何借助大数据和算法,通过机器学习去克服酒店服务行业挑战。目前的应用主要包...

2188
来自专栏ATYUN订阅号

在视频网站Netflix上进行个性化算法的创新 迎合你的口味排序视频

Netflix是一家美国在线视频网站。Netflix的视频体验是由一系列排名算法(Ranking Algorithm)组成的,每一种算法都针对不同的目的进行优化...

2775
来自专栏专知

构建AI知识体系-专知主题知识树简介

【导读】主题知识树是专知的核心结构之一,为构建结构化、体系化、链路化的知识内容库提供基础设施,以及进一步支持个性化主题定制、主题链路知识学习、智能搜索、探索发现...

3457
来自专栏大数据文摘

别错过这张AI商用清单:你的生产难题可能被一个应用解决

1443
来自专栏ATYUN订阅号

【技术】自动调优数据科学:新研究流线型机器学习

最近快速增长的数据科学作为一门学科和应用程序,在某种程度上具有解决问题的能力。它可以预测虚假的信用卡交易,或当一个学生即将辍学时做出预测并及时执行教育干预措施。...

3434
来自专栏人工智能

让Kaggle比赛第二名获奖者告诉你:买下一个冰淇淋的最佳时间是什么时候?

原文作者:Edwin Chen 翻译:Jingzi Zhang 我们最近的Instacart购物车分析比赛中,向Kagglers提出了一个挑战,来预测一个Ins...

3248
来自专栏CSDN技术头条

你可能遇到了”假“的数据科学家

近十年来,“数据科学”和“数据科学家”备受争论。对于哪些人可以被称为是“数据科学家”,争论不休,你很有可能遇到了”假“的数据科学家。 我们最后达成一致:只要取得...

1888
来自专栏PPV课数据科学社区

如何成为一名卓越的数据科学家——开篇七剑

关于作者: 杨滔,桃树科技(TaoData)创始人,专注于下一代人工智能产品的研发、应用与商业化。拥有超过十年机器学习研究与应用经验。奥克兰大学机器学习博士,悉...

39010
来自专栏企鹅号快讯

No.3 啥是数据运营(三):思维方式

今天这篇可以说是思维方式的总结,一共十四对我个人而言较为重要的思维方式,分享给大家。请不要嫌弃我的灵魂画作。 1.信号与噪音(信度与效度) 信度的英文为Reli...

1788
来自专栏新智元

【远古生物复活】深度学习与生物大数据处理

在地球漫长的进化中,我们人为地造成了很多悲剧: 渡渡鸟、长毛象 大海燕 袋狼 …… 这些曾经平静生活在地球上的动物因为人类活动而骤然灭绝。如今更是每天都有100...

3105

扫码关注云+社区