想降低云服务的花销?或许深度强化学习能帮到你 | 论文

安妮 编译自 arXiv 量子位 出品 | 公众号 QbitAI

随着云计算的普遍应用,控制计算成本越来越重要,但有调查显示,30%-45%的云开销被浪费了。一些大企业通常咨询专家控制开支,但一些小企业或个人就无法节省费用了。

近日,研究人员发现深度强化学习算法能平衡云服务性能和开销,用户不用规划如何实现,只需设置他们想达到的效果即可。这项研究大大降低了控制云服务开销的专业门槛。

云计算让共享软硬件资源能按需提供给计算机各种终端和其他设备/图片来自维基百科

研究人员将这项研究的论文《Automated Cloud Provisioning on AWS using Deep Reinforcement Learning》发表在arXiv上,论文由微软的Zhiguang Wang、商业遥感卫星服务商BlackSky的Chul Gwon和Adam Iezzi以及美国马里兰大学的Tim Oates四名研究人员共同完成。

Double Deep Q-learning

为了让用户轻松减少开销,研究人员用了哪些方法呢?

在这篇论文里,研究人员探索了强化学习在云配给上的应用,用户可以制定基于性能和开销的奖励,强化学习算法计算如何去获取奖励。

研究人员用double deep Q-learning算法在CloudSim云计算仿真器上模拟运行效果,结果能够显示强化学习的效果和这种方法的相对优劣。

DDQN结构图

上图就是一张基于竞争架构的DDQN(double deep Q-learning network)结构图。SeLU函数激活了四个卷积层,并且没有进行池化操作。研究人员没有在最终输出前插入完全连接层,而是将最后卷积层的平坦特征图减半,以此计算状态和效果。

研究人员发现,这种架构有助于用更少的参数提高稳定性。

亚马逊AWS评测效果

亚马逊网络服务系统(Amazon Web Services,AWS)是亚马逊创建的云计算平台,它提供多种远程Web服务,Amazon EC2与Amazon S3都架构在这个平台上。

AWS的环境

在论文中,研究人员展示了从简单的模拟器到CloudSim的迁移学习,之后再从CloudSim迁移到一个真实的AWS云环境的实例。

在AWS上的运行效果受到了运行时间的限制。研究人员在AWS系统上的运行阈值基线和DQN模型的时间只有3周,但运行D3QN的时间只有一个星期。为了帮助初始测试和开发AWS的环境,研究人员故意将tabular-based Q-learner的运行时间缩短了。

上图为运行结果,结果中包含用相同binning的模拟运行,方便研究人员与预期的结果进行比较。正如我们在模拟运行中所观察到的,如果leaner能在AWS上多运行一段时间,就能看到提高。

在实际的AWS环境中添加非零延迟值会影响结果。虽然很难看到奖励增多,随着时间的推移,奖励的变化明显减少了,这意味着性能是可以提高的。

商业机会

外国媒体Architecht在推荐这篇论文时,说它看起来像是个商业机会:

这是一个研究课题,如果有人想做,看起来又有些商业前景。这项研究的本质是训练一个系统,它能判断理想性价比和其他商业指标,比如“尽可能在平均用户响应时间增加不超过2%的情况下降低开销”。

这么有趣的事情,怎么能不看看论文呢?

论文获取地址:

https://arxiv.org/abs/1709.04305

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-09-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

Caffe2并入PyTorch,你的开发效率可能要提升不少

21150
来自专栏专知

【下载】面向搜索的深度学习实战书籍和代码《Deep Learning for Search》

【导读】 信息检索资深专家Tommaso Teofili最新撰写的面向搜索的深度学习实战书籍(预计2018年夏季出版)《Deep Learning for Se...

89870
来自专栏AI研习社

MSRA 系统研究员陈程:MMdnn 如何让模型在不同深度学习框架间转换?

在深度学习领域,有许多深度学习框架可以让开发者和研究者用于设计模型,每个框架具备各自独特的网络结构定义和模型保存格式。AI 工程师和研究者希望自己的模型能够在不...

15030
来自专栏量子位

深度学习成了前端开发神器:根据UI设计图自动生成代码

唐旭 编译整理 量子位 报道 | 公众号 QbitAI UI设计和前端工程师之间,可能还需要一个神经网络。 ? 近日,位于哥本哈根的一家创业公司Uizard T...

544100
来自专栏IT大咖说

从 Google TFX 到 Kubeflow:容器化交付敏捷 AI 平台

内容来源:2018 年 04 月 22 日,才云科技创始人兼CEO张鑫在“全球首发| Kubeflow Meetup 4.22 杭州场,开拓 AI 新视野”进行...

51430
来自专栏机器人网

工业机器人的视觉系统该如何选择?

机器视觉软件是检测系统中的智能部分,也是最核心的部分。软件的选择决定了你编写调试检测程序的时间、检测操作的性能等等。 1.摄像头和光学部件 这一类通常含有一个或...

39280
来自专栏机器学习算法与Python学习

Delicious和Hacker News--基于用户投票的排名算法

来源:阮一峰 ruanyifeng.com/blog/2012/02/ranking_algorithm_hacker_news.html 互联网的出现,意味着...

36150
来自专栏华章科技

干货 ▏如何构建用户画像

用户画像的核心工作是为用户打标签,打标签的重要目的之一是为了让人能够理解并且方便计算机处理,如:

18350
来自专栏腾讯社交用户体验设计

来做一个数据可视化报表--遇见大数据可视化系列文章之三

22130
来自专栏量化投资与机器学习

【Python机器学习】系列之机器学习基础

谢谢大家的支持!现在该公众号开通了评论留言功能,你们对每篇推文的留言与问题,可以通过【写评论】给圈主留言,圈主会及时回复您的留言。 自2007年发布以来,sci...

271110

扫码关注云+社区

领取腾讯云代金券