震惊!(本次使用已获UC震惊部授权)
就在昨天,人工智能领域一个开创性的成果出现了:关于生成对抗网络(GAN)的最新论文出炉。很多学者和业内人士,都用震惊二字描述内心的波澜。
这篇已经在arxiv上公布的论文,题目是:《STOPPING GAN VIOLENCE: GENERATIVE UNADVERSARIAL NETWORKS》,并且已经作为会议论文提交SIGBOVIK 2017评审。这个大会将于3月31日在卡内基梅隆大学召开。
在Reddit上,有人评价这篇是自己近年唯一从头到尾读完的论文。这么重要的论文,量子位看过之后,赶紧跑来跟大家分享笔记。
神经网络苦对抗久矣。吾闻生成对抗网络(GAN)暴力也,不当立,当立者乃生成式非对抗网络(GUN)。在这一框架下,我们同时训练两个模型。
一个是生成器G,用以捕捉任何自认可以处理的任一数据分布。一个是激励器M,鼓励G努力奋斗。在奋斗的过程中,两个模型通过学习各自的差异而演变。
这个框架的理论基础是博弈论,并且可以看做是双赢的结构,两个模型结成团队以争取最佳结果。整个模型的原理如下:
生成器G提出样本:PROPS,作为回应,激励器M给出确认和赞美:ACKS。这样两个网络之间就产生了协同效应。
而此前的生成对抗网络,要求生成器G和鉴别器D不断对抗。
训练过程如图所示:(图a) 在激励器(红线)的帮助下,生成器(黄线)正为目标数据分布(蓝色虚线)而努力。 (图b) 激励得当的情况下,生成器完成目标。 (图c) 在激励器的鼓舞下,生成器还能额外做出10%的努力,这不是错误,而是激励有效的证明。
在经过叨逼叨逼的试验后,结论如下:
这项研究表明,GAN这种一个神经网络对另一个神经网络施加暴力的行为,不仅不道德而且不必要。试验显示,更幸福的网络性能更好。事实上,非对抗式学习在深度学习的广阔天地中,必将大有作。下一步的研究将纳入梯度等问题。
如此令人心旷神怡的论文,由三位作者合作完成。他们是:
半路出家,文笔一流君Samuel
云山雾罩,自学成才君Sebastien
微小贡献,强行采访君Joao
以上。
还记得开头说的SIGBOVIK 2017大会么?这个大会2007年首次召开,组织方是SIGBOVIK,也是一个脑洞大开的组织。欢迎实在很闲的情况下自行搜索……