台湾学者研发新型二元神经元GAN!有望用于AI作曲

来源:techxplore.com

编辑:木青

【新智元导读】台湾“中央研究院”IT创新研究中心的研究人员开发出一款新型生成对抗网络,其在生成器的输出层设计了二元神经元,研究人员希望将此用于AI作曲。

中国台湾的研究人员最近开发了一种新型生成对抗网络(GAN),在其生成器的输出层设计了二元神经元。该模型已经预先在arXiv上发表的论文中提出,可以直接在测试时生成二进制值预测。

目前为止,GAN在连续分布建模方面取得了显着成果。不过,要将GAN应用于离散型数据还存在很大挑战,尤其是在高维离散空间中,主要是因为由模型分布向目标数据分布的优化上存在困难。

进行这项研究的研究人员之一Hao-Wen Dong透露,“我目前正着手进行音乐生成。我认为,作曲可以被解读为一系列的决断,例如,关于乐器的选择、和弦的方法、甚至是使用的确切音符。为了实现AI作曲家的宏伟愿景,我特别感兴趣的是GAN等深层生成模型是否能够做出决定。因此,这项工作考察了我们是否可以训练设计了二元神经元的GAN,并利用标准训练算法与反向传播去做出二元决策。”

Hao-Wen Dong和他的顾问Yi-Hsuan Yang共同开发一个模型,可以在测试时直接生成二进制值预测。然后,他们使用它来生成二进制化的MNIST数字,同时比较不同类型的二元神经元、GAN目标以及网络架构的性能。

样本生成数字和预激活输出,用于由MLP实施并使用WGAN-GP目标进行训练的建议模型。来源:Dong and Yang

“简而言之,这种新型GAN(BinaryGAN)是一种采用二元神经元的GAN,在其生成器的输出层输出一个或零的神经元,”Dong说,“GAN有两个主要组成部分:生成器和判别器。生成器的目的是生成假数据样本,这些样本能够欺骗判别器将生成的样本归类为真样本。另一方面,判别器的目标是区分假样本,然后利用其提供的反馈来改进生成器。而训练之后,生成器可以用来生成新的数据样本。”

研究人员能够有效地训练BinaryGAN,以及它们的生成模型与二元神经元。他们的研究结果还表明,使用梯度估计器可能是有前景的用GAN模拟离散分布的方法。

建议模型的预激活输出的直方图以及实值模型的概率预测。这两个模型均由MLP实施,并通过WGAN-GP目标进行培训。

“通过使用梯度估计器,我们能够使用反向传播算法训练BinaryGAN,”Dong说,“此外,模型中采用的二值化导致了深度神经网络学习的中间表征存在着多种不同的特征。这也强调了在训练中包含二值化操作的重要性,因此这些二值化操作也能进行优化。”

Dong和Yang现在正寻求将采用二元神经元的GAN应用于条件计算图的实现。在这种情况下,根据网络中的二元神经元所做的决定,某些部分将被激活或失效。

MLP实施的建议模型系统图;请注意,二元神经元仅用于生成器的输出层

这很重要,因为它可以让我们建立一个更复杂的、依赖于早期网络层面决定的模型,”Dong说,“例如,我们可以建立一个AI作曲家,首先决定学习乐器和和弦,然后再相应地学习作曲。”

参考链接:

https://techxplore.com/news/2018-10-binarygan-adversarial-network-binary-neurons.html

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2018-10-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

GAN发展历程综述:送你最易入手的几个架构 | 附资料包

颜萌 林鳞 编译自 Sigmoidal 量子位 出品 | 公众号 QbitAI 怎样教机器画一张从未见过的人脸呢?我们知道计算机可以存储大量照片,但它并不知道像...

3486
来自专栏语言、知识与人工智能

【腾讯知文】任务型对话之语言理解

本文的重点将介绍传统算法框架中语言理解模块的意图与槽位的联合模型。

10.7K8
来自专栏AI2ML人工智能to机器学习

攒说 Geoff Hinton

大家都知道深度学习的鼻祖Geoff Hinton, 传说, 他安静的办公室, 经常会突然传出一句很大声的自言自语, 就是 我现在终于理解大脑怎么工作的啦(I u...

661
来自专栏AI研习社

禅与奶罩识别艺术(上)

在昨天的卷积:如何成为一个很厉害的神经网络 - 知乎专栏中,热心网友提出了这样的问题: ? 该文在卷积神经网络的构成上讲解的比较直观,但是没有深入地探讨数学原理...

3786
来自专栏人工智能LeadAI

用于金融时序预测的神经网络:可改善经典的移动平均线策略

近日,Medium 上出现了一篇题为《Neural networks for algorithmic trading: enhancing classic st...

4108
来自专栏智能算法

人脸识别应用之“变脸”

“照片分享”是社交场景中比重很大的一部分,当然现在来看视频(特别是短视频)也变得越来越多,而照片又以人像为主,所以我们看到如QQ空间、微博、微信朋友圈里,自拍、...

7887
来自专栏机器之心

深入浅出:GAN原理与应用入门介绍

选自StatsBot 作者:Anton Karazeev 机器之心编译 参与:乾树、黄小天 生成对抗网络(GAN)是一类在无监督学习中使用的神经网络,其有助于解...

3256
来自专栏AI研习社

从零教你写一个完整的GAN(附代码)

导言 啦啦啦,现今 GAN 算法可以算作 ML 领域下比较热门的一个方向。事实上,GAN 已经作为一种思想来渗透在 ML 的其余领域,从而做出了很多很 Am...

3309
来自专栏IT派

深入浅出介绍:GAN的基本原理与入门应用!

如果你觉得好的话,不妨分享到朋友圈。 摘要:生成对抗网络(GAN)是一类在无监督学习中使用的神经网络,其有助于解决按文本生成图像、提高图片分辨率、药物匹配、检索...

4394
来自专栏机器之心

ACM MM | 中山大学等提出HSE:基于层次语义嵌入模型的精细化物体分类

作者:Tianshui Chen、Wenxi Wu、Yuefang Gao、Le Dong、Xiaonan Luo、Liang Lin

1092

扫码关注云+社区

领取腾讯云代金券