SynVAE AI将视觉艺术作品转化为旋律

编辑 | TGS

联觉(Synesthesia)是一种现象，在这种现象中，对一种感官通路(如听觉)的刺激会导致对另一种感官通路(如视觉)的无意识体验。例如，一些色觉特别敏感的人“听到”的声音是颜色，而那些有词汇味觉联觉的人则认为单词和味道之间存在关联。

在最近的一项研究中，阿姆斯特丹大学的研究人员似乎受到了这一领域的启发，他们研究了一种能够将绘画和其他视觉艺术的特征映射到音乐短语的人工智能系统——通感变分自动编码器（Synvae）。

“艺术是艺术家和观察者之间的信息流。然而，如果后者视力受损，那么二者之间就会出现障碍。”研究人员写道，“将视觉艺术，从一种难以接近的感官形态转化为一种易于接近的感官形态，比如把绘画转变成音乐，就有可能达到克服障碍的目的。”

为此，研究人员设计了一种可以在无监督的情况下，将数据从一种感官模式转换为另一种感官模式的人工智能体系结构。他们从开源behance艺术媒体和mnist数据集中收集了18万幅油画和水彩画的语料库，用来教授AI视觉元素和音乐序列之间的合成关系。

在其中一项评估中，人类志愿者被要求通过听SynVAE的MIDI创作，用“恐怖”、“快乐”或“快乐与和平”这三个描述词中的一个来对图片的色调或情绪进行分类。最终结果是，虽然志愿者们没有长时间看过那些作品，但他们却都正确地解读了作品，这表明，“相对复杂的数据”至少可以通过颜色和构图感知到一些情感。

研究人员写道:“我们的研究证实，视听一致性不仅是理论上的，还是贴合实际的。我们的研究结果表明，SynVAE能够通过无监督的学习机制，始终如一地将各种各样的图像转换成音乐，这一点我们非常有信心。我们希望，除了SynVAE本身能够更直观、更包容地跨感官边界访问视觉艺术品外，这项研究中概述的方法，也能提供一个坚实的基础，来评估非监督的跨模态模型。”

在未来，你或许可以在美术展览馆中，看见一个盲人对画作赞不绝口，亦或者，在歌剧院发现一个沉溺于音乐中的聋子。这很神奇有趣，但与此同时也很伟大，不是么？

未来，我们将与机器人做不可描述的事情

Python2落幕：官方113天倒计时

苹果或将进军自动驾驶汽车行业

据说在看的没有BUG