阿姆斯特丹大学的研究人员创建了一个AI模型,可以由绘画来生成旋律。他们的研究似乎是在验证叔本华的想象。叔本华说,世界是意志的表象,是音乐的梦幻。按照他的说法,每一幅绘画背后都是音乐。
这一AI模型名为“综合变奏自动编码器”(SynVAE),由两个神经网络构成,一个将图像转换为矢量,并为矢量创建旋律,另一个尝试根据产生的音乐对原始绘画进行重构。从测试的情况看,在大约70%的案例中,音乐与绘画的情绪相对应,后者是AI的原始资料。
在视觉形象与音乐的转换方面,这不是第一个项目。提供交感体验的音乐平台Reify曾在几年前推出一个名为Stylus的应用,可分析一首歌的结构、旋律、振幅等,然后将这些数据与高度、重量等关联起来,设计、制作出雕塑。这种雕塑不仅可以摆放观摩,还可以用来播放音乐。
Reify的应用是娱乐性的,而阿姆斯特丹大学的研究要严肃得多。研究人员希望像SynVAE这样的AI能够提供超越感官的艺术访问,例如为盲人创造替代访问。他们还希望在未来将其方法应用于进一步的感觉传递。
【数字叙事 Lighting】
领取专属 10元无门槛券
私享最新 技术干货