专栏首页AI研习社用机器学习搞艺术,谷歌 Megenta 项目集锦(附 Github)

用机器学习搞艺术,谷歌 Megenta 项目集锦(附 Github)

雷锋网 AI 研习社按:本文为雷锋字幕组编译的技术博客,原文 Make Music and Art Using Machine Learning,作者 magenta。

翻译 | 汪星宇 王飞 魏洪贵 整理 | 凡江

概述

Magenta 项目的一个主要目标是证明机器学习可以用来提高所有人的创造性潜能。

页面上的演示和应用均来自谷歌人(内部或是外部),他们打造有趣的玩具、富有创意的应用、研究笔记和专业工具,这将对许多人有所帮助。

分类

  • Web 应用 https://magenta.tensorflow.org/demos#web-apps
  • Colab 笔记本 https://magenta.tensorflow.org/demos#colab-notebooks
  • 本机应用 https://magenta.tensorflow.org/demos#native-apps
  • 社区贡献 https://magenta.tensorflow.org/demos#community-contrib

Web 应用

本部分包括基于浏览器的应用程序管理,许多是通过TensorFlow.js,对WebGL-accelerated的推理实现的。

1. Beat Blender

  • demo https://g.co/beatblender
  • blog https://magenta.tensorflow.org/music-vae
  • code https://github.com/googlecreativelab/beat-blender

Torin Blankensmith ( Github: torinmb,Twitter: tBlankensmith )

Kyle Phillips ( Github: hapticdata , Twitter: hapticdata )

这是谷歌Creative Lab基于MusicVAE用MusicVAE.js API实现的一个交互demo。你可以使用它来生成鼓点的二维调色板,并通过latent空间绘制路径以创建不断变化的节拍。四个角可以手动编辑,替换为预设,或从latent空间采样以重新生成调色板。

2. Latent Loops

  • demo https://goo.gl/magenta/latent-loops
  • blog https://magenta.tensorflow.org/music-vae

Catherine McCurry ( Github: currycurry )

Zach Schwartz ( Github: zischwartz )

Harold Cooper ( Github: hrldcpr )

这是谷歌的Pie Shop基于MusicVAE用MusicVAE.js API实现的一个交互demo。Latent Loops可以让你在一个由不同音阶组成的方阵里挑选曲子并生成循环的曲子,再用这些生成一个更长的曲子。搞音乐的人可以用这个界面创建一个完整的曲子并轻松地将它挪到他们自己的数字音乐工作站中。

3. Melody Mixer

  • demo https://g.co/melodymixer
  • blog https://magenta.tensorflow.org/music-vae
  • code https://github.com/googlecreativelab/melody-mixer

Torin Blankensmith ( Github: torinmb , Twitter: tBlankensmith )

Kyle Phillips ( Github: hapticdata , Twitter: hapticdata )

这个demo是由谷歌Creative Lab基于MusicVAE用MusicVAE.js API创建的。它能让你轻松生成两小段曲子之间的过渡音乐。

4. PerformanceRNN

  • demo https://goo.gl/magenta/performancernn-demo
  • blog https://magenta.tensorflow.org/performance-rnn-browser
  • code https://goo.gl/magenta/performancernn-demo-code

Curtis Hawthorne ( Github: cghawthorne )

Nikhil Thorat ( Github: nsthorat , Twitter: nsthorat )

PerformanceRNN可以在浏览器里实时演奏钢琴,他是用TensorFlow.js开发的。

5. SketchRNN

  • demo https://magenta.tensorflow.org/assets/sketch_rnn_demo/index.html
  • blog https://magenta.tensorflow.org/sketch-rnn-demo
  • code https://github.com/tensorflow/magenta-demos/blob/master/sketch-rnn-js

David Ha ( Github: hardmaru , Twitter: hardmaru )

Jonas Jongejan ( Github: HalfdanJ , Twitter: HalfdanJ )

Ian Johnson ( Github: enjalot , Twitter: enjalot )

这个demo可以让你和SketchRNN一起画画。

6. NSynth Sound Maker

  • demo https://g.co/soundmaker
  • blog https://magenta.tensorflow.org/nsynth-instrument
  • code https://github.com/googlecreativelab/aiexperiments-sound-maker

Yotam Mann ( Github: tambien , Twitter: yotammann )

一个基于NSynth的交互AI的尝试,NSynth是与谷歌Creative Lab合作完成, 你可以选择两种乐器将他们合成一个新的音乐。

7. A.I. Duet

  • demo https://g.co/aiduet
  • blog https://magenta.tensorflow.org/2017/02/16/ai-duet
  • code https://github.com/googlecreativelab/aiexperiments-ai-duet

Yotam Mann ( Github: tambien , Twitter: yotammann )

一个基于NSynth 的交互AI的例子,MelodyRNN是与谷歌Creative Lab合作完成的,它让你通过机器学习来作曲。通过很多MIDI的例子来训练一个神经网络让它学习音乐概念,创建一个关于音符和时序图。你演奏一些音符,看看它如何反应的吧。

Colab 笔记本

Colaboratory是谷歌的一个用于普及机器学习教育和研究的研究项目。环境是Jupyter笔记本,完全运行在云端,不需要本地进行设置。

我们为Colab笔记本提供了一些模型,这些模型可以让你在托管的谷歌云实例上与它们进行免费交互。

8. E-Z NSynth

  • demo https://g.co/magenta/nsynth-colab

Jesse Engel ( Github: jesseengel , Twitter: jesseengel )

这个Colab笔记本能够免费帮助你上传你自己的声音文件,然后使用NSynth模型对这些声音文件进行重建修改。

9. MusicVAE

  • demo https://g.co/magenta/musicvae-colab

Adam Roberts ( Github: adarob , Twitter: ada_rob )

MusicVAE学习乐谱的潜在空间。 此Colab笔记本提供的功能可供您从先前的分配中随机抽样,并在几个预先训练的MusicVAE模型的现有序列之间进行插值。你还可以将结果与MusicVAE论文中描述的基准模型进行比较,这篇论文的题目是:用于学习音乐长期结构的分层潜在矢量模型。

10. Onsets and Frames

  • demo https://colab.research.google.com/notebook#fileId=/v2/external/notebooks/magenta/onsets_frames_transcription/onsets_frames_transcription.ipynb

Curtis Hawthorne ( Github: cghawthorne )

Onsets and Frames是一个自动钢琴音乐转录模型。 这款Colab笔记本演示了在用户提供的录音上模型的运行。

11. Latent Constraints

  • demo https://colab.research.google.com/notebooks/latent_constraints/latentconstraints.ipynb

Jesse Engel ( Github: jesseengel , Twitter: jesseengel )

有关潜在约束的运行实验代码:无条件生成模型的条件生成。

本机应用

本机应用程序在本地机器上运行,通常需要您安装其他软件,但有时更适合专业人士使用。

12. NSynth MaxForLive Device

  • blog https://magenta.tensorflow.org/nsynth-instrument
  • code https://github.com/tensorflow/magenta-demos/tree/master/nsynth

Jesse Engel ( Gituhub: jesseengel , Twitter: jesseengel )

MaxForLive设备集成到Max MSP和Ableton Live中。 它可以让你通过直观的网格界面探索NSynth声音的空间。

13. A.I. Jam (NIPS 2016 Demo)

  • blog https://magenta.tensorflow.org/2016/12/16/nips-demo
  • code https://github.com/tensorflow/magenta-demos/tree/master/ai-jam-js

Adam Roberts ( Gituhub: adarob , Twitter: ada_rob )

Jesse Engel ( Gituhub: jesseengel , Twitter: jesseengel )

互动式“A.I. Jam使用AI Duet的前端构建的“Jam Session”,结合Magenta MIDI界面,在浏览器中重现屡获殊荣的Magenta 2016 NIPS演示体验。

社区贡献

社区贡献都是在没有谷歌参与的情况下创建的,使用的是Magenta模型和库。 如果你有一个你认为属于这里的演示,请通过我们的讨论组分享。

14. Latent Cycles

  • demo https://codepen.io/teropa/full/rdoPbG/
  • blog https://codepen.io/teropa/details/rdoPbG/
  • code https://codepen.io/teropa/pen/rdoPbG

Tero Parviainen ( Gituhub: teropa , Twitter: teropa )

使用ImprovRNN的Magenta MusicVAE模型种子生成旋律循环的潜在空间,然后相互演奏循环,探索潜在的谐波可能性。

由TensorFlow.js和Magenta.js提供支持。

15. Neural Drum Machine

  • demo https://codepen.io/teropa/full/RMGxOQ/
  • blog https://codepen.io/teropa/details/RMGxOQ/
  • code https://codepen.io/teropa/pen/RMGxOQ

Tero Parviainen ( Gituhub: teropa , Twitter: teropa )

由TensorFlow.js和Magenta的DrumsRNN和MusicVAE提供动力的实验电子鼓乐器。 要使用它,请在左侧定义种子模式,并使用“生成”按钮。 DrumsRNN梦想着延续你的种子模式。 “密度”滑块使用MusicVAE添加或删除图案中的点击。

16. Neural Arpeggiator

  • demo https://codepen.io/teropa/full/ddqEwj/
  • blog https://codepen.io/teropa/details/ddqEwj/
  • code https://codepen.io/teropa/pen/ddqEwj

Tero Parviainen ( Gituhub: teropa , Twitter: teropa )

保持一个音符或和弦,让深度神经网络在其周围播放琶音模式。

由TensorFlow.js和Magenta的ImprovRNN提供支持。

17. Neural Melody Autocompletion

  • demo https://codepen.io/teropa/full/gvwwZL/
  • blog https://codepen.io/teropa/details/gvwwZL/
  • code https://codepen.io/teropa/pen/gvwwZL

Tero Parviainen ( Gituhub: teropa ,Twitter: teropa )

播放并保持旋律或和弦,让深层神经网络为您完成。

由TensorFlow.js和Magenta的ImprovRNN提供支持。

18. Deep Roll

  • demo https://codepen.io/teropa/full/zpbLOj/
  • blog https://codepen.io/teropa/details/zpbLOj/
  • code https://codepen.io/teropa/pen/zpbLOj

Tero Parviainen ( Gituhub: teropa , Twitter: teropa )

一个深度的神经网络,在你的浏览器中做出旋律。

由TensorFlow.js和Magenta的ImprovRNN提供支持。

这些旋律是由ImprovRNN生成的,和弦产生条件是通过使用马尔可夫链生成的。

19. mSynth

  • demo https://itunes.apple.com/us/app/msynth/id1269514201
  • blog https://magenta.tensorflow.org/blog/2017/09/12/outside-hacks
  • code https://github.com/lamtharnhantrakul/mSynth

Hanoi Hantrakul ( Gituhub: lamtharnhantrakul)

mSynth是一款在2017年Outside Hacks中获得第一名的应用程序,Outside Hacks是旧金山Outside Lands音乐节上举办的官方24小时音乐编程马拉松。该团队开发了一个艺术家观众交互式体验,节日观众可以通过倾斜手机实时共同控制Magenta的NSynth。

博客原址 https://magenta.tensorflow.org/demos


本文分享自微信公众号 - AI研习社(okweiwu),作者:雷锋字幕组

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-04-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 玩机器学习要知道哪些开源数据库?

    开发 AI 和机器学习系统从来没有像现在这样方便。 类似于 TensorFlow、Torch 和 Spark 这样的开源工具,在 AI 开发者群体中已是无处不在...

    AI研习社
  • Github项目推荐 | 目标姿态检测数据集与渲染方法

    标准化数据集在多媒体研究中至关重要。今天,我们要给大家推荐一个汇总了姿态检测数据集和渲染方法的 Github 项目。

    AI研习社
  • ACL 2019 26 篇论文实现代码(持续更新中)

    ACL 2019 将于今年 7月28日-8月2日 在意大利佛罗伦萨举行,作为 NLP 顶级会议之一,备受广大 NLP 学术青年的关注。

    AI研习社
  • 资源 | 致深度学习的入门者与小白的一份学习清单

    本篇文章是基本按照学习的先后顺序进行写的。具体的入门方式取决于你已经掌握的知识。要理解并应用深度学习,必须先掌握线性代数、微积分和统计学,还应当具备编程及机器学...

    用户2769421
  • 如何在Ubuntu和Debian上安装R.

    R是包含了数据可视化功能的用于统计分析的编程语言。该语言通过Comprehensive R Archive Network(CRAN)拥有高度的可扩展性,该网络...

    魔法少女伊莉雅
  • 负责任地编写Javascript(二)

    重构工作一开始非常简单,就是到处安装 npm,这其实就是在快速安装生产依赖项,就像一个大学生在做桶支架,而不关心第二天早上的情况一样。

    WecTeam
  • 程序员的百宝箱

    lilugirl
  • 【独家】自然语言处理(NLP)入门指南

    致谢 钟崇光博士参与了数据派THU于6月5日、THU数据派于6月8日发布的《循序渐进提升Kaggle竞赛模型精确度,以美国好事达保险公司理赔为例》一文的校对工作...

    数据派THU
  • 自然语言处理(NLP)入门指南

    大数据文摘
  • 2019,不可错过的NLP“高光时刻”

    谷歌AI 提出了 ALBERT 模型,这是 BERT 模型的简化版本,用于语境化语言表示的自监督学习。相较于 BERT,其在模型更加精练的同时更有效地分配了模型...

    AI科技大本营

扫码关注云+社区

领取腾讯云代金券