AI 收藏夹 Vol.004：Waifu Lab 火了，AI 是如何创作的？

文章

0 1

AI 如何画出虚拟老婆的？

最近大火的 Waifu Labs 项目使用生成对抗网络方法，训练 AI 创作「虚拟老婆」。

这篇文章[1]解剖 AI 学习的步骤，我们可以看到一张二次元面孔是如何在一片混沌中生成的。生成对抗网络简称 GAN，是非监督式学习的一种方法，你可以把它想象成一对为了学习而相互博弈的 AI：一个 AI 学习如何绘画；另一个 AI 学习如何区分由人工智能制作的画和由人类艺术家制作的画作。

通过隔离控制某些特征向量，对这些坐标进行编目，还可以在人物之间实现有趣的变形 👇。

http://mpvideo.qpic.cn/0bc3r4aa2aaatiactsxgfvqvbd6dbwhqadia.f10002.mp4?dis_k=09ca7ce9fe976030f3793360359a6984&dis_t=1645428936&vid=wxv_2229359788465946625&format_id=10002&support_redirect=0&mmversion=false

0 2

当 AI 遇见美食

索尼自 2018 年开始探索人工智能与烹饪之间的连结。日前，索尼开发的 AI 系统已支持将大量的食物数据整合处理后交付到厨师手中，协助厨师在灵活地搭配食材。此外，索尼还在开发能够灵巧快速地操作各种食品和烹饪器具的机器人，以辅助厨师烹饪和装盘。为了实现这些目标，索尼与整个行业的组织合作，从厨师、餐馆到大学、科技公司和食品供应商。我们可以在索尼官网[2]上进一步阅读相关论文并观看概念视频。

0 3

Meta AI 让儿童手绘「活」起来

儿童会画出千奇百怪的身体形状，有时候没有完整的头，有时候手臂又会从眼睛的地方伸出来……不同的孩子又会画出不一样的世界。AI 如何克服重重挑战，识别儿童绘画？Meta 通过四个步骤来完成从绘画到动画的转变：目标检测识别人形；使用角色 mask 从场景中提取人形；通过 rigging 为动画做准备；使用 3D 动作捕捉制作 3D 人形动画[3.1]。你也可以在这里线上试玩[3.2]。

0 4

AI 软件辅助识别结直肠病变

字节跳动旗下医疗品牌「小荷健康」研发了一款结肠镜 AI 辅助诊断软件，可利用人工智能技术，辅助临床医生实时发现、鉴别结直肠癌症病变。

与其他癌症相比，结直肠癌相对可防可控。而可防可控的关键在于早预防、早筛检、早治疗，结肠镜检查便是最主要的早筛检手段之一。

0 5

Jeff Dean：机器学习 2021 年度总结与研究趋势

谷歌 AI 掌门人 Jeff Dean 发表万字长文年度总结。在总结中，重点介绍机器学习五大趋势：

• 能力更强的通用型机器学习模型
• 持续改进机器学习的效率
• 个人和社会视角下，机器学习的益处
• 科学、健康和可持续发展方面，机器学习的效益
• 伦理上，机器学习公平和公正议题

工具

0 1

AI 自动补全代码神器

🌟 功能：

根据已写出的上下文，自动生成匹配的代码，可以将简单重复的代码编写部分自动化。

👀 亮点：

• 经过数十亿行公共代码的训练，实测正确率较高，按 tab 键自动补全确实很爽
• 还可以用于协助软件测试，导入一个软件测试包，其余测试代码自动补全

👉 地址：

https://copilot.github.com/

0 2

索尼 CSL 音乐实验室研发的创意原型和音频制作工具

🌟 创意功能：

• DrumNet 通过无监督学习的方式实现基于现有的音乐旋律生成鼓点节奏
• BassNet 基于现有音乐旋律生成低音，并且在音乐播放时可以随时调整和控制产生音符的密度、清晰度和音色
• Flow Machines 可以生成一段包含和弦、低音和完整旋律的音轨样式
• 在把实际演奏的钢琴旋律进行数字化处理时，常常会遇到一些音符的缺失，这时就可以进行“修复”，甚至还可以直接去“续写”或者从头创建一段新的旋律
• NOTONO 是一个将声音可视化的合成器
• DrumGAN 生成各种各样的鼓声

🔧 用于音频处理和制作混音/母带的高级工具：

• Profile EQ 类似图形编辑器中的“自动对比”功能，是一个将音频直观对比的自适应均衡器
• Resonance EQ 类似“调节图像饱和度”功能，能平滑音频，去掉杂音，或放大共鸣，强调谐波丰富旋律等
• Multiband Phase 自动识别和修复相位相关问题
• XSpecMatch 是实时的音频匹配均衡器

👉 项目地址：

https://cslmusicteam.sony.fr/prototypes/multiband-phase/

0 3

限时你画我猜小游戏

🌟 玩法：

神经网络能学会辨识涂鸦吗？在这个小游戏里，用户在 20 秒内根据命题画画，神经网络试图猜测你在画什么。用户玩得越多，它就会学得越多，是一个有趣的机器学习应用案例。

👉 玩耍地址：

https://quickdraw.withgoogle.com/

🖌️ 涂鸦数据集：

https://quickdraw.withgoogle.com/data

参考资料：

[1] Waifu Labs：https://waifulabs.com/blog/ai-creativity

[2] 索尼的 AI 探索：https://ai.sony/projects/gastronomy/

[3.1] Meta AI 让儿童画活起来：https://ai.facebook.com/blog/using-ai-to-bring-childrens-drawings-to-life/

[3.2] 试玩地址：https://sketch.metademolab.com/

[4] AI 肠镜辅助检查：http://www.chinanews.com.cn/cj/2022/01-07/9646539.shtml

[5] Jeff Dean 的年度总结：https://ai.googleblog.com/2022/01/google-research-themes-from-2021-and.html