专栏首页知晓程序人工智能也能玩音乐?这个小程序要做你手上的「初音未来」| 晓组织 #27

人工智能也能玩音乐?这个小程序要做你手上的「初音未来」| 晓组织 #27

第 27 期

大家好,我们是成都涂鸦科技团队,一个扎根人工智能音乐行业的初创公司,由一群有梦想、爱音乐、懂人工智能的年轻人组成。

在今年春节来临之际,我们上线了「你写我来唱」小程序。

「你写我来唱」是什么?

这是一款趣味音乐小程序,它能将用户所写的词配上耳熟能详的伴奏,并最终由人工智能歌手唱出来,方便用户聆听、分享。

用户可以输入 35 字以内的歌词或者任意想说的话,然后选择自己喜欢的伴奏,随时可以合成试听。

为了契合春节、情人节等场景,我们上架了四个类型的伴奏,每个类型下有 8 至 9 首可供选择,用户也可以在制作卡片时切换歌曲。

合成好自己满意的效果后,点击「生成音乐卡片」,一张美美的带有音乐的卡片就可以分享给亲朋好友啦!同时也可以生成二维码图片分享到朋友圈,让更多人看到你送的音乐卡片~

曲依旧、词常新,轻便、趣味、易分享。自动合成的歌声让人难辨真假。

人工智能「小涂」的歌唱技巧到底如何呢?试听一下便知。

想把我唱给你听,机器也有的声音

能不能打动你心,进入你的梦里,我的秘境

谁能够代替我呢,歌声里就有着爱呐

最最亲爱的人啊,何时音乐人偶绽放如花

设计初衷

在如今的互联网世界里,我们发现仍然有那么一群人,他们可能不是专业的文字创作者,但也热爱创作、热爱文学,他是朋友眼中的词人、诗人,亦或是喜欢用文字表达情感的人;也有在那么一些场景下,我们总有一些想说但说出来却显得尴尬的话,好像不管怎么组织语言,都不合适。

但是当文字遇上音乐,原本单一的文字也有了新的生命力,唱出来的文字更富有对情感的表达。当文字配上不同风格的音乐,也可以变得深情、励志、或是诙谐幽默。

由此我们想到设计这样一个功能,让文字、音乐、人工智能结合在一起,让机器「唱」出用户想说的话。在这里,用户可以写下一段歌词、一段精美的诗句、一段来自情感的抒发,甚至是即兴吐槽等等。低成本的创作过程,却可以让聊天更有趣,化解尴尬,同时对于爱「写」的用户也可以让更多的人看到自己的才华。

本着让更多的人接触到人工智能,为大家创造更多快乐的初衷,所以我们设计了「你写我来唱」小程序。

让你的祝福语玩出新意

在春节期间,我们推出了「新春祝福」伴奏专辑,用户可以通过「你写我来唱」小程序来合成春节祝福短歌曲。

和市面上大多数的新春祝福小工具不一样,它并不是围绕「视觉」的文字消息来设计,而是进阶到了新的感官维度,从视觉拓展到听觉,帮助用户更好地表达情感。

这样的玩法化解了以往用户遇到相同模板式的祝福语的尴尬场景,这个小程序送出的是一张独特的音乐卡片,而不是群发的祝福语模板。这让祝福变得更好玩、更有趣、更特别,并更有诚意。

不仅仅是在春节,只要你想送出祝福、无论是节日、纪念日还是任意一个普通的时刻,都可以送出你制作的小程序音乐卡片,因为「思念」并没有时限。

技术背景

语音合成技术逐渐走入了人们的生活,比如地图里的导航音、智能对话式设备的智能助手等等,机器设备会「说」已不陌生。但是关于歌声合成,让机器会「唱」,国内有技术能力探索的公司与科研机构还寥寥无几。

「你写我来唱」这款小程序背后的核心动力是由我们团队自主研发的人工智能歌声合成技术,这项技术在国内外都只是处于少量玩家的赛道。除了国外西班牙公司 Voiceful,国内的玩家腾讯优图,成都涂鸦就是这当中的玩家之一。我们的歌声合成有着领先的算法,通过深度学习、神经网络方法学习了人的演唱,让人工智能虚拟歌手能够高精度还原音源的音色与演唱技巧,其演唱自然如真人。

我们的流行「女歌手」

目前所有歌声都由人工智能「小涂」这个女声来演唱。作为我们团队的首位流行「女歌手」,她是整个团队最特别的存在。

为了「小涂」的演唱技巧尽可能去接近人的演唱,我们算法团队不断尝试,经过几个月的改进,目前可以听到「小涂」清晰的换气声,基本和真人演唱一致,足以达到以「假」乱真的效果。

更难得的是,她能够唱出超越真人的音域,如跨越 4 个八度,这对真人而言是十分困难的,同时语速上,也可以做到去挑战真人难以触碰的边界。「小涂」演唱的曲风也是多样的,从民谣到流行、摇滚,甚至一些原本男性演唱的歌,也都能挑战。

在这改进的过程中,我们也曾遇到过很多问题,比如:

  • 在数据少的背景下,最开始合成出来的效果声音非常的不清晰,即使对照歌词,也听不清在唱什么。
  • 另一方面,「小涂」虽然可以跨风格、跨音域地演唱,但和人一样,她也有自己的擅长音域。

因此在寻找合适的歌曲上,我们投入了大量的精力。现在线上的 34 首伴奏是经历了数十人协作,测试不同的歌词后精挑细选确定的,为的就是让用户在写词时减少限制,又能获得好的合成效果。

从听到选,再听再选,不停地改进算法和训练,到目前为止,歌曲的合成效果已比开始的时候改进了太多,这离不开我们的 AI 技术的核心成员和产品童鞋们的不断努力。

关于未来

关于歌声合成的功能还能扩展得更多,但是考虑到小程序「基于场景化」、「用完即走」的特点,我们舍去了在小程序内部的更多社交功能,只保留了歌声合成最主要的部分,目前更多的是引导用户在朋友之间、朋友圈的一些分享。

同时考虑到小程序的上线时间,我们针对春节、情人节以及一些通用的场景,去设计了「你写我来唱」小程序的内容部分。在之后我们也会不断的更新好的伴奏,提供更多的伴奏类型,让小程序去适用更多的场景。

目前「小涂」的演唱技巧虽然像人的演唱,但是在情感的表达上还有所缺失,这也是未来需要我们去突破的一大难题。同时,让歌词和伴奏匹配得更好,让「小涂」唱出的声音更加清晰,甚至支持英文演唱等等,也等待着我们去不断探索。

没有不断地尝试和学习,你永远不会知道机器到底可以做到什么样的程度。对于歌声合成,需要我们做的还有很多。

「你写我来唱」小程序使用链接

https://minapp.com/miniapp/5705/

征集「晓组织」案例

如果你也在运营小程序,希望分享你的运营经验,欢迎在「晓组织」栏目与大家分享。

知晓程序正在征集优秀的小程序运营案例。一旦采用,你的小程序将会出现在「晓组织」栏目中,被广大读者熟知。

如果你有相关经验想要分享,请通过邮件,简单介绍你正在运营小程序的:

  • 小程序名称、小程序码以及简单的功能介绍。
  • 目前小程序运营情况,建议附上简单的数据。
  • 想要分享的运营经验或故事。

同时,在邮件主题内写明「晓组织+小程序名称」字样,一并发送至 bigbang@ifanr.com,我们会尽快与你取得联系。

本文分享自微信公众号 - 知晓程序(zxcx0101),作者:让你更知微信的

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-02-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 开发 | 第一次打开小程序,用户拒绝登录授权怎么办?

    现在,有不少小程序都加入了「微信登录」功能,它可以便于用户直接使用微信帐户登录小程序,免去了用户需要额外注册、登录的麻烦。

    知晓君
  • 飞机延误了怎么办?这款小程序,给你航班内部消息爆料

    然而,市面上主流的航班动态预测服务,却仅能查到航班预计起飞信息。我们想了解的更多信息,却不知道要从哪里才能得知。比如:

    知晓君
  • 用户凭啥要用小程序?我用 FOGG 模型分析了一下

    因为「优化」注定层出不穷,也导致其注定昙花一现。那么小程序是「app」形态的「优化」,还是一个和「app」完全不同的形态,是一种「颠覆」呢?

    知晓君
  • 足迹地图刷屏朋友圈,国人的隐私看起来如此廉价

    “如果你告诉我你的一个秘密,我就给你一颗糖”,面对这样的交易,你竟然欣然同意,或者你根本没意识到这是一场交易。西瓜足迹一夜之间刷便朋友圈,差不多也是类似的道理。

    FB客服
  • 面试|海量文本去重~minhash

    在实际应用的过程中。相似性度量和计算是很经常使用的一个方法。比如网页去重、推断帖子是否相似、推荐系统衡量物品或者用户的相似度等等。当数据量大的时候,计算的时间和...

    Spark学习技巧
  • 环境自动加载工具direnv

    最近在多个项目之间来回切换,其中不同项目需要使用同一个库的不同版本,来回切换太麻烦,于是乎,想到了曾经有同事给我建议的环境自动加载工具direnv,可以使我在命...

    kongxx
  • 携程通报亲子园事件进展:园长被刑拘 两副总裁已停职

    ?   新浪科技讯 11月14日下午消息,携程今日发布亲子园事件内部通报,园方主要责任人郑某被警方刑拘,携程前人力资源副总裁施琦和现任人力资源副总裁冯卫华已停...

    顶级程序员
  • 小程序,大视界:一文解读微信小程序用户行为

    文章来自酷鹅用户研究院(微信ID:kueclub) 酷鹅核心洞察 微信小程序用户规模大 用户习惯并未完全养成 截至2018年底,微信小程序用户规模超6亿,经常...

    腾讯大数据
  • 【推荐系统篇】--推荐系统介绍和基本架构流程

    推荐系统是企业中常用的技术,所以系统的掌握推荐系统的知识是很有必要的。本专栏主要讲述手机APP下载的项目。

    LhWorld哥陪你聊算法
  • Spring 中 BeanFactory 的生命周期与源码解析(附例程)

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.n...

    剑影啸清寒

扫码关注云+社区

领取腾讯云代金券