首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

人工智能学会“听音辨声”

美国麻省理工学院的科研人员开发出一套人工智能系统,能够分辨出音乐中不同乐器发出的声音,并单独调音。...人们可以借助均衡器对歌曲旋律中的低音进行调节,但麻省理工学院计算机科学与人工智能实验室(Computer Science and Artificial Intelligence Lab,CSAIL)的科研人员带来了更好的解决方案...他们的PixelPlayer系统使用人工智能来分辨同一段音乐中不同乐器的声音,然后对不同声音进行调整,让音乐听起来更洪亮或更柔和。...如果使用音视频作为输入数据,经过充分训练的PixelPlayer系统会分离伴音音频并识别声音来源,然后计算图像中每个像素的音量并对其进行“空间定位”,即识别视频片段中生成类似声波的部分。...在训练过程中,科研人员将演奏者演奏吉他、大提琴、单簧管、长笛和其他乐器的片段馈送给算法。 这只是PixelPlayer多元机器学习框架的一部分。

90040

爵士乐、放克钢琴曲,Stable Diffusion玩转跨界、实时生成音乐

它是一个从文本生成图像的开源人工智能模型,可以生成「骑马的宇航员」。 现在,Stable Diffusion 模型经过调试可以生成声谱图了,如下动图中的放克低音与爵士萨克斯独奏。...音频处理发生在模型的下游。 声谱图  音频声谱图以可视的形式将声音片段的频率内容表现出来,其中 x 轴表示时间,y 轴表示频率。每个像素的颜色显示了音频在给定频率和时间上的振幅。...这对于修正声音的同时保留你喜欢的原始片段的结构非常有用。用户可以使用去噪强度参数控制与原始片段的偏离程度,并向新的 prompt 方向倾斜。...例如,下图为放克萨克斯管的即兴重复片段,然后修改一下,把钢琴音量调高。 放克低音和爵士萨克斯独奏。 ‍ 放克钢琴曲。 下例将摇滚独奏改编为民谣小提琴。 摇滚电吉他独奏 原声民间小提琴独奏。...循环和插值 生成短片段固然很有趣,但无限的 AI 生成片段才是我们真正想要的。 假设放入一个 prompt 并生成 100 个具有不同 seed 的片段。

78330
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    现在,耳朵也要进入元宇宙了

    在现实世界中,当我们的头部发生转动或位移,声源本身的绝对位置不会改变,而声源与头部相对方向会产生变化。...举一个例子:在你前方有把吉他正在弹奏音乐,如果你转向右边,音乐声就会相对地变到你的左边;如果你转向左边,音乐声就会相对地变到你的右边。...已经实现6DoF空间声场技术落地的Rokid技术团队给出了一个解决思路,即在考虑端上NPU/GPU等计算性能的情况下,结合深度学习技术,对更精细化的成分做出更精细的生成。...同时,为了让6DoF空间声场的音效更丰富饱满,通过音腔结构的设计、声音频率的修复、根据人耳听觉做声音谐波及混响等方式增强音质,减少音频效果的损失,让用户真正感受到“声临其境”。...同时,Rokid还计划推进更多应用于AR眼镜的特殊音效的开发,如环绕与微重低音的高保真音效等,以高效易用的SDK让开发者真正实现即拿即用。

    33420

    业界 | 谷歌发布神经音频合成器NSynth:专注于启迪音乐创作

    传统语音合成器借助手工设计的组件比如振荡器(oscillator)和波表(wavetable)生成语音,而 NSynth 则是通过深度神经网络在个人样本的层面上生成语音。...由于从数据中直接学习,NSynth 可帮助音乐人凭直觉掌控音色、(音乐中的)力度强弱以及探索借由手动调节合成器而非常难或不可能实现的新声音的能力。...NSynth 数据集背后的动机是,它让我们能清晰地将音乐的生成因素分解为音符和其它音乐特质。...当然,这种方法在乐器之间也并非通用,对于有些乐器(如钢琴、电子合成器)来说,这种方法就会比另一些(如吉他和萨克斯)更好,因为后者音符对音符的音色依赖性更为明显。...第二行彩虹图对应了右列的音频,它是使用 NSynth 在嵌入空间进行线性插值的结果。我们尝试从低音乐器开始播放剪辑,然后低音长笛等等。你在左列听到的即是音频输出空间中信号的线形添加。

    1.2K90

    Android多媒体之SoundPool+pcm流的音频操作

    零、前言 今天比较简单,先理一下录制和播放的四位大将 再说一下SoundPool的使用和pcm转wav 讲一下C++文件如何在Android中使用,也就是传说中的JNI 最后讲一下变速播放和变调播放...pcm转wav.png ---- 四、变速播放 0.回顾一下第一天对声音的介绍:声音三要素 [1] 音量 :(响度)声波震动幅度---A--分贝 [2] 音调 : 声音频率(高音--频率快--声音尖 低音...如两倍速时,采样频率*2,波的周期减半,本来2s的波,1s就能放完 由于声音频率变化,声音的效果也随之变化 如2倍速时:频率快,高音,声音尖,0.5倍速时:频率慢,低音,声音沉 2倍速是就像一些短视频的倍速变声配音...1.新建一个支持C++的Android项目,看一下有哪里不同 ?...自动生成.png ---- 五、音调的变化 本段参考慕课网免费教程:详见 1.Java类 两个临时的float数组是为了和C++的函数对应,用来处理数据流的 /** * 作者:张风捷特烈<

    2.8K20

    让莫扎特“续写”披头士的音乐,OpenAI的新AI作曲能力强丨Demo可玩

    这里,黑色背景上紫色横条的图样是曲谱,箭头左边这一块谱子是Poker Face原有开头部分的音乐,注意没有词,只是前奏,大概只有一两个小节,图上一根小横条就是一个音符,位置高地表示它们的高低音。...比如这里,原有的紫色是钢琴的声音,新增的橙色,是的小提琴的声音。 一共生成了4个版本的曲子,可以点曲谱下面Completion 1 of 4左侧的左右箭头来切换。...可以试试让披头士乐队“续写”《哈利波特》的BGM然后用钢琴弹出来,或者用贝多芬的风格续写Let It Go然后用吉他演奏。...当然,这个Demo还不太完美,比如你选择钢琴、吉他还是鼓的音色,生成的曲子听起来音色都差不多,OpenAI说这版Demo会存活到5月12号,后面会有一个迭代的版本。...就GPT-2而言,它的训练目标很简单:根据所有给定文本中前面的单词或音符,预测下一个单词。现在,MuseNet在此基础上进行改进,也能预测音符了。

    88320

    快去MuseNet上听听Gaga风的肖邦!

    由于 MuseNet 学习了许多不同风格,可以用新颖的方式融合几代音乐。比如,这个模型给出了肖邦夜曲的前6个音符,但是被要求生成一个由钢琴、鼓、贝斯和吉他组成的流行风格的曲子。...或者提示Journey 乐队,钢琴、贝斯、吉他和鼓: ? 开发人员创建了作曲家和乐器令牌,以便更好地控制MuseNet生成的样本种类。...开发人员着手于一种将表达性和简洁性结合起来的编码: 将音高、音量和乐器信息组合成一个单一的令牌。 训练期间的一些笔记: 1.通过提高音调和降低音调来转换音调。...(在后来的训练中,减少了音调的转换量,以便使每一代都保持在单独的音调范围内) 2.增加容量,调高或调低各种样品的总体容量。 3.增加计时(使用绝对时间),有效地稍微减慢或加快作品。...不同的嵌入给模型提供更具结构性的上下文 除了标准的位置嵌入之外,还添加了一个可学习的嵌入,用于跟踪给定样本中的时间流逝。这样,同时发出声音的所有音符都被赋予相同的时间嵌入。

    63220

    Guitar Pro2023吉他打谱软件使用教程

    1、首先是熟悉琴弦的质感,可以从爬格子入手,刚开始的时候不要要求爬得很快,但一定要把弦按准了,发出的声音清晰了,再弹下一个音。...图1 布鲁斯音阶练习范例2、熟悉一个调的和弦指法,很多人都是从C调和弦指法开始的。...常用的也就6个和弦,大三和弦 C、F、G ,小三和弦Dm、Em、Am,实际上掌握这几个和弦,就可以给大多数的流行歌曲伴奏。...Guitar Pro可以稳定的演奏出各种吉他谱上面的音符和演奏技巧,可以根据自己弹出的声音,对比软件播放的声音来判断自己练习的对不对。...它可以让你有一个合成乐器的跟踪,从而轻松地移动它。您可以定义一个乐谱的不同部分,如简介、诗句或合唱。音频都包含在本文的混合特征。你可以减弱的一个或多个轨道,并选择显示或隐藏它们。

    81900

    如何保证Android音频低延迟

    应用延迟 这包括Andorid应用本身、应用程序框架以及第三方或原生API,如OpenSL ES。...为了降低延迟,Android开发者应该谨记以下原则: 不要使用Java代码处理音频,应该尽可能使用C/C++实现。 使用JNI接口实现Java和原生代码之间的通讯。...使用系统原生的采样率,通常是44.1k或48k,当然也有其他情况,但是较少。...为了避免这种预热延迟,可以将无声音频数据的缓冲区加入队列,这能够有效的提升音频性能。...虽然开发人员不能直接影响 Android 音频延迟,但他们可以游说 OEM 和设备制造商降低音频延迟,或者跟他们合作,以使用他们的内部API,这些API能够提供优秀的音频延迟性能,比如华米OV跟一些大公司有相关合作

    2.2K30

    1.0初识机器学习

    通过本套课程,你将学习到最先进的机器学习算法。但仅知道算法及其数学含义,却不知道如何用来解决用它来解决你所关心的问题是远远不够的。   ...(如自动直升机,无人驾驶汽车,手写识别,自然语言的处理,计算机视觉理解图像),同时为百万人根据每个人的喜好私人订制程序,实现真正的人脑级别的智能。   ...这里每个函数,如svd函数,即奇异值分解的缩写,其实这个已经作为线性代数的常规函数,内置到Octave当中了,如果你想使用C++或Java做这个,将需要很多的代码,还要链接复杂的C++或Java库。...当然,你使用C++,java或者python,一样可以实现这个函数,只不过要更加的复杂罢了。使用Octave作为你的学习工具和原型工具,它将使你更快的学习算法,建立模型。...而事实上很多在硅谷大公司工作的人,会先用Octave来建立学习算法原型,只有在这个算法可以工作后,才将其迁移到C++、java或者其他编译环境,事实证明这样做,比你一开始就用C++更快的实现算法。

    47140

    只需轻轻一点,即可编辑视频中的乐器声音

    这就是 MIT 计算机科学与人工智能实验室(CSAIL)新 AI 项目的研究成果:一个观看乐器表演视频并将特定乐器的声音分离出来,使之音量更大或更轻柔的深度学习系统。 ?...该系统是「自监督」的,不需要人类对乐器或乐器声音进行任何标注。...研究者称改变单个乐器音量的能力意味着,未来此类系统可帮助工程师提高以前的音乐会片段的音质。你甚至可以想象取出某个乐器的部分,然后预览把它换成其他乐器听起来会是什么样(如将木吉他换成电吉他)。...Zhao 称类似 PixelPlayer 的系统甚至可用于机器人身上,以更好地理解其他对象(如动物或车辆)制造的环境声音。...论文链接:https://arxiv.org/pdf/1804.03160.pdf 摘要:我们提出了 PixelPlayer 系统,该系统利用大量非标注视频,学习定位生成声音的图像区域,并将输入声音分离成多个部分

    55530

    理解音频焦点 (第 23 部分):更多的音频焦点用例

    用例三 :导航应用或其它能生成音频通知的应用程序 如果您正在开发一款能够在短时间内以突发的方式生成音频的应用程序,提供良好的音频焦点用户体验是非常重要的。...类似的应用程序功能如:生成通知声音,提醒声音或一次又一次地在后台生成口语播放的应用程序。 假设您的应用正在后台运行,并且即将生成一些音频。...用户正在收听音乐或播客,而您的应用正好在短时间内生成音频: 在您的应用程序生成音频之前,它应该请求短暂的音频焦点。 只有当它被授予焦点时,才能播放音频。...用例四 :录音应用程序或语音识别应用程序 如果您正在开发一款需要在一段时间内录制音频的应用程序,在这段时间内系统或其他应用程序不应该发出任何声音(通知或其他媒体播放),这时处理好音频焦点对于提供良好的用户体验至关重要...需要做到这些的程序如:录音或语音识别应用程序 您的应用请求获得的音频焦点,如果是来自于系统授权的,那么便可以安心地开始录制,因为系统了解并确保手机在此期间可能生成或存在的其它音频不会干扰到您的录制。

    2.3K20

    谷歌AI练习生写了首歌,网友听完心率都低了

    ViT(Vision Transformer)作者在听过一段关键词含“平静舒缓”“长笛和吉他”的生成音乐后,表示自己真的平静下来。...据研究团队介绍,贡献主要有三个方面: 生成模型MusicLM。 把方法扩展到其他条件信号,如根据文本提示合成的旋律,并生成5分钟的demo。...AudioLM不需要转录或标记,只需收听音频,AudioLM就能生成和提示风格相符的连贯音乐,包括钢琴音或人声对话等复杂声音。...类似“迷人的爵士歌曲与令人难忘的萨克斯独奏和独奏歌手”或“柏林90年代低音和强烈的电子乐”之类的。 研究团队还引入了一个高质量音乐数据集MusicCaps来解决任务缺乏评估数据的问题。...还有Riffusion,它建立在AI绘图的基础上,但将其应用于声音。 换句话说,Riffusion的工作原理是首先构建一个索引的频谱图集合,上面标记代表频谱图中捕获的音乐风格的关键字。

    33410

    Science专访谷歌Magenta负责人:AI创作焦点是机器学习算法

    Duet 软件即兴创作 Q:Magenta 所学习的样本都是些什么呢? A:我们训练了 NSynth 算法,使用了神经网络来合成出新的声音,所用样本是多种不同乐器发出的乐音。...Q:计算机生成的歌曲是否曾让你感到过震惊? A:是的,一直以来都是这样。...A:我们试着做了幽默生成,但没生成什么真正好笑的笑话。我们也在进行图像和草绘生成。未来,我们希望更多尝试设计领域。不知道我们是否能为建筑师或网页设计师提供一些工具。 ?...每种为艺术带来变革的技术,都需要时间去展现其价值。我愿意把Magenta 想成是一把电吉他。Rickenbacker 和 Gibson 把吉他电气化,是为了让吉他更大声,从而可以和台上其他的乐器相配。...Vincent 还有其他很多吉他手都开始使用电吉他,而有人说,他们甚至使用电吉他的方式都是错的,包括各种各样演奏的技巧,但这却是人类创造力的体现。

    1K70

    Stable Audio 2.0音频模型评测:AI音乐创作的新篇章

    以下是有关如何提示稳定音频的一些基本提示。 添加细节:一些具体的想法,如体裁、描述性短语、乐器和情绪效果特别好。细节越多越好。...翻译:混响的吉他、有力的合唱团或膨胀的弦乐。 设置 BPM:设置每分钟的节拍,确保输出符合速度,有助于及时保持节奏。...上传的合成器示例 上传的钢琴弹奏的示例 后摇滚、吉他、贝斯、弦乐、欣快、振奋、喜怒无常、流动、原始、史诗 人声转化为音乐,声乐的无限可能 更令人兴奋的是,Stable Audio 2.0还能将人声转化为音乐和声音效果...这项技术的应用前景无限广阔,无论是电影配乐师、游戏声音设计师,还是广告制作人,都能够利用这一功能,将人声转化为引人入胜的背景音乐或特效声音。...添加或录制您的声音作为输入音频 电子、管弦乐、轻松、合成器、轻柔、钢琴、贝斯、808 贝斯刺 稳定音频非常适合制作、实验和创建样本的变体。

    30310

    加入会员,获取本公众号5000G全部资源

    一、致谢 首先感谢赞助Java社区的接近500位的会员,以及赞助过公众号的朋友们,如果没有他们Java社区不可能坚持到今天,感谢他们的付出! 最新消息,由Java社区开发运营的资源小程序要上线了!...|Kindle|美剧|社团策划|日语|韩语|泰语|德语|法语|意大利语|西班牙语|粤语|客家话|潮汕话|俄语|豆瓣电影|播音主持|手绘|唱歌|舞蹈|魔方|羽毛球|魔术|武术|儿童摄影|少女摄影|钢琴|吉他...|萨克斯|沙画|好声音|烘培|练字|瘦身|钢琴|萨克斯|DJ|美食|足球|抖音|手机摄影|单反| ...  ...2018求职|2018校招|PPT模板|年终报告|商业计划|行业报告|财会|电商运营|时间管理|营销策划|新媒体运营|销售|产品经理|职场礼仪|培训师|设计师|小程序|Web前端|PHP|Python|C+...、整理获得(部分模版素材、图片素材等通过网络交流群整合),资料仅作为交流学习使用,版权归原作者和出版单位所有,我们不对涉及版权问题负法律责任,如原作者、出版单位认为此资源侵权,请及时联系菜单栏合作微信,

    2.1K70
    领券