搜索
创作
提问
登录注册
展开

关键词

MIT新“像素发声”系统，完美分离声与画（附视频）

PixelPlayer执行视频和声音的分离以及发声定位，将输入声音信号分解为不同的声音组成部分Sout(x,y,t)，每一个声音对应于来自视频帧中的一个空间位置（x;y）。 我们的系统还可以促进对视频进行声音编辑，例如，对特定对象的音量进行调整，或者删除来自特定声源的音频。 最近有两篇论文提出通过视音频结合来对不同源的音频进行分离。 首先，对输入的混合音频使用短时傅里叶变换（STFT）以获得其语谱图，然后将语谱图转换到数频域，并将获得的特征输入到U-Net网络中，以获得包含不同声源的特征图谱。 利用音频信号具有叠加性的事实，我们通过混合来自不同视频的声音来生成复杂的音频输入信号。 该模型的学习目标是从输入的音频中分离出一个以与视觉输入相关的音频。 ? 训练阶段与测试阶段不同，主要体现为以下两个部分：1）我们从训练集中随机抽取多个视频，并混合它们的音频部分，目的是根据相应的视觉输入来恢复出每一个音频;2）视频特征是通过时空（spatial-temporal

56450

业界 | 深度学习也能实现「鸡尾酒会效应」：谷歌提出新型音频-视觉语音分离模型

这种方法用途广泛，从视频中的语音增强和识别、视频会议，到改进助听器，不一而足，尤其适用于有多个说话人的情景。 这项技术的独特之处是结合了输入视频的听觉和视觉信号来分离语音。 在谷歌提出的方法中，输入是具有一个或多个说话人的视频，其中我们需要的语音受到其他说话人和/或背景噪声的干扰。输出是将输入音频轨道分解成的干净语音轨道，其中每个语音轨道来自视频中检测到的每一个人。 之后，我们使用这些干净数据生成「合成鸡尾酒会」——将人脸视频、来自单独视频源的对应语音及从 AudioSet 获取的无语音背景噪声混合在一起。 使用这些数据，我们能够训练出基于多流卷积神经网络的模型，将合成鸡尾酒会片段分割成视频中每个说话者的单独音频流。网络输入是从每一帧检测到的说话者人脸缩略图中提取到的视觉特征，和视频声音的光谱图表征。 处理语音重叠的说话人对于自动的文字说明系统来说是很有挑战性的，并且将音频分离为不同的来源可以帮助生成更加准确和易读的文字说明： ?

822110
  • 广告
    关闭

    9.9元体验视频云点播

    云点播为您提供媒资管理+短视频SDK+小程序插件+超级播放器等丰富的产品能力，快速构建长短视频一体化方案，9.9元体验一站式视频上传、转码、AI、及分发播放服务，还免费赠送基础版短视频License SDK 28天使用权

    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    MIT新“像素发声”系统，完美分离声与画（附视频）

    PixelPlayer执行视频和声音的分离以及发声定位，将输入声音信号分解为不同的声音组成部分Sout(x,y,t)，每一个声音对应于来自视频帧中的一个空间位置（x;y）。 我们的系统还可以促进对视频进行声音编辑，例如，对特定对象的音量进行调整，或者删除来自特定声源的音频。 最近有两篇论文提出通过视音频结合来对不同源的音频进行分离。 首先，对输入的混合音频使用短时傅里叶变换（STFT）以获得其语谱图，然后将语谱图转换到数频域，并将获得的特征输入到U-Net网络中，以获得包含不同声源的特征图谱。 利用音频信号具有叠加性的事实，我们通过混合来自不同视频的声音来生成复杂的音频输入信号。 该模型的学习目标是从输入的音频中分离出一个以与视觉输入相关的音频。 ? 训练阶段与测试阶段不同，主要体现为以下两个部分：1）我们从训练集中随机抽取多个视频，并混合它们的音频部分，目的是根据相应的视觉输入来恢复出每一个音频;2）视频特征是通过时空（spatial-temporal

    552100

    《iOS Human Interface Guidelines》——Sound声音

    声音 无论声音是你app用户体验的主要部分还是一个可选的增益，你都要知道用户对声音有何期待以及如何满足这些期待。 理解用户的期待 用户可以使用设备的控制来影响声音，并且他们可能使用有线或无线的耳机。 不同的类别允许声音被静音开关（或者设备锁屏）静音、和其他声音混合或者当app在后台时播放声音。 你提供： 接受音频输入的能力 播放音频的能力 在这个app中，声音对主要功能是必须的。人们使用这个app来与他人交流，并且经常在他们使用不同的app的时候。 ，你的app应该总是在音频中断结束的时候恢复自己的播放音频，无论是否提供了应该恢复的标识。 这允许你的app接收用户从你的UI以外的地方输入的信息，无论你的app当前是在前台还是后台播放音频。

    7630

    Meta AI 推出 AV-HuBERT：一种最先进的自我监督框架，用于理解通过看到和听到人们说话来学习的语音

    例如可以观察某人的嘴巴移动，并直观地知道听到的声音来自她。这就是为什么 Meta AI 正在开发新的对话式人工智能系统，可以辨别他们在对话中看到的内容和听到的内容之间错综复杂的关系。 开发语音识别的多模式方法 因为今天的语音识别模型只接收音频作为输入，所以它们必须估计是一个或多个人在说话，或者声音是否只是背景噪音。 另一方面，AV-Hubert 以与人们相同的方式学习——多模式——通过混合听觉和嘴唇运动信号来接收和获取语言。该模型使用来自公开可用的 LRS3 和 VoxCeleb 数据集的视频记录进行训练。 AV-Hubert 通过混合视觉信号（例如说话时嘴唇和牙齿的移动）与听觉信息表示学习，可以有效地捕捉两个输入流之间的细微相关性，即使用于预训练的未转录视频数据量显着减少。 为了预测离散集群分配的计划序列，它使用混合 ResNet-Transformer 架构将屏蔽的音频和图片序列转换为视听特征。

    22720

    iOS 9人机界面指南(三)：iOS 技术 (下) - 腾讯ISUX

    不同的类目可以允许通过铃声/静音开关或静音开关(或设备锁)来实现静音、与其他的音频混合或者控制应用在后台播放。 3.19.3 管理音频中断(Manage Audio Interruptions) 有时候，当前播放的音频会被来自于不同应用的音频所打断。举个例子，在iPhone上，来电会持续中断当前应用的音频。 在可恢复性中断结束后，有媒体播放控件的应用应该恢复它被中断前的任务，无论是继续播放音频还是保持暂停。没有媒体播放控件的应用则应该恢复播放音频。 ，你的应用无论是否有“应该恢复”标识，都始终应在音频中断结束后恢复之前播放的音频。 使你的应用能接收来自于你的用户界面之外的输入，无论你的应用当前是在前台还是后台播放音频。 应用可以在播放媒体的过程中，通过后台向支持Airplay的硬件(如Apple TV)发送视频。

    32730

    Facebook 360度音频编码与渲染

    在空间化音频中，当听到来自某种场景的声音时，系统会根据用户在360度全景视频的体验中，头部会转向不同的方向作出不同反应。通过头部定向音频，人物对白和背景音乐等音频在方位上会保持静止。 无论是通过手机，浏览器还是VR头戴显示器，当用户每次观看360度全景视频时，音频都需要被重新计算并更新方位以完美还原用户真实的空间感受。 初识空间音频 由于头相关传输函数（HRTFs）的存在，通过耳机使用户听到具有逼真空间感的声音是有可能实现的。 这种情况下的音频引擎被用作WebAudio中的定制处理器节点，其中的音频流会从Facebook视频播放器排列至音频引擎中，同时来自音频引擎的空间化音频被传递到WebAudio并通过浏览器回放。 空间工作站编码器也会将视频作为输入的部分。该视频被整合到生成的文件中，无需转码，并将写入适当的视频空间元数据，以便在上传到Facebook时服务器将其作为360度全景视频进行处理。

    22710

    Audition工具在录音测试中的应用

    Audition为在照相室、广播设备和后期制作设备方面工作的音频和视频专业人员设计，可提供先进的音频混合、编辑、控制和效果处理功能。 解释 audition可查看的有用参数有 时长、采样率、声道、位深度、原格式、媒体类型、帧速率（媒体类型为视频时显示）。 ? 2. 问题：测试中发现相同环境下使用不同设备录制的音频1和音频2 ，音频1整体音量大于音频2 ，噪声也大于音频2，是否是由于整体增益原因？ 验证方法： 1. 三、创新应用——录音延时测试 背景： 近年来，博客、空间相册等逐渐淡出了我们的生活，人们分享生活的方式转向新型媒介，无论是相对而言私密性较高的朋友圈，还是开放社交平台抖音/快手/等短视频APP，都少不了视频 C1 max作为搜狗第一款麦克风产品，评测设计阶段便考虑到了延时问题，从用户真实使用场景出发，初步提出的测试方案是麦克风连接手机拍摄视频，回听看口型和声音是否同步，即可满足普通人的需求。

    75710

    谷歌又出新招数，利用深度学习的视听模型进行语音分离

    这一技术的独特性在于结合听视觉信号来分离输入视频中的语音。直观来看，一个人的嘴部动作，应与他说话时产生的声音相关联，这反过来又能帮助识别出哪部分声音与之对应。 模型方法是输入视频中有一个或更多的人在说话，而语音被其他演讲者或背景噪音干扰。输出则是将输入音轨分解为纯净的语音轨道，每个音轨来自于视频中的每个发声者。 通过这些视频，研究者抽取了一些语音清晰的演讲片段（例如没有混合的音乐，观众的声音或其他的发言者），并且在视频画面中只有一个可见的人物。 之后利用这些没被污染的数据生成“综合性鸡尾酒会”场景，即混合大量来自于不同视频的面部和相关的语音，以及从AudioSet获取的无语音的底噪。 利用这些数据，能够训练一个多流的卷积神经网络模型，将混合的场景分离，视频中每一个发言者都可以得到单独的音频流。从每帧中检测到的发声者的脸部缩略图以及音轨频谱图中，提取的视觉特征进行神经网络的输入。

    88660

    Clubhouse：使用空间音频提升对话质量

    我们的耳朵非常擅长定位声音从何处而来，它们通过几种不同的方法定位，包括对比声音到达每只耳朵的时间。 在常见的音频通信应用程序中，如果多个用户同时讲话，他们的音频在播放前会被混合为单通道音频流。 这就产生了一组立体声音频流输出，我们将其混合再传送给播放设备。 注意，因为左右耳的HRTF输出不同（正如大部分的定位来源），所以使用立体声播放就非常关键。 当房间内参与人数增加，位置是否发生变化？我们做了一系列不同的调整，其中一些问题很快就解决了（通过高效的技术实现）。 其中存在很多挑战：准确确定何时使用这种模式并不容易，因为一些音源会动态地从单声源变为立体声，但是这种技术保留了立体声的丰富效果，同时还允许立体声音频流来自不同的空间位置。

    9720

    iOS 8人机界面指南（三）：iOS技术（下）- 腾讯ISUX

    表31-1列举了你可以使用的音频会话类目。不同的类目可以允许通过铃声/静音开关或静音开关（或设备锁）来实现静音、与其他的音频混合或者控制应用在后台播放。 不支持 不支持（默认）支持（当“与其他音频混合”属性被添加时） 支持 播放和录音 声音代表音频输入与输出，可以按顺序或同时。 3.13.3 管理音频中断（Manage Audio Interruptions） 有时候，当前播放的音频会被来自于不同应用的音频所打断。例如，在iPhone上，来电会持续中断当前应用的音频。 2.如果你的应用没有呈现任何用户可用于播放或暂停音频的媒体播放控件，你的应用应该在音频中断结束后总是保持恢复之前播放的音频，无论是否呈现了“应该恢复”标识。 这需要允许你的应用能接收来自于你的用户界面之外的输入，无论你的应用当前是在前台还是后台播放音频。 应用可以播放仍在进行时，通过后台向支持Airplay的硬件（如Apple TV）发送视频。

    34040

    AI在手，DJ我有

    有它助力，音乐小白也能一键轻松将器乐大合奏视频中的每种乐器单独提取出来，享受器乐独奏。甚至，你也能将每种乐器的声音增大或减小，就像下面这样—— ? AI在手，DJ我有。 这只AI学习的素材也很简单，用60多个小时无标签器乐演奏的视频喂食，成熟的PixelPlayer就会具备自动识别并分离不同乐器声部的技能。并且能够在视频的每个像素上定位声源，联合解析声音和图像。 接受了大量视频的训练后，PixelPlayer将进行视听源进行分离和定位时，会把输入的声音信号分成N个声道，每个声道对应不同的乐器类别。 此外，PixelPlayer对声音定位时，并为输入视频中的每个像素分配不同的声波。 ?  在将两个视频的音频信号混合时，MIT研究人员提出了一种Mix-and-Spparate的训练模型，可将不同来源的音频混在一起，而无需传统方法中的监督过程。 ?

    24240

    TXLiteAVSDK中使用 AVAudioSession 问题总结

    常见问题 在 iOS 端做音视频相关 App 过程中咱们经常会遇到音频管理的相关问题，下面介绍一下 AVAudiosession 的基本使用，并结合使用腾讯云视频 TXLiteAVSDK 项目中碰到的一些问题场景实现分享 使用了AVPlayer播放后采集不到麦克风声音？ 如何实现压低其它 App 播放的声音？ 结束音频使用如何通知其它 App 继续播放？ 现实情况中不同的 App 场景各不相同，我们通过设置 AVAudioSession 音频会话的 category（模式）和 option（选项）来达到自己想要的效果。 AVAudioSessionCategory 类型 Category类型 描述 是否支持后台 是否遵循锁屏和静音键 AVAudioSessionCategoryAmbient 混合播放 否 是 AVAudioSessionCategorySoloAmbient 有可能是播放过程中调用操作音频会话deactive了。

    2.4K21

    VoiceMeeter加OBS免费且强大的录音录像解决方案

    前段时间，我买了一个铁三角的收音麦克，但每次录音都嗡嗡嗡，让我一度怀疑设备是否有问题，直到我玩懂了VoiceMeeter，才意识到我的声音被采集了两次，并叠加成了输出，所以产生了嗡嗡嗡的效果。 关于输入 关于输出：我的蓝牙耳机连接电脑，从Voicemeeter接收声音，为A1，OBS录屏录音软件从Voicemeeter接收声音为B1;这里注意，以A开头的都是用来自己听的，以B开头的是用来输出给软件的 但这里有个问题, 麦克风输入给了我们的电脑，Windows系统自动把麦克风输入的声音和网易云音乐播放的声音混合，作为电脑声音（输入2）发送给了Voicemeeter，再加上麦克风单独发给Voicemeeter 那如何解决Windows系统自动把麦克风输入的声音和网易云音乐播放的声音混合？ 小结 2021年，视频创作者越来越多，专业的视频音频采集软件，可以让作品观感更好，有了OBS和Voicemeeter的技能加持，相信会有更多观感优秀的作品面世。

    1K10

    【让神经网络能够“通感”】MIT 和谷歌研究连接文字、声音和视频

    在发表这项成果时，DeepMind 研究员表示，他们的工作证明了神经网络可以实现序列性学习，但对学习效率是否有提升还不明确。 例如，输入一段足球赛的音频，系统会输出另一段与足球赛相关的音频，还输出踢足球的图像和文字描述。 ? 为了训练这个系统，MIT 的研究人员首先向神经网络展示了与音频相关联的视频。 网络首先将视频中的物体和音频中的声音关联起来，然后会试着预测哪些对象与哪个声音相关。例如，在什么时候波浪会发出声音。 除了输入音频，输出图像和文字，研究人员还做了其他实验，比如输入一张吉娃娃犬的图片，算法能够输出一段带有（其他类型的）狗叫声的音频、其他狗的图片和描述狗的文字。 ? 图1：MulitModel 能够完成不同领域不同任务。其中，红色表示语言相关的任务，蓝色表示分类相关的任务。 MultiModel 由多个部分构成，比如不同的卷积层、注意力机制和混合专家层。

    50090

    学界 | MIT提出像素级声源定位系统PixelPlayer：无监督地分离视频中的目标声源

    该系统有很大的潜在应用价值，例如促进声音识别，以及特定目标的音量调整、声音移除等。 在训练过程中，研究者利用了自然声音的可加性来生成视频，其中构成声源是已知的。研究者通过混合声源来训练模型生成声源。 ? 所有视频都不包含使用乐器的标签、定位，以及音乐的听觉性质。在测试时，输入（图 1 a）是多个乐器一起弹奏的视频，其中包括图像帧 I（x,y,t）和单声道音频 S（t）。 图 2：生成像素关联声音的流程：像素级视觉特征通过对扩张 ResNet 的输出的 T 个帧进行时间最大池化得到。输入声音的频谱传递到一个 U-Net 中，其输出是 K 个音频通道。 虚线框表示图 2 中详细描述的模块。来自两个视频的声音将被加到一起来生成已知构成声源信号的输入混合体。该网络被训练来根据对应的视频帧分离声源信号；它的输出是对两个声音信号的评估。

    73130

    Dialog+ : 基于深度学习的音频对话增强技术

    次世代音频有非常好的应用潜力，已经被主流的广播和流媒体应用标准给采用，例如 DVB，ATSC，TTA，SBTVD。 对输入的立体声混合音频文件进行短时傅里叶变换得到频域下的音频数据，再使用深度卷积网络从频域上的音频数据预测分离的对话音和环境音。 预测得到分离的对话音成分和背景音成分后，用均衡器调节两种成分的频率响应，可以获得与原始输入音频不同的新的混音音频，混音的方式有两种：全局混音和时变混音。 为了得到更客观的测试调研结果，三段语音涵盖了不同的场景，都是在测试过程经常获得难以听清人物对话这一负面反馈的音频，受测试者在观看所有的视频后，会被问及他们在观看视频时真实感受和观点，并记录在线上问卷中。 但是现有的广播机制难以提供高度个性化的语音平衡方案以满足不同年龄段观众对于听清音频中人物对话的需求，基于此问题，本工作的研究者提出了 Dialog+，这是一种通过深度学习方法，从原始声音片段中先分离出环境音和人物对话音后

    11320

    5G Edge-XR 中的音频处理

    基于对象的范式与传统的基于渠道的方法有着根本的不同，因为音频组件和描述性元数据不是混合目标系统的音频内容，而是作为离散内容通过生产链在用户端进行定制渲染。 这样做有几个优点，一方面是这使得音频渲染与格式无关，另一方面是它允许添加、删除、修改或平移声音等，以实现个性化渲染。 基于对象的系统的基础是“音频对象”，我们在此将其定义为场景中的离散声音，通常呈现在空间中的特定点，以及构成沉浸式背景声音的环境音。 音频对象 在任何音频场景中，都会有许多离散的声源，它们可以被描述为来自特定位置，并具有特定的音频特征。这样的“点”类型源可以被定义为音频对象。 通过 Dante 虚拟声卡，这些音源输入到音频事件提取器和语义分析引擎中。元数据流和音频混合可以通过远程 GUI 和广播混合控制台进行操作。

    7620

    (强烈推荐)移动端音视频从零到上手（上）

    采集 采集是推流的第一个环节，是原始的音视频数据的来源.采集的原始数据类型为音频数据PCM，视频数据YUV,RGB… 1.1. 音频帧 音频与视频不同,视频每一帧就是一张图片,音频是流式,本身没有明确的帧的概念,实际中为了方便,取2.5ms~60ms为单位的数据为一帧音频. 冗余成分指的是音频中不能被人耳朵察觉的信号，它们对声音的音色，音调等信息没有任何帮助。重构后的数据与原来的数据有所不同，但不影响人对原始资料表达的信息造成误解。 主要原理如下 空间冗余: 图像相邻像素之间有很强的相关性 时间冗余: 视频序列的相邻图像之间内容相似 编码冗余: 不同像素值出现的概率不同 视觉冗余: 人的视觉系统对某些细节不敏感 知识冗余: 规律性的结构可由先前知识和背景知识得到 当有另外能量较大的声音出现的时候，该声音频率附近的阈值会提高很多，即所谓的掩蔽效应 人耳对2KHz～5KHz的声音最敏感，而对频率太低或太高的声音信号都很迟钝，当有一个频率为0.2KHz、强度为60dB

    54730
    点击加载更多

    相关产品

    • 正版曲库直通车

      正版曲库直通车

      正版曲库直通车（AME/版权音乐助手）是基于腾讯音乐海量背景音乐专用曲库资源，为解决内容创作过程中的音乐版权问题设计的 PaaS 产品。开发者在控制台一键域名接入，三步完成 API 调用，即可便捷地实现海量正版背景音乐素材在多端的顺畅播放与应用。

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2022 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 京公网安备 11010802017518 粤B2-20090059-1

      扫码关注云+社区

      领取腾讯云代金券