机器之心原创 机器之心编辑部 空气为何突然安静？原来是开了「降噪」按钮。 「你说什么？风太大我听不见！」 这句大家经常拿来玩梗的话其实在现实中也经常发生，尤其是在短视频的录制过程中。风声、雨声、机器声…… 每一种噪声都可能让你的视频拥有「全损音质」。 为了减轻环境噪声带来的影响，人们想了很多种方法，比如给话筒穿上厚厚的「毛衣」： 但「毛衣」不是冰冰的笑容，不可能解决一切问题。更何况，我们大多数人拍视频都是手机直接收音，连专业话筒都没有。 硬件不够软件凑。噪声在视频中的广泛存在催生了一大批降噪软件，它们
基于信号处理的传统音频降噪算法对于 Stationary Noise（平稳噪声）有比较好的降噪效果。但是对于 Non-stationary Noise（非平稳噪声），特别是 Transient Noise（突发噪声）降噪效果较差，而且有些方法对于语音也有较大的损伤。随着深度学习在 CV（Computer Vision）上的广泛应用，基于神经网络的音频降噪算法大量涌现，这些算法很好的弥补了传统算法对于 Non-stationary Noise 降噪效果不好的问题，在 Transient Noise 上也有较大的提升。
当前直播行业愈发火热，用户通常处于不同的环境中，身边的键盘声，敲击声，空调声，喧哗声等噪声有时会对实时互动产生严重的干扰。然而传统的降噪算法针对平稳噪声有比较好的降噪效果，针对上述这一类非平稳噪声，比较难处理，收效甚微，降噪效果很差。
近期，语音与语言处理领域旗舰会议IEEE ASRU 2023论文入选结果公布。腾讯云媒体处理（MPS）在语音增强降噪方向的创新成果再获业界认可，《Magnitude-and-phase-aware Speech Enhancement with Parallel Sequence Modeling》（简称MPCRN）和《VSANet: Real-time Speech Enhancement Based on Voice Activity Detection and Causal Spatial Attention》（简称VSANet）两篇论文被IEEE ASRU 2023录用。本文将结合论文内容，与大家分享腾讯云媒体处理（MPS）在音频处理方面的最新能力、相关技术方案以及算法原理。
大家好，我是来自大象声科的闫永杰，接下来我会从以下六个方面为大家介绍深度学习在单通道语音分离中的应用：
点击上方“LiveVideoStack”关注我们 随着电子产品的升级换代，用户对通话质量的要求也越来越高。通话降噪算法对通话质量起到了关键核心的作用。计算资源的提升使得深度学习模型在便携式的低功耗芯片上面跑起来了，器件成本降低让IoT设备开始使用骨导传感器，那怎么样才能将深度学习和传统算法结合？怎么样充分利用好骨导传感器？怎么样将客观测试的结果转化为真实的用户体验？这也是新时期通话算法面临的新的挑战。 今晚7点LiveVideoStack特别邀请到了小米 人工智能部通话降噪负责人 王林章老师为大家带来以
经常逛游戏论坛的朋友会深有感触，很多玩家经常会在论坛里吐槽在网吧开黑的体验很差，噪音太多。在游戏语音开黑的过程中，如果其中一个队友身处网吧，则其他人的耳机总是难免会被各种嘈杂的噪音所充斥，这是十分糟糕的体验，甚至会影响整个团队的发挥，那么在这样的场景下，降噪就成为了提升游戏体验的基本操作。
先介绍下腾讯游戏多媒体引擎 GME 背后的音频黑科技团队——腾讯会议天籁实验室。这是一群“噪音猎人”，他们沉浸在实验室，也穿梭在菜市场、游荡在马路边、商场等各种生活常见场所。噪音是他们的猎物，被狙击、捕获、并消除。 “猪肉铺的老板开始剁肉末了，走！” 王燕南两眼发光，如同饿虎扑食一般冲过去，一根收音棒伸到了桌子前，听着砍刀和砧板激烈碰撞的声音，王燕南如获珍宝。“小伙子，我看你好几天啦。不来两斤五花肉吗？”肉铺老板调侃道。 王燕南是 AI 降噪团队中的成员，一名来自中科大的博士。从本科到硕士再到博士，多年的音
点击上方“LiveVideoStack”关注我们 随着电子产品的升级换代，用户对通话质量的要求也越来越高。通话降噪算法对通话质量起到了关键核心的作用。计算资源的提升使得深度学习模型在便携式的低功耗芯片上面跑起来了，器件成本降低让IoT设备开始使用骨导传感器，那怎么样才能将深度学习和传统算法结合？怎么样充分利用好骨导传感器？怎么样将客观测试的结果转化为真实的用户体验？这也是新时期通话算法面临的新的挑战。 3月9日 晚7点LiveVideoStack特别邀请到了小米 人工智能部通话降噪负责人 王林章老师为大
📷 本文来自小鱼在家首席音频科学家邓滨在LiveVideoStackCon 2018讲师热身分享，并由LiveVideoStack整理而成。邓滨认为，传统的信号处理与前沿的深度学习技术结合，才能实现准
三维声技术在赛事直播中的应用 Topic 《三维声技术在赛事直播中的应用探析》 韩建 咪咕文化科技有限公司 资深音频技术专家 作为元宇宙重要的技术基石之一，三维声技术也随着元宇宙概念的走红而受到越来越多的重视，从技术规范的制定，到不同场景的应用探索。 本演讲将分为三个部分：第一部分介绍赛事直播中三维声所涉及的协议规范，技术框架以及相应的核心技术；第二部分探讨上述技术框架在实际部署应用中面对的挑战以及解决方案；第三部分展望三维声未来在大型赛事中的发展路线。 1. 介绍三维声的技术现状，以及在赛事直播中的场
导读 | 腾讯会议在去年年底推出，集结腾讯在AI、云计算、安全等方面的能力，全方位满足不同场景下的会议需求，在短短两个月内就突破千万日活大关。面对多样且复杂的场景，比如开会环境嘈杂、同一地点多设备接入、房间声学参数不理想等，腾讯会议如何通过对音频信号的处理持续保障高品质通话，提升沟通效率？本文是腾讯多媒体实验室音频技术专家李岳鹏在「腾讯技术开放日·云视频会议专场」的分享整理。 点击视频，查看直播回放 一、TRAE技术降噪增益揭秘 先简单讲一下VOIP中语音数据实时传输路径图，我们可以看到远端的数据通过
在辅听器领域经过多年的积累，算是跨入门了。把一些算法的吃透了，并熟练运用了。这里梳理一下这方面的算法，给需要的朋友做一个科普吧。
随着游戏、社交互动应用场景的不断延伸，如何通过语音互动给玩家带来更加娱乐性的玩法，是业务突破的关键命题。而实时变声可以让普通人也拥有灵活百变的音色，带来丰富、趣味的互动体验。
眼看着2020年上半年已经所剩无几了，大家也经历了一个不一样的学期，许多即将毕业的同学和准备换工作的朋友也在开始准备秋招了。
音视频技术不断发展，云会议场景在人们生活中也越来越常见。那么如何将云会议场景中的音视频技术不断提升改善？本次分享会我们邀请到了来自腾讯会议的商世东先生，他将与我们分享云视频技术在腾讯会议里面的一些领域使用情况和他们对未来的一些思考。
机器之心原创 作者：张倩 提起中国女足，估计很多人都忘不了大年初六的那个不眠之夜。国足姑娘们在韩国女足 2-0 领先的巨大压力下舍命防守，最终以 3-2 的战绩完成了史诗级逆转，斩获亚洲杯冠军。这样的拼搏精神令人动容。 但很多人不知道的是，在无声的世界里，一支仅靠手语沟通的女足队伍也曾取得过骄人的战果。 湛江聋人女子足球队的姑娘们。图源：http://www.52hrtt.com/zw/n/w/info/H1568090270933 这支球队于 2013 年成立于广东湛江，2015 年站上了省残运会的最高
点击上方“LiveVideoStack”关注我们 2022年5月14日，LiveVideoStack Meet武汉站将在线上与大家见面。我们邀请到了斗鱼资深音频算法工程师 毛鑫；RTC/VOIP独立开发者 段维伟；即构科技教育业务线负责人，高级架构师 曾小伟；小米高级算法工程师 周岭松。多位讲师将带来关于深度学习、开源实践、直播体验优化、主动降噪等不同主题的分享。 活动时间：2022年5月14日 14:00-16:00 活动形式：线上直播（直播地址将在开播前以邮件及短信形式告知） 讲师介绍 毛鑫 斗
扩散模型是最近学术界最热门的研究领域之一，在生成高水平的细节或者生成多样性上都展示了极好的效果。最近扩散模型逐渐被应用于生成语音时序的任务之中。
大家好，我是腾讯天籁实验室负责人、资深专家研究员商世东。非常荣幸能够在LiveVideoStackCon 2021音视频技术大会上海站现场为大家分享，过去两年我们通过腾讯会议探索音视频技术在云会议场景下的应用所收获的经验与心得，以及音视频技术在腾讯会议中的使用情况。基于此，我们进一步探索音视频技术在云会议场景下的未来。本次分享将从以下五个方面展开：
年三十前跟大家分享一个好消息！ 腾讯会议旗下、GME背后的黑科技团队天籁实验室参加由国际音频顶级会议ICASSP联合微软发起的DNS 2022深度学习降噪挑战赛，在首次举办的全频带实时个性化语音增强track 2比赛中获得总分第一，并在音质和识别率两个核心单项指标上都分别达到了最好的水平！ 图示：任务二：实时个性化语音增强比赛成绩 自疫情以来，降噪技术在不同场景下的研究也愈发引起了关注，比如在嘈杂的机场、咖啡厅、有爸爸妈妈关切念叨的家里（狗头.jpg）里进行游戏中的交流，噪声消除对提升沟通质量至关重要。
腾讯会议旗下、GME背后的黑科技团队天籁实验室参加由国际音频顶级会议ICASSP联合微软发起的DNS 2022深度学习降噪挑战赛，在首次举办的全频带实时个性化语音增强track 2比赛中获得总分第一，并在音质和识别率两个核心单项指标上都分别达到了最好的水平！
<<语音增强-理论与实践>> 中提及到基于对数的最小均方误差的降噪算法,也就是LogMMSE.
语音活动检测（Voice Activity Detection， VAD）用于检测出语音信号的起始位置，分离出语音段和非语音（静音或噪声）段。VAD算法大致分为三类：基于阈值的VAD、基于分类器的VAD和基于模型的VAD。
本文即针对移动游戏环境下实时语音所面对的挑战，介绍一些语音预处理、流媒体协议等通用的解决方案。
LiveVideoStackCon 2022 音视频技术大会 北京站将于12月9日至10日在北京丽亭华苑酒店召开，本次大会将延续【音视频+无限可能】的主题，邀请业内众多企业及专家学者，将他们在过去一年乃至更长时间里对音视频在更多领域和场景下应用的探索、在实践中打磨优化技术的经验心得、对技术与商业价值的思考，与大家一同分享和探讨。 声声入耳：音频新体验 随着多媒体场景的不断更新，人们对音频的体验要求也更高。既要保证输出音频信息的清晰度，更想拥有声临其境的沉浸感。本专题将从空间音频、高清/无损音频、AI Cod
2016年，苹果推出的 AirPods 以主动降噪+真无线TWS耳机，引爆市场。TWS 耳机正式开启开挂人生。
语言作为人类的一种基本交流方式，在数千年历史中得到持续传承。近年来，语音识别技术的不断成熟，已广泛应用于我们的生活当中。语音识别技术是如何让机器“听懂”人类语言？本文将为大家从语音前端处理、基于统计学语音识别和基于深度学习语音识别等方面阐述语音识别的原理。
“目标语音听力”是由华盛顿大学开发的一种新的深度学习算法，用户可以 “注册”（锁定）一个说话者并消除周围所有的环境噪音。
2023 年下半年，产品与应用成为 GPT 讨论的话题中心。相比模型的参数与能力，AIGC 的落地更能考验各个厂商的“秀肌肉”。
大家好，我是郝一亚，来自网易云信，目前主要负责网易云信在RTC领域的音频算法的研发。本次我想要分享的题目是如何将AI音频算法应用、结合到RTC中，我会结合自己在国外的一些研究和开发的经验，包括网易云信在AI音频算法应用实战当中的一些经验总结，和大家一起聊一聊如何将AI音频算法与RTC有机结合。
你走进澡堂，雾气弥漫。眼睛看到的人影模模糊糊。既看不清楚细节，也不知道是谁，只能看到大概轮廓。
智能化浪潮席卷全球，智能音箱则成巨头标配智能单品之一，特别在亚马逊Amazon Echo率先取得成功，让智能音箱成为当下最热门的智能硬件，从美国的谷歌和苹果等巨头相继推出自家音箱，到国内BAT、科大讯飞、京东、小米等大型玩家参与，还有出门问问、喜马拉雅等中小玩家，国内局面可以用百箱大战来形容，但与该热度形成鲜明对比的是智能音箱的价格，甚至不足100元都能买到。这里到底是为什么？
音频降噪目前感觉大有所为，像前面分享的《基于RNN的音频降噪算法 (附完整C代码)》
点击上方“LiveVideoStack”关注我们 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息 // 编者按：随着在线会议的普及，用户已经不再满足于能听到，而是要有更为极致的听感体验，如何能够在复杂多变的应用场景中依旧保证声音清晰流畅是对会议系统的极大挑战。LiveVideoStackCon2022上海站大会邀请到了全时 音视频研发部经理 顾骋老师，为大家详细介绍了语音前处理技术在会议场景中的应用与挑战。 文/顾骋 整理/LiveVideoStack 大家好，我是顾骋，来自全时
【新智元导读】扎克伯格日前公开了他自己打造的 AI 管家，从演示结果看，其语音识别功能差强人意，而语音识别技术却在今年各大公司报道中屡次取得突破，是当前 AI 发展代表领域之一。这就涉及到一个深层次的问题：本次 AI 热潮起于深度学习的突破，但真要想创造价值并不能停步在深度学习技术本身——AI创造价值的链条比较长，必须打破软硬的边界，补全整个链条，价值才会体现出来。 近来扎克伯格向记者公开演示了他 2016 年的作品，一个类似 Jarvis 的人工智能助手，从记者的描述来看，这人工智能助手大部分时候还比较不
导读 | 深度学习是实现语音增强最主要的方法之一，帮助我们从带噪语音中提取尽可能纯净的原始语音，提高语音质量和可懂度。腾讯会议在去年年底推出，短短两个月内就突破千万日活大关。在多样且复杂的场景下，深度学习如何帮助腾讯会议在实时通话中进行去混响、声音事件检测和回声消除？本文是腾讯多媒体实验室高级研究员王燕南在「腾讯技术开放日·云视频会议专场」的分享整理。 点击视频，查看直播回放 一、经典的语音增强深度学习算法 语音增强是指当语音信号被各种各样的噪声干扰、甚至淹没后，从噪声背景中提取有用的语音信号，抑
【AI创新者】是CSDN人工智能频道精心打造的专栏，本期主人公是云知声创始人、CTO梁家恩。 作者：王艺 CSDN AI 编辑 / 记者 投稿、采访、寻求合作请邮件至 wangyi@csdn.ne
点击上方“LiveVideoStack”关注我们 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息 编者按：LiveVideoStack很荣幸地邀请到了来自Rokid应用平台算法负责人，王文兵老师，为我们分享介绍AR下的RTC技术与应用。 文/王文兵 整理/LiveVideoStack 我是王文兵，Rokid应用平台的算法负责人，曾就职于百度、MTK，现在在Rokid负责AR以及语音识别系统、视觉识别系统的框架设计和算法研发，今天为大家带来的topic是AR下的RTC技术与应用。 很高
该AI大模型由绿盟科技投递并参与数据猿与上海大数据联盟联合推出的《2024中国数智产业AI大模型先锋企业》榜单/奖项评选。
导语 数据万象（Cloud Infinite，CI）处理平台涵盖图片处理、内容审核、音视频处理、智能语音、内容识别、文档预览等各项存储云原生能力，其中智能语音围绕“声音”提供多元化内容服务，在通勤导航、智能家居、网络K歌、虚拟社交各场景下为用户提供助力。 上班路上，红灯之前，午饭时间，谁没有点张开小耳朵听听音频的需求呢？ 比如以小王的普通一天举例，这也是千千万万当代年轻人的现状，可以看到从早到晚都有丰富的音频活动，娱乐工作生活面面俱到，横跨数个产品，多个行业，软硬件之间来回跳跃，当然小王能在如此多的活
跟大家分享一个好消息！ 腾讯会议旗下、GME 背后的黑科技团队天籁实验室参加由国际音频顶级会议 ICASSP 联合微软发起的 2023 语音信号质量增强挑战赛（SSIC），并荣获 SSIC 全部两个赛道的冠军，并在降噪、混响、卡顿、响度、音质修复等多个子项均达到了领先水平！ 图示：比赛成绩 去年，天籁实验室在 ICASSP DNS 2022 全频带实时个性化语音增强 track 2 比赛已获得总分第一。点击查看详情>> ICASSP 2023 语音信号质量增强挑战赛（SSIC）主要面向如何在实时通信系统中
从无序中寻找踪迹，从眼前事探索未来。 2021 年正值黄金十年新开端，CSDN 以中立技术社区专业、客观的角度，深度探讨中国前沿 IT 技术演进，推出年度重磅企划栏目——「拟合」，通过对话企业技术高管大咖，跟踪报道企业前沿技术资讯，分享真知灼见，以点到面折射出中国 IT 技术最新动态，传播技术影响力，帮助开发者与企业捋清思路，共创数字经济新未来。 实时音视频 RTC（Real-Time Communication），是新冠疫情黑天鹅事件中快速普及并崛起的技术与行业。2020年6月声网纳斯达克上市，年底即构获
最高支持 10 米远距离拾音，可过滤 4 万余种真实噪音；可根据用户语言习惯个性化转写，语音转写准确率达 98%；还能区分不同人声，做重点标记，自动提炼摘要。
全副武装的川总先介绍了疫情爆发后搜狗的举措，包括第一时间捐赠了7000万元的物资和现金支援抗疫一线、全网第一个上线了确诊患者的同城查询、推出第一个用于省级疫情报务平台的新冠肺炎人工智能查询平台、并为一线记者免费配备搜狗AI录音笔C1 Pro……
“AI+IoT”将是未来的风口，各种应用和商机将成井喷式增长，国内外各大互联网巨头早已提前布局AI+IoT的战略，这同时也是恩智浦的核心战略之一。AI+IoT技术的应用，大到汽车和电视，小到灯泡、闹钟，都可以使用AI的控制技术。
2017年12月26日，腾讯叮当开放日在深圳科兴科学园举行，Avlight/爱浪作为腾讯叮当的战略合作伙伴，共同发布内置腾讯叮当语音助手的AI语音耳机，该耳机此前已亮相TGPC 2017（腾讯全球合作伙伴大会）。 📷 会上，爱浪还携手豆瓣内容、腾讯共同发布豆瓣内容-爱浪联合品牌AI语音耳机，将于2018年Q1上市。豆瓣内容、爱浪、腾讯均是各行业的龙头企业，三方联合推出的这款产品也代表着顶尖技术的汇聚，结合腾讯叮当语音助手与豆瓣内容资源，将会为用户提供全新的耳机体验。 📷 豆瓣内容 x 爱浪联合品牌AI语音耳
Android MediaCodec 解码一般有两种方式：MediaCodec ByteBuffer（MCBB）、MediaCodec Surface（MCS）。
点击上方“LiveVideoStack”关注我们 编者按：树枝上鸟儿的啁啾声，潺潺流水声，人们踏青时的欢歌笑语声，与春暖花开的画面融合在一起，呈现出一幅春色正浓的动态美景。可是当一切声音被消除，整个世界陷入沉寂，这幅美丽的春景图仿佛也在瞬间失去了色彩。声音在我们的日常生活中占据着至关重要的地位，与声音相对应的音频也是如此：音频可以独立于视频存在，而且音频的感知受到长短时记忆的影响更明显。这也是为什么音频可以调动人的情绪变化和好恶感知。 近日，LiveVideoStack采访到了声网的音频算法负责人冯建元，请
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
