音视频技术开发周刊 | 230

每周一期，纵览音视频技术领域的干货。

Opera视频出海非洲面临的技术挑战及应对

Opera是一个主要业务在海外的公司。非洲地区，基础设施差，网络带宽小，人均收入低。如何在非洲地区做好视频分发传输是需要一定的市场、技术深耕。本次LiveVideoStackCon 2021 音视频技术大会北京站，我们邀请到了Opera的技术副总监——张建磊，为我们带来Opera在非洲面临的技术挑战和解决办法。

牛赞：音视频前端跨平台技术应用

Flutter是近两年大火的跨终端框架，实时音视频因为疫情的缘故也越来越融入到人们的日常工作生活中，如线上会议、在线教育等。两者结合起来可以碰撞起什么样的火花呢？利用Flutter实时音视频SDK，我们可以快速开发一个跨平台的会议、娱乐、教育等APP。LiveVideoStackCon 2021北京站邀请到腾讯云高级工程师——牛赞，为我们分享利用Flutter如何进行实时音视频渲染，并深入底层，优化视频渲染的性能。

声网AI降噪测评系统初探

音频质量的优化是一个复杂的系统工程，而降噪是这个系统工程中的一个重要环节，传统的降噪技术经过几十年的发展已经陷入了瓶颈期，尤其是对非平稳噪声的抑制越来越不能满足新场景的需求。而近几年以机器学习/深度学习为代表的AI技术的崛起，为特殊场景下的音频降噪带来了新的解决方案。

Vulkan 在 FFmpeg 中的支持

周末时候看到一篇推送说 FFmpeg 升级到 5.0 版本了。其中提到 FFmpeg 引入了 Vulkan 驱动的新滤镜，用于视频水平、垂直翻转。

M3U8 格式：为什么直播回放都用这个格式？丨音视频基础

M3U 文件是一种纯文本文件，可以指定一个或多个多媒体文件的位置。它的设计初衷是为了播放音频文件，但后来越来越多的用于播放视频文件列表。而 M3U8 则是用 UTF-8 编码的 M3U。M3U、M3U8 文件都是苹果公司使用的 HLS(HTTP Live Streaming) 协议的基础。

metaRTC集成到ffmpeg实现srs的webrtc拉流播放

ffmpeg是一个强大的音视频处理软件，处理各种音视频的编解码和传输等，里面还集成有ffplay播放器等。metaRTC新版本支持静态编译集成到ffmpeg，使ffmpeg支持webrtc。

https://blog.csdn.net/m0_56595685/article/details/122594797

声网AI降噪测评系统初探

音频质量的优化是一个复杂的系统工程，而降噪是这个系统工程中的一个重要环节，传统的降噪技术经过几十年的发展已经陷入了瓶颈期，尤其是对非平稳噪声的抑制越来越不能满足新场景的需求。而近几年以机器学习/深度学习为代表的AI技术的崛起，为特殊场景下的音频降噪带来了新的解决方案。

Vulkan 在 FFmpeg 中的支持

周末时候看到一篇推送说 FFmpeg 升级到 5.0 版本了。其中提到 FFmpeg 引入了 Vulkan 驱动的新滤镜，用于视频水平、垂直翻转。

M3U8 格式：为什么直播回放都用这个格式？丨音视频基础

M3U 文件是一种纯文本文件，可以指定一个或多个多媒体文件的位置。它的设计初衷是为了播放音频文件，但后来越来越多的用于播放视频文件列表。而 M3U8 则是用 UTF-8 编码的 M3U。M3U、M3U8 文件都是苹果公司使用的 HLS(HTTP Live Streaming) 协议的基础。

FFmpeg-Window QT环境调试环境搭建教程1-3

第一篇文章介绍Qt 调试ffmpeg.c 工程，第二篇文章讲解如何自己编译出ffmpeg的dll，第三篇文章主要讲解，如何移植 ffmpeg 工程到 Qt creator环境进行断点调试。

https://juejin.cn/post/7052201703281524750

https://juejin.cn/post/7052206048685490207

https://juejin.cn/post/7052208992109461541

我国光纤传感技术的发展历程

本篇推文涵盖光纤概述，光缆概述，海底通信历史，光纤分类，光纤熔接，熔接费用，熔接机品牌选择等内容。

视频智能生产及内容分析应用工具开源了！

近年来，视频行业持续高速成长，带动数字经济新发展。在视频用户规模持续扩大的同时，产业对于海量多样视频内容的智能化生产及应用的需求也愈发明显。传统的处理方式需要耗费巨大的人力，智能视频内容分析和生产越来越受到业界的重视。

一些超棒的开源项目！

话不多说，让我们一起来看看这周有什么不错的开源资源吧！（排名不分先后）。

2021十大AR工业典型案例盘点：AR与工业，迎来深度融合

相比传统的电脑、手机，AR（Augmented Reality，增强现实）技术可以将2D或3D信息叠加到真实物体和现实环境中，革新了信息传递、显示、交互方式。在2022年开头，我们筛选复盘了2021年完结的十大工业典型应用案例，希望这些案例与经验，能给AR行业未来继续前行带来一些启示。

了解元宇宙—VR虚拟现实技术

如果说将元宇宙比作一个乐队的话，那么VR虚拟现实技术就好比是主唱，镜头前最多的是它，听到最多的是它，看到最多的还是它，我们看到所有与元宇宙相关的图片视频也好，电影作品也好，看起来都与VR虚拟现实技术的表述关联性最高，相似度也最高，那么，你真的了解虚拟现实技术吗?

增强现实（AR）到底如何应用于交互设计？

增强现实（AR）技术使用户在添加数字内容的同时看到现实世界并与之互动。我们可以通过智能手机，轻松下载 AR 应用程序并尝试这项技术。不过，体验增强现实还有另一种方式——使用特殊的 AR 头戴式设备，例如 谷歌眼镜，会将数字内容显示在用户眼前的一个小屏幕上。

大话实时视频编码中的人工智能（上）

本文是”大话实时视频编码中的人工智能“上集，简介了 AI 和 ML 的关系，介绍了神经网络的复杂度表征方法，回顾了视频编码的演变和复杂度，总结了一些现有的机器学习方法在视频编码中的应用。

大话实时视频编码中的人工智能（下）

本文是”大话实时视频编码中的人工智能“下集，讨论了为何神经网络还未能进入实时视频编码框架，介绍了神经网络加速方面的研究，总结了在编码领域已经接近实用的 AI/ML 技术。

腾讯自主研发动画组件PAG开源

PAG (Portable Animated Graphics) 是一套完整的动画工作流。它提供从AE导出插件，到桌面预览工具，再到各端的跨平台渲染SDK，助力于将AE动画方便快捷的应用于各平台终端。PAG目前是公司AVGenerator OTeam开源协同小组的核心组件之一，广泛应用于公司内外40余款主流APP或业务，涵盖UI动画、视频编辑、特效模板、服务端特效渲染等多个场景，于2022年1月开源至GitHub。

基于深度学习的超分辨率图像技术

如今已经有各种深度学习的超分辨率模型。这些模型依赖于有监督的超分辨率，即用LR图像和相应的基础事实（GT）HR图像训练。虽然这些模型之间的差异非常大，但它们本质上是一组组件的组合，例如模型框架，上采样方法，网络设计和学习策略等。

自动驾驶多目视觉感知

理论上说，双目系统已经可以解决3D信息获取的问题，那么为什么还需要多目系统呢？原因大致有两点：一是通过增加不同类别的传感器，比如红外摄像头，来提高对各种环境条件的适应性；二是通过增加不同朝向，不同焦距的摄像头来扩展系统的视野范围。下面我们就来分析几个典型的多目系统。

自动驾驶域控芯片内部架构与性能影响

自动驾驶芯片，本质上是一种包含处理器和控制器的高算力功能芯片，目前已量产商用的自动驾驶芯片基本处于高级驾驶辅助系统阶段，可实现L1-L2级辅助驾驶，通常这类自动驾驶域控制器所采用的芯片不需要太高的AI算力，更多的是应用逻辑算力进行相应的逻辑运算。