视频编解码硬件方案最早是在嵌入式领域中广泛存在，如采用DSP,FPGA，ASIC等，用来弥补嵌入式系统CPU等资源能力不足问题，但随着视频分辨率越来越高（从CIF经历720P，1080P发展到4K，8K），编码算法越来越复杂（从mpeg2经历h264,发展到h265）,PC的软件规模也越来越庞大，视频应用也越来也丰富，单独靠CPU来编解码已经显得勉为其难，一种集成在显卡中gpu用来参与编解码工作已经成为主流。
XviD是个开源的视频编解码器，它与DivX一同被纳入MPEG-4规范第二部分的视频标准，但DivX并未开源。早期的MP4视频大多采用XviD或者DivX编码，当时的视频格式被称作MPEG-4。现在常见的H.264后来才增补到MPEG-4规范的第十部分，当然如今使用XviD压缩的视频已经不多了。
ffplay 命令的 -codec:media_specifier 参数 用于 设置 多媒体解码器 , 通过该参数 可以 为 不同的媒体类型 ( 音频 / 视频 / 字幕 ) 指定解码器 ;
首先我先说一下ATEME。ATEME从事一家做广播的编码公司现在已经有20多年了，包括VideoLAN的一些人也在公司里面工作。所有的编解码器，我们一开始主要是从MPEG开始、VVC标准化，然后VVC竞争者，所有的编解码器都在一起攻克。其他的都是同时进行的，更重要的是我今天要讲的这个也是编解码器的未来进展。
由于人们每天对视频的数量需求巨大且分辨率在不断提高，这使得视频压缩仍然是一个非常热门的话题。现有的流行的视频压缩算法，如 MPEG 和 H.26x 族，都是通过计算像素块的运动来估计这些块在附近帧中的外观。除了估计位移外，还存储量重建误差的近似值。
Matroska封装格式非常灵活、兼容性好，既适用于本地文件存储又可以进行实时流传输。本篇文章主要探讨Matroska的编解码器映射，如何封装视频流、音频流、字幕流。如果要Matroska的介绍、功能和基本结构，请查看上一篇文章：走进音视频的世界——Matroska封装格式的介绍(一)。
Video \Audio Container是什么？ 视频、音频和容器是多媒体文件的三个主要组成部分：
多媒体技术涵盖的面广，涉及的平台很多，商业化产品也很多。 但是其最核心的技术大致是一样的， 基本框图如下:
三十多年以来，传媒业的数字化带来了新的服务、扩大了传统服务的覆盖范围并且给世界各地的消费者带来不断改善的视听体验。数字媒体的分发与消费中最核心的技术问题之一就是压缩，尤其是视频压缩。近几年来，行业里出现了多种不同的视频编码标准和专用的编解码器，并且新研制的编解码器的压缩性能也在不断提高。但是有时候，压缩效率并不是决定编解码器是否适合某一场景的唯一因素。本文介绍的MPEG-5 EVC（Essential Video Coding）标准是由MPEG开发的，它采用了一种新的研制思路，旨在解决业务需求，包括专利许可和技术需求，以便在整个媒体行业中实现快又广泛的部署。
FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它包括了目前领先的音/视频编码库libavcodec。 FFmpeg是在 Linux 下开发出来的，但它可以在包括 Windows在内的大多数操作系统中编译。这个项目是由 Fabrice Bellard 发起的，现在由 Michael Niedermayer 主持。可以轻易地实现多种视频格式之间的相互转换，例如可以将摄录下的视频avi等转成现在视频网站所采用的flv格式。 FFmpeg是一个开源免费跨平台的视频和音频流方案，属于自由软件，采用LGPL或GPL许可证（依据你选择的组件）。它提供了录制、转换以及流化音视 频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多codec 都是从头开发的。
编解码器（codec）能够以二进制形式存储媒体信号，大多数编解码器以有损方式压缩原始媒体信号。最常见的媒体信号有视频，音频和字幕。电影由不同的媒体信号组成，除了动态影像之外，大多数电影都有音频和字幕。视频编解码器有H.264，HEVC，VP9和AV1等，而音频的编解码器则有：AAC，MP3或Opus等。每个媒体信号有许多不同的编解码器。单个媒体信号通常也称为基本流(ElementaryStream)或仅流（just Stream）。
原标题：The Streaming Codec Landscape in 2021
原文：https://mux.com/blog/streaming-video-on-the-internet-without-mpeg/
https://mux.com/blog/did-sisvel-just-catch-aom-with-their-patents-down/
原标题：Comprehensive Guide to LCEVC (MPEG-5 Part 2) - Low Complexity Enhancement Video Coding
一方面，大多数国家网络带宽不足以支持传送高质量的OTT视频内容。即使在美国，欧洲和日本等发达国家，3Mbps以上用户只有不到10％，2Mbps和3Mbps之间的比例为15-20％，1Mbps和2Mbps之间的比例为40-50％，低于1Mbps的比例超过30％。另一方面，H.264/AVC编解码设备已广泛部署，消费电子设备的更换周期长，难以短时间内升级到更高性能的方案，尽管存在多种新编码替代方案（例如，HEVC，SHVC，VP9，AV1和VVC）。
一共支持三种格式： Ogg、MPEG4、WebM，但是这三种格式对于浏览器的兼容性却各不同。
由于每天创建和观看的视频数量巨大且分辨率不断提高，视频压缩仍然是一个正在进行的研究课题。最流行的视频压缩算法，如 MPEG 和 H.26x 族，通过计算像素块的运动来估计这些块在附近帧中的外观。
其中提到的 nvcuvid 则是 Nvidia GPU 硬解码的核心，并且是由官方提供支持，因此可以放心使用。
原标题：On the convergence of Video and 3D Graphics
MPEG组织于2019年7月8日至12日举行了第127届会议，会议参与人数首次突破600大关。以下为会议上集中讨论取得的一些重要结果。
KMPlayer2020是一款韩国全能影音播放器软件（和potplayer类似）。软件功能强大，界面清晰。kmplayer绿色版集成了包括RM、APE在内的全部音频视频格式，又以强大的开发实力实现了最大化降低画面噪点，使画质锐利呈现，使用4倍速驱动增强型图像引擎，为用户建立了高品质高清画质体验！即使是低画质的视频也一样可以全屏播放！
本文来自PCS 2021的一次Keynote，演讲者是来自Intel的Jill Boyce，演讲题目是“Video Codec Standardization and Ecosystem Update”，主要介绍了视频编解码器的标准化和进展。
MPEG-4 Part 14（MP4）是最常用的容器格式之一，通常文件以.mp4结尾。它不仅能用于HTTP上的动态自适应流传输（DASH），还能用于Apple提出的的HLS流传输。MP4基于QuickTime文件格式标准下的ISO基础媒体文件格式（MPEG-4 Part 12）。MPEG代表Moving Pictures Experts Group，是国际标准化组织（ISO）和国际电工委员会（IEC）合作建立的组织。MPEG的设立是为了规范音频和视频压缩和传输的标准。MPEG-4则指的是对视频的编码。MP4支持多种编解码器。最常用的视频编解码器是H.264和HEVC。AAC是最常用的音频编解码器。AAC是著名的MP3音频编解码器的后继者。
本文是来自于Bitmovin Vienna Video Tech Meetup的演讲，讲者是来自于Bitmovin的编码团队领导Christian Feldmann和产品经理Christoph Prager。主要内容是即将发布的三个MPEG标准以及流媒体启动时间优化。
下面的例子示明了使用H.262编解码器时，广播电视提供可接受性能时的传输层最低性能预期要求： 表 IV.1的假设:
本文首发于简书——何时夕，搬运转载请注明出处，否则将追究版权责任。交流qq群：859640274
本篇是收录于LVT（London Video Technology Meetup in August 2019）的演讲，演讲者是来自Bitmovin的Christian Feldmann，主题是VVC，EVC，LCEVC，来自MPEG的下一代热门编码器的进展。
1、 StageFright介绍 Android froyo版本号多媒体引擎做了变动，新加入�了stagefright框架，而且默认情况android选择stagefright，并没有全然抛弃opencore，主要是做了一个OMX层，不过对 opencore的omx-component部分做了引用。stagefright是在MediaPlayerService这一层加入的，和opencore是并列的。Stagefright在 Android中是以shared library的形式存在(libstagefright.so)，当中的module — AwesomePlayer可用来播放video/audio。 AwesomePlayer提供很多API，能够让上层的应用程序(Java/JNI)来调用。
保存视频的每一帧，每一个像素没要必要，而且也是不现实的，因为这个数据量太大了，以至于没办法存储和传输，比如说，一个视频大小是 1280×720 像素，一个像素占 12 个比特位，每秒 30 帧，那么一分钟这样的视频就要占 1280×720×12×30×60/8/1024/1024=2.3G 的空间，所以视频数据肯定要进行压缩存储和传输的。 而可以压缩的冗余数据有很多，从空间上来说，一帧图像中的像素之间并不是毫无关系的，相邻像素有很强的相关性，可以利用这些相关性抽象地存储。同样在时间上，相邻的视频帧之间内容相似，也可以压缩。每个像素值出现的概率不同，从编码上也可以压缩。人类视觉系统（HVS）对高频信息不敏感，所以可以丢弃高频信息，只编码低频信息。对高对比度更敏感，可以提高边缘信息的主观质量。对亮度信息比色度信息更敏感，可以降低色度的解析度。对运动的信息更敏感，可以对感兴趣区域（ROI）进行特殊处理。 视频数据压缩和传输的实现与最终将这些数据还原成视频播放出来的实现是紧密相关的，也就是说视频信息的压缩和解压缩需要一个统一标准，即音视频编码标准。
(1) 可用性 建议在网络上传输元数据时确保高可用性。 (2) 数据量 相对于总服务数量、内容数量和网络带宽这些因素而言，在传输元数据时，建议让传输的数据量足够小。 (3) 正确性 服务供应商应确保标记特定内容的元数据是正确的。 我们以内容的“评级”正确性为例来说明元数据的重要性。内容的正确评级直接关系到客户的期望，一部成人电影如果错误地标上了“家庭电影”的评级，必将会严重地影响客户体验和服务供应商的业务。
据我所知，这是第一次有研究对代表基本视频编码（Essential Video Coding，EVC）、通用视频编码（Versatile Video Coding，VVC）和低复杂度增强视频编码（Low Complexity Enhancement Video Coding，LCEVC）的编解码器以及 AV1、HEVC 和 H.264 的质量和性能进行比较。它并不像我希望的那样详尽，但结果应该有助于你了解三个较新的 MPEG 编解码器的目标，以及它们与旧编解码器的对比情况。
达芬奇技术（DavinciTM）是 TI 公司为满足现代数字多媒体应用的各种需求而提出的一种基于 DSP 的系统解决方案，为多媒体设备的设计提供了高度集成的处理器、软件与开发工具，尤其在数字视频处理领域有着得天独厚的技术优势。达芬奇技术主要由以下四方面组成，如下图 2.1 所示。
MPEG2-TS（Transport Stream“传输流”；又称TS、TP、MPEG-TS或M2T）是用于音效、图像与数据的通信协定，最早应用于DVD的实时传送节目。 区别： DVD节目中的MPEG2格式，确切地说是MPEG2-PS，全称是Program Stream（程序流），而TS的全称则是Transport Stream（传输流）。MPEG2-PS主要应用于存储的具有固定时长的节目，如DVD电影，可添加字幕等一些程序操作。而MPEG-TS则主要应用于实时传送的节目，比如实时广播的电视节目。 简单地说，将DVD上的VOB文件的前面一截cut掉（或者是数据损坏数据）就会导致整个文件无法解码，而电视节目是任何时候打开电视机都能解码（收看）的。所以MPEG2-TS格式的特点就是从视频流的任一片段开始都是可以独立解码。
AVCodecContext 结构表示程序运行的当前 Codec 使用的上下文，着重于所有 Codec 共有的属性(并且是在程序运行时才能确定其值)和关联其他结构的字段。
原文链接：https://blog.beamr.com/2020/05/28/video-codecs-in-2020-the-race-is-on/
本文是来自SMPTE 2019的演讲，演讲者是Jonatan Samuelsson，来自Divideon。演讲主题是MPEG-5 EVC，基本视频编码。
之前的帖子翻译了Bitmovin博客上的《Fun with container formats》系列博文第一章（术语的介绍）和第二章（MP4与CMAF）。这个系列总共有三篇，分析四种最常见的容器格式及其重要性。本帖翻译第三章，将介绍MPEG-TS与Matroska这两种容器格式。
点击上方“LiveVideoStack”关注我们 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息 ---- 作者：Leonardo Chiariglione 翻译：Alex 技术审校：冯建元 音频编码 视 野 #011# 前言 很明显，声音信息的电子格式要早于视觉信息的电子格式，用电子格式分发声音信息的服务也是如此。同样，音频的数字格式与视频数字格式的出现时间也不同。在上世纪80年代初，唱片公司可以通过CD（Compact Disc）向消费者市场发行数字音频，而在80年代
点击上方“LiveVideoStack”关注我们 ▼扫描下图二维码或点击阅读原文▼ 了解音视频技术大会更多信息 翻译、编辑：Alex 技术审校：赵军 本文来自OTTVerse，作者为Krishna Rao Vijayanagar。 FFmpeg Easy-Tech #017# FFmpeg是一款开源软件，用于生成处理多媒体数据的各类库和程序。FFmpeg可以转码、处理视频和图片（调整视频、图片大小，去噪等）、打包、传输及播放视频。作为最受欢迎的视频和图像处理软件，它被来自各行各业的不同公司所广泛使用
为流媒体服务添加新的编解码器是一个重大决定。似乎不可避免的是，H.264 将长期存在，新的编解码器不会取代它，而只是占据市场的份额。在短期内，这意味着流媒体服务可能还需要提供 H.264 和新编解码器，这将增加复杂性和 CDN 存储需求。证明迁移到新编解码器的步骤是什么，如今的情况如何？
在上一篇文章《选择最新 Chromium，支持 H264 / H265》中，记录了我通过升级 Chromium 版本解决了 H264 / H265 视频支持难题。是不是就从此走向一条康庄大道，拿开源软件编译一下就能交差了呢？答案当然是 No。工作中哪有这么好的事，现实总会无情的告诉我，快来解决麻烦。这不，刚解决一个难题，立马又碰到另外一个拦路虎：MPEG TS 流的播放支持。
原文链接 / https://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=146648&trk=article_share_w
将封装格式解压后可以得到压缩过的音视频等. 将压缩过的视频解压后可以得到 视频像素数据(RGB,YUV等).常见的视频压缩格式有H.264, MPEG4等…
每一个从事音视频技术开发的工程师对FFmpeg都不会感到陌生，即使是刚刚踏入这个行业的初学者，但对他们来说这条路上好像有着一条不可逾越的鸿沟，“雷神”和许多大神都总结过一些FFmpeg的学习方法，小编在这里为大家做一个整理，方便大家有一个清晰的思路。
# 常见出现问题：视频用格式工厂转换之后，上传无法用video播放。或者播放只有声音，视频画面是黑色的。
本文来自Bitmovin APAC EDITION 2020的一篇演讲，演讲者是来自bitmovin视频编码团队的Christian Feldmann，他主要探讨了现有的和即将到来的视频编解码器。
本文来自Jan De Cock(Synamedia编解码器开发总监)的LinkIn文章，主题是“Navigating a Multi-Codec World”。
2023-04-01：当Go语言遇见FFmpeg视频解码器，使用Go语言改写decode_video.c文件，提升视频解码效率与开发体验。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
