MPEG发展史
本文为媒矿工厂编译的技术文章
原标题：The MPEG Metamorphoses
原作者：Leonardo Chiariglione
原文链接：https://www.linkedin.com/pulse/mpeg-metamorphoses-leonardo-chiariglione/
翻译整理：徐鋆
摘要
本文概述了MPEG的32年历史。然而，我并不是想仅仅纪念32年的艰苦奋斗和伟大标准的产生，其目的是分析多年来MPEG组织如何演变以适应标准化的需要。具体的人员在组织中起到了重要作用，但我们显然不可能提及成千上万制定了MPEG标准的专家，但是我有责任记录下那些真正推动了MPEG标准开发的核心人员的名字。
介绍
在过去的文章中，我经常谈到MPEG在其30年的发展中改变了多少次。在这篇文章中，我想通过一个相当简介而完整的叙述来详述这一观点。以下链接中有更具体的细节：http://ride.chiariglione.org/
早年
MPEG-1
MPEG最初的想法是为CD上的交互式视频创建一个视频编码标准。开辟另一条通往视频编码标准的道路的想法一直困扰着我，因为我多年来一直从事视频编码研究，却没有看到为了当时最困难的应用——视频电话而设计的消费级设备的痕迹。我认为，如果消费电子（CE）行业的制造能力可以被充分利用，该行业可以向电信公司的客户提供这些设备，从而推动电信公司将其网络升级为数字化的，以承受预期的高视频电话流量。
来自CD的净比特流的比特率为1.4 Mbit/s，接近美国和日本主要数字多路复用的1.544 Mbit/s。因此，很自然地将目标比特率设置为1.5 Mbit/s，作为CE和电信（在视频终端级别）融合的标志。
在MPEG1会议上（1988年5月），有29名专家出席。工作计划为MPEG-1（1-1.5Mbit/s）， MPEG-2（1.5-10Mbit/s）, MPEG-3（10-60Mbit/s）（后文会介绍这些标准）。
在六个月的时间里，所有的活动都是单独进行的。然而，有3个领域被挑选出来进行具体的活动：质量评估（测试）、在硅上实现视频编解码器的复杂性问题（VLSI）和数字存储媒体的特性（DSM）。最后一个活动的产生，是因为CD是一种与电信网络和广播频道非常不同的媒体，视频编码专家对此并不熟悉。
在接下来的几个月里，我致力于解决另一个困扰：没有音频时，人们通常不会重视视频。由于组织方面的原因，ISDN可视电话将视频压缩了3个数量级（64 kbit/s），而将音频保持在另一个64kbit/s流中，这促使我创建了一个专门用于音频编码的MPEG小组。然而，音频并不是视频电话中使用的语音（在ITU-T中有许多专家），而是通常录制在cd上的音频（音乐）。因此，必须使用一些办法防止MPEG最终像视频会议一样，虽然具有最先进的视频压缩标准，但没有音频(音乐)或质量不能满足目标娱乐级别的服务。
音频小组在MPEG4（1988年10月）成立，由Hans Mussmann担任主席，距MPEG1仅7个月；而视频小组在MPEG7（1989年7月）成立，由Didier Le Gall担任主席，距MPEG1约1年。
我的另一个担忧是，将音频组件集成到一个并非专门为其设计的系统中，可能会导致一些技术上的疏忽，而这些疏忽只能通过一些危险的漏洞来缓慢地纠正。因此有了构建系统的想法，最初类似于ISDN可视电话的H.221功能（传统的帧和基于多帧的多路复用器），但是性能更好，因为我期望它在技术上更具有前瞻性。
在MPEG8（1989年11月）上，所有的非正式活动都被正式划分为小组：测试 （Tsuneyoshi Hidaka）、DSM（Takuyo Kogure）、系统（Al Simon）和VLSI（Colin Smith）。
MPEG-2
关于什么将最终成为MPEG-2标准的讨论始于MPEG11（1990年7月）。与MPEG-2项目的雄心相比，仍在进行的MPEG-1项目的范围简直不值一提。MPEG-2的目标是提供一种标准，使价值数千亿美元的有线电视、地面电视、卫星电视、电信公司和一揽子媒体工业能够以压缩形式实现数字化。
因此，在MPEG12（1990年9月）上，需求小组由ITU-T可视电话编码专家组报告员Sakae Okubo担任主席，这表明MPEG-2视频（和系统）是联合项目。需求组的任务是将来自不同行业的需求提炼成一组协调的需求。
系统、视频和音频小组的想法分成了两部分，一半致力于完成MPEG-1标准，另一半致力于启动下一个MPEG-2标准的工作。这是第一次MPEG小组不得不分散他们的精力。
在最初的几年里，小组主席经常更换。在MPEG9（1990年2月）上，Colin（VLSI）被Geoff取代。Morrison将小组的名称改为实现研究小组（ISG），以表明不仅考虑硬件实现，而且还考虑软件实现。MPEG12（1990年3月）Al（系统）被Sandy MacInnis取代，Hans（音频）被Peter Noll取代。
MPEG29（1994年11月）批准了MPEG-2标准的系统、视频和音频部分，一些小组主席认为他们的任务已经完成。第一步是在MPEG28（1994年7月），由Jan van der Meer取代Sandy（系统），以确定MPEG-2遗留下来的问题。
MPEG小组在完成几个悬而未决的MPEG-2活动方面做得很好，如MPEG-2视频多视图和4:2:2 配置文件、MPEG-2 AAC、DSM-CC等。
一种新的编码方式
在1990年代早期，MPEG-1还没有完成，MPEG-2才刚刚开始，但是关于非常低比特率（例如10 kbit/s）的视频编码新标准的讨论已经开始了。最终分配给该项目的名称是MPEG-4，因为MPEG1设想的MPEG-3标准已与MPEG-2合并，将比特率范围的上限提高到10 Mbit/s。
MPEG-4,其标题最终被定为“视听对象的编码”,是一种与前两个完全不同的标准,它旨在集成音频和视频的领域，也就是将广播、CE和电信领域，与3d图形、信息技术（IT）行业进行集成。
在MPEG20（1992年11月）上，在Cliff Reader的主持下成立了一个名为应用与操作环境（AOE）的新小组。这个小组负责开发新的MPEG-4项目的需求，并在其中产生了三个小组：MPEG-4需求、合成与自然混合编码（SNHC）和MPEG-4系统。
从“旧的MPEG”（MPEG-1和MPEG-2）到“新的MPEG”（MPEG-4）的转变是相当艰难的，需要进行许多组织和人事变动。在MPEG30上，Didier（视频）被Thomas Sikora代替，Peter（音频）被Peter Schreiner代替，MPEG32上Geoff（ISG）被Paul Fellows代替，Tsuneyoshi（测试）被Laura Contin代替。
MPEG-4 Visual在Thomas（视频）和Laura（测试）的努力下，在专家的广泛参与下顺利结题。非常成功的AAC标准的基础是由Peter（音频）和音频小组专家制定的。
在MPEG34（1996年3月），C. Reader离开MPEG。在MPEG35（1996年7月），组织发生重大重组：
- 在Sakae（需求）离开后中断了3次会议之后，“AOE需求”活动被合并到Rob Koenen主持下的需求小组。
- “AOE系统”活动被合并到由OlivierAvaro担任主席的系统小组。
- “AOE SNHC”活动在Peter Doenges的主持下成为了一个新的SNHC小组。 Peter 在MPEG49（1999年10月）被Euee Jang取代。
在MPEG40（1997年7月）上，DSM活动成为一个新的小组，名为交付多媒体集成框架（DMIF），由Vahe Balabanian担任主席。DMIF通过定义适当的接口（API）解决了从系统级虚拟化分布介质（广播、网络和存储）的问题。在MPEG47（1999年3月）上，GuidoFranceschini接任主席，任期为两次会议，此后DMIF小组关闭（1999年7月）。
在MPEG41，Peter（音频）被Schuyler Quackenbush取代，他从那时起已经运营这个音频组23年了，是MPEG服务时间最长的主席。
在MPEG46（1998年12月）会议上，Paul（ISG）被Marco Mattavelli取代。在Marco的任期内，开发了MPEG-4参考硬件描述、参考软件概念的VHDL扩展和可重构媒体编码等标准。
MPEG-4标准在MPEG历史上是独一无二的。MPEG-1和-2是很好的标准，因为它们把具有完全不同目标的大型行业结合到一起，但是MPEG-4是将最初的MPEG行业与IT行业结合在一起的标准。这个标准面临着巨大的挑战，专家们为这个项目投入了大量的资源来应对这些挑战：视频对象、音频对象、合成音频和视频、VRML扩展、文件格式等等。即使在今天，距离我们第一次开始工作几乎30年后，MPEG-4依然是一个活跃的标准，并有最多的组件数量。
联络组
在MPEG33（1996年1月），联络小组在Barry Haskell的主持下成立，以处理MPEG正在联系的不断增长的组织网络（约50个）。在MPEG56，Barry，一个资深的视频编码老前辈，离开了MPEG，在MPEG57（2001年7月）Jan Bormans接管，并继续到MPEG71（2005年1月）时，Kate Grant接管。联络小组在MPEG84（2008年4月）关闭。目前联络组在主席会议上进行协调，由相关小组起草并由全体会议进行审查。
早期方式的变化
1996年，MPEG开始处理MPEG-7，这是一个与媒体相关的标准，但与前三个标准有着完全不同的性质：它是关于媒体描述和它们的有效压缩。在MPEG48（1999年7月）会议上，我们清楚地认识到，我们需要一个称为多媒体描述方案（MDS）的新小组来完成部分工作。
Philippe Salembier被任命负责MDS小组，他最初负责所有不涉及系统、视频和音频的MPEG-7事务。在MPEG56（2001年3月），John Smith接管了他的职位，直到MPEG70（2004年10月），Ian Burnett接管，直到MDS小组在MPEG87（2009年2月）关闭。
媒体描述方式从那时起已经有几次复兴。一个是第13部分——2010年上半年的视觉搜索标准的紧凑描述符（Compact Descriptors forVisual Search, CDVS）。另一个是第15部分——2010年中下半年开发的视频分析标准的紧凑描述符（Compact Descriptors for Video Analysis, CDVA）。最后，第17部分，多媒体内容描述和分析的神经网络压缩，为基于神经网络的媒体描述准备了一种基本的压缩技术。
另一种视频编码
在MPEG46（1998年12月），Laura（测试）被Vittorio Baroncini取代。在MPEG54（2000年10月）， Thomas（视频）离开MPEG，在MPEG56 （2001年03月），Jens-Rainer Ohm被任命为视频主席。
Vittorio带来了进行主观测试的专业知识，他与ITU-T SG 16重新启动开发先进的视频编码（AVC）标准。在MPEG58（2001年12月）会议上，Jens被任命为ITU-T联合视频小组（JVT）的联合主席。另一位联合主席是ITU-T SG 16视频编码专家组（VCEG）报告员Gary Sullivan。JVT一直工作到AVC标准在MPEG64（2003年3月）发布后很久。从那以后，Gary出席了主席会议，作为两个小组合作的象征。
仍是媒体相关，但是不同的编码
在MPEG49（1999年10月）上，从市场上收到的许多输入促使我提议MPEG开发一种新的标准，它的愿景如下：“每一个人都可能是一个网络的组成部分，这个网络涉及数十亿的内容提供商、价值加工商、包装商、服务提供商、分销商、消费者……”
该标准最终被称为MPEG-21多媒体框架。MPEG-21可以被描述为“使媒体电子商务成为可能的一套标准”。MDS小组主要负责该项目，该项目在21世纪头十年期间继续进行，之后偶尔恢复。今天，MPEG-21标准由系统小组处理。
在“不同的编码”的标题下，有必要提到开放字体格式（Open Font Format, OFF），这是根据Adobe、Apple和Microsoft维护OpenType规范的要求而构建的标准。“维护”一词在MPEG中有不同的含义，因为OFF有许多扩展，它是在一个开放的、有很强的行业参与的特别小组中开发的，并得到了MPEG的批准。
标准的标准
在21世纪初，MPEG可以满意地回顾它的前15年的运营：它的标准包括视频、音频和3D图形编码、系统方面、传输（MPEG-2 TS和MPEG-4文件格式）等。尽管MPEG正在对其本已可观的资产进行改良，但它不知道是否还能覆盖其它领域。答案是：MPEG编码媒体的组合编码。这是一长串20个标准的开始，最初是由负责单个媒体的小组开发的，例如，第2部分MPEG音乐播放器应用程序格式是由音频小组开发的，第3部分MPEG照片播放器应用程序格式是由视频小组开发的。今天所有的MPEG-A标准，例如非常成功的第19部分——通用媒体应用程序格式，都是由系统小组开发的。
2000年代中期
大约在2000年左右，MPEG认为需要更多的系统，视频和音频标准，但MPEG-1，-2，-4和-7没有通常的系统，视频和音频“三合一”的保护伞。因此，它决定为这些标准创建容器，并将它们称为MPEG-B（系统）、MPEG-C（视频）和MPEG-D（音频）。
MPEG还涉足新的领域：
- 媒体设备软件栈规范(MPEG-E)
- 与虚拟世界之间的通信(MPEG-V)
- 媒体服务平台技术(MPEG-M)
- 丰富媒体用户界面(MPEG-U)
Rob（需求）一直担任持续到MPEG58（2001年12月），他被Fernando Pereira取代，在MPEG64（2003年4月）Rob回归，MPEG71（2005年1月）Fernando再次接手，直到MPEG82（2007年10月）他离开MPEG。
需求小组是MPEG的“控制板”，在这个意义上，需求给出了标准提案的形态，这些格式将在征求建议之后由操作组实现。因此，Rob-Fernando二人组已经在MPEG的控制室中度过了大约40%的MPEG生命。
Vittorio（测试）一直持续到MPEG68（2004年3月），直到MPEG81（2007年7月）被T. Oelbaum取代。
Olivier（系统）在MPEG86（2008年7月）离开MPEG去追求他的创业梦想之前一直担任他的职位。Olivier已经负责MPEG标准的建设13年了，是MPEG任期第三长的主席。
Euee（SNHC）直到MPEG59（2002年3月）才卸任。接替他的是M. Bourges-Sevenier，直到MPEG70（2004年10月）。Mikaël随后被Mahnjin Han取代，直到MPEG78（2006年10月）。SNHC小组一直在制定有价值的标准。然而，他们很难进入一个满足于低绩效但自由可得的标准的行业。
三者的回归
2000年代末，MPEG发生了重大变化。当Fernando（需求）在MPEG82（2007年10月）离开MPEG时，开发需求的任务首先被分配给各个小组。这个实验持续了4次会议，但它证明这不是正确的解决方案。因此，Jorn Ostermann被任命为MPEG87（2009年2月）的需求小组主席。这正好满足了以新音频-视频-系统三者为基础的MPEG-H的要求。
MPEG- H包括MPEG媒体传输（MMT）部分，最终成为高效视频编码（HEVC）的标准和3D音频的视频编码标准。ATSC采用MPEG-H作为工具，实现传统广播与互联网共存、合作的新型广播服务。
需求和系统小组也很快因另一个叫做DASH的项目而超负荷运转。DASH的目标是“驯服”互联网，使其从一个不可靠的传输方式转变为终端用户设备能够适应的方式。
这两个系统项目——MMT和DASH——由Youngkwon Lim管理，他接替Olivier担任MPEG86（2008年10月）的系统小组主席。
MPEG87（2009年1月）关闭了MDS小组。在同次会议上，Vittorio恢复了他作为测试小组主席的职务，大约就在这时为HEVC要求证据和提案进行新一轮的主观测试。
ITU-T和MPEG（JCT-VC）在MPEG92（2010年4月）建立了视频编码联合协作小组，由Gary和Jens担任AVC项目的联合主席。在其鼎盛时期，VC小组非常庞大，每次会议处理的文件超过1000份。当该小组还在忙于开发HEVC的主要部分（2D视频编码）时，3D视频编码变得非常重要，并在MPEG100建立了一个新的小组JCT-3V（与ITU-T联合）。3V小组在MPEG115（2016年5月）结束，而VC小组仍然活跃，主要处于维护模式。
近几年
2010年上半年，MPEG与SC 24/WG 9联合组建了一个特别小组，开发了增强现实应用程序格式，并开发了混合和增强现实（MAR）参考模型。
2016年，MPEG开始了MPEG-I沉浸式媒体编码表示的工作。第三部分是通用视频编码（VVC），这是ITU-T和MPEG新联合视频专家小组（JVET）开发的最新视频编码标准，建立于MPEG114（2016年2月）。它有望在MPEG131（2020年6月）成为FDIS。
JVET的共同主席是Jens和Gary。在预期中，JVET将再次因大量贡献而超负荷，Jens作为视频主席在MPEG121（2018年1月）被Lu Yu取代。
视频小组目前从事两个性质相当不同的2D视频编码标准，也就是EVC和LCEVC，并致力于MPEG沉浸式视频（MIV）项目，该项目将在MPEG134（2021年3月）上成为FDIS。
MIV与另一个令人兴奋的领域有关，在本文中，我们在Mahnjin的主持下以SNHC的名义离开了这个领域。在MPEG79（2007年1月）， Marius Preda从Mahnjin手中接管了SNHC，继续传统的SNHC活动。在MPEG89 （2009年6月）SNHC被重新命名为3D图形（3DG）。
在2010年中，3DG小组开始了一些探索，特别是点云压缩（PCC）和媒体物联网（IoMT）。前者分为两种标准：基于视频的（V-PCC）和基于图形的（G-PCC）。后者已经在MPEG117（2018年7月）到达FDIS。
另一个有前途的活动始于MPEG109（2014年3月），现在已经成为基因组信息表示（MPEG-G）标准。该标准表明，除了处理其他数据类型的媒体外，MPEG还打算将压缩的好处带给其他行业。
结论
这篇文章是对MPEG 32年历史的一个很长的概述。其目的不是讨论MPEG标准，而是讨论MPEG组织如何演变以适应标准化的需要。
当然，结构离开人是不行的。文章中显然不可能提到成千上万的专家，他们制定了MPEG标准，但我认为我有责任记录推动其开发的小组主席的姓名。你可以在以下链接看到所有会议和MPEG主席的完整表格：
http://ride.chiariglione.org/270/
近年来，MPEG结构保持稳定，但仍有改进的空间。然而，这必须由需求而不是意识形态来驱动。
一个可能的改进是使基因组数据编码活动成为一个正式的小组，作为预期编码其他非媒体数据的更多标准的第一步。二是将更多的市场意识注入到先界定MPEG标准存在的阶段，再界定MPEG标准的特点。
但这又是另一个故事了。