制作域的数字媒体格式和编码器简介

原标题：A Simple Guide to Formats and Codecs

原文链接：https://www.tvtechnology.com/news/a-simple-guide-to-formats-and-codecs

翻译整理：虞盛炜

介绍

你是否曾为各式各样的视频文件格式所烦恼？或者抱怨“我明明只要一个QuickTime视频文件啊”？本文将对数字媒体的格式和编码器进行一个简单的介绍，希望能对你有所帮助。

数字媒体文件由格式封装、数据和元数据组成。格式封装定义了文件的类型，如.mpeg、.mov、.mp4、.mp4、.mxf等。可以把封装理解为一盘录像带，它标明了哪个播放器应该与该文件兼容，就像VHS卡带需要一个VHS播放器一样。数据是指包含在该封装中的音频/视频内容。元数据是一些关于数据的信息，如日期/时间戳、颜色配置文件等。

如何理解这些数据

使用编码器，音/视频信号被编码为数字文件。大多数视频文件会用到数据压缩，而专业格式的音频信号通常是无压缩的。另一方面，消费类音频格式，如.mp3和.m4a等使用了高度压缩的编解码器。虽然我们常常将某些编解码器与特定的格式联系在一起，如ProRes和.mov几乎绑定，但它们并不等价。例如，视频可以用ProRes编解码器进行编码，并存储在.mxf封装中。

视频编码往往是有损压缩或是视觉无损压缩。这是由编解码器类型、编码码率、帧率和帧大小配置决定的。当使用有损压缩时，压缩率往往更高，文件占用空间会更小。但是，这些视频解码后往往会显示出肉眼可见的压缩伪影，因为很多视频信息被丢弃了。像Netflix和YouTube这样的流媒体服务使用的就是有损压缩，使得视频信号可以通过互联网传输到你家中。视觉上的无损编解码器，如Avid DNx或Apple ProRes系列编解码器的高比特率版本，常被用于摄像机采集和后期制作。这些编解码器采用高码率进行视频编码，文件大小也会因此大大增加。这么做的好处就是，压缩后的伪影一般是肉眼无法察觉的。

如今，绝大多数用于视频拍摄和后期制作的编解码器都受到一些公司或协会的专有知识产权保护。尽管你随时都可能会用到这些编解码器，但其实它们并不是开源的。使用这些编解码器是需要签订许可协议的。通常情况下，用户对此并无感知，因为这些公司之间已经签订了各种授权协议。但就像所有其他的知识产权一样，一旦公司之间的这种合作结束，就可能导致编解码器在应用程序中不再可用。

库组件和64位过渡

当一个视频文件被应用程序播放时，其数据会被实时解码，并以RGB像素的形式显示到你的屏幕上。这需要一组已安装的库组件，应用程序利用这些组件来读取、解码和显示视频数据。这些组件可能是计算机操作系统的一部分，也可能是只为该应用程序提供功能的定制安装组件。

随着时间的推移，苹果和微软在其操作系统中逐步放弃了对旧编解码器的支持。例如，苹果公司的Catalina是一个64位操作系统，不支持32位应用程序和库组件。这意味着，某些编解码器（包括许多仍在使用中的编解码器，如DNxHD/HR等）不能再通过依赖之前macOS版本中使用的32位QuickTime框架的应用程序进行解码播放。这不是编解码器本身的问题，而是由于使用了不兼容的库组件。

为了让这些文件能够在Catalina中工作，苹果或应用开发者必须编写新的64位库组件来播放这类文件。就DNx而言，Avid和Adobe可以以.mxf格式读取和写入这些文件，但苹果自己的应用程序，如Final Cut Pro X或QuickTime Player，却无法做到这一点。

为什么不能在后期生成RAW文件

数码摄像机将原始传感器数据转换为RGB像素信息，并使用定义的编解码器和格式记录到数字文件中。将Bayer传感器生成的数据转换成RGB数据是在摄像机中进行，同时还会生成原生ISO和色彩配置文件。然后，这些文件可以被大多数专业的编辑和播放器应用轻松地播放。

而自从RED Digital Cinema的RED One相机问世以来，人们开始对RAW数据进行压缩。当你录制摄像机的原始信号时，可以跳过RGB转换/处理步骤，从而可以在后期进行更多的色彩校正。它还可以在同等码率和文件大小的情况下产生更高质量的图像。然而，直接对相机RAW文件的操作对后期使用的硬件系统造成了很大的负担。这是因为原本在相机中进行的转换，现在全部需要计算机进行实时处理。

RAW编解码器存储的是相机传感器产生的信息，仅用于图像采集。你不能在后期写入或重新编码相机的原始文件，因为没有传感器数据可用。相机RAW编解码器也是个别公司的专利，包括RED、ARRI、苹果、Blackmagic Design等。目前来说，还没有与CinemaDNG等效的视频格式（CinemaDNG是Adobe公司开发的一种摄影RAW格式，然后作为开源标准提供给了社区使用）。当然，GoPro的CineForm RAW编解码器也是一个可选的解决方案。

非RAW编解码器的视频可以通过色彩校正来调整，但实际上并没有改变文件本身的底层色彩处理，只是调整了已经存在的RGB信息。相比之下，RAW数据提供了利用传感器数据的机会，后期可以使用各种色彩调整方案。这就要求每个公司创建一个针对其专有编解码器的相机RAW数据处理软件，用户可以使用该软件来处理图像。工程师们有以下几种选择：1）将专有流程与自己的应用程序隔离，2）创建供其他公司使用的软件，3）创建每个人都可以使用的OS组件，或4）提供SDK并让其他公司编写自己的工具以在自己的应用程序中使用。

例如正是由于RED插件，像REDCODE这样的编解码器在大多数应用中都得到了广泛的支持。另外，如ProRes RAW和Blackmagic RAW等，也可能随着未来NLEs的支持而被广泛使用。所以，如果你拥有一台支持RAW视频数据输出的相机，千万不要认为你常用的编辑工具或后期软件一定能处理这些文件——注意提前做好功课。