关于作者：Milter，一名机器学习爱好者、NLP从业者、终生学习者，欢迎志同道合的朋友多多交流
在字符与字节之间的转换过程称为编解码，Python自带了超过100种编解码器，比如：
Matroska封装格式非常灵活、兼容性好，既适用于本地文件存储又可以进行实时流传输。本篇文章主要探讨Matroska的编解码器映射，如何封装视频流、音频流、字幕流。如果要Matroska的介绍、功能和基本结构，请查看上一篇文章：走进音视频的世界——Matroska封装格式的介绍(一)。
“字符串”是个相当简单的概念：一个字符串是一个字符序列。本文记录 Python 中字符串相关内容。 基本的编解码器 Python 自带了超过 100 种编解码器（codec, encoder/decoder），用于在 文本和字节之间相互转换。每个编解码器都有一个名称，如 ‘utf_8’， 而且经常有几个别名，如 ‘utf8’、‘utf-8’ 和 ‘U8’。这些名称可以传 给 open()、str.encode()、bytes.decode() 等函数的 encoding 参数。 例如： 使用 3 个编解码
原因在于这个latin1不会对中午编码，所以我们需要处理这个EncodeError,处理如下：
错误一：‘gbk’ codec can’t decode byte 0x98 in position 2: illegal multibyte sequence
在Windows上使用open打开utf-8编码的txt文件时开头会有一个多余的字符\ufeff，它叫BOM,是用来声明编码等信息的,但python会把它当作文本解析。
现代人工智能技术能神乎其神的将一个人的脸严丝合缝的移植到另一个人的照片或视频里，类似于ZAO这类风靡一时的应用就能让用户将指定头像切换到一段视频中的对应角色里，而且表情变化看不出任何违和感，我们本节提到的可变编解码器就能实现类似功能。
一个图像可以视作一个二维矩阵。如果将色彩考虑进来，我们可以做出推广：将这个图像视作一个三维矩阵——多出来的维度用于储存色彩信息。
从错误提示来看，应该是文件编码的问题，文件中含有 gbk 无法解码的内容，某个字符的起始字节为 0x80，不在 gbk 的编解码范围内。其对应的源码如下：
Android的大多数漏洞都发生在多媒体和蓝牙组件中。释放后使用（UAF），整数溢出和越界（OOB）读/写构成漏洞的90％，其中OOB是最常见的漏洞。
Flutter邀请你用Dart语言开发你的移动应用，一套代码可以同时构建Android和iOS。但是Dart不会编译成Android’s Dalvik字节码，在iOS上也不会有Dart/Objective-C的绑定。这意味你的Dart代码并不会直接访问平台特定的API，即 iOS Cocoa Touch 以及 Android SDK的API。
通过逐步引入宽色域（WCG）、高动态范围（HDR）、更高的分辨率和更高的帧率（HFR）等用以改善视频消费者观看体验的新特性，Ultra-HD（UHD-1）预计将在未来几年成为市场上主流的视频格式。然而伴随这些新特性而来的主要问题是视频数据量的急剧增加，其带宽需求已经远远超出了3G-SDI和10GbE接口所能提供的带宽上限。为了使UHD-1格式能够兼容现有的生产设备，业界已经提出了几种轻量级的压缩方案。目前，Range Extensions（RExt）已被批准为HEVC标准的第2版，其中引入了一些先进的编码工具，支持4:2:2和4:4:4色度采用方案、16位比特深度以及较高的数据吞吐量。
视频产业现在处于一个十字路口，巨大的视频服务行业每年价值约 2000 亿美元。视频占互联网所有流量的 80%，这个比例还在增长。而在这 80% 的流量中，80% 是由 H.264 比特流组成的 -- 这是当今主流的视频编解码器。但 H.264 是在 2003 年实现标准化的，整整 18 年了，现在时机已经成熟，需要一个更新、更强大的编解码器来取代它。
量化通过将连续值映射到用于熵编码的有限离散值集来离散图像特征以压缩图像。虽然目前基于神经网络的图像压缩采用的量化方法解决了训练测试不匹配的问题，但量化对潜在特征的随机影响仍未解决。量化将连续值统一映射到单个离散值，根据特征可变性引入不同程度的噪声。例如，从
From：http://yate.null.ro/pmwiki/index.php?n=Main.CppTutorial3 Yate的编解码模块不处理任何消息，而是通过API方式调用。其他模块通常两者
本帖参考M. Miyazaki等人发表在SMPTE Motion Imaging Journal的文章UHDTV-2 Mezzanine Compression Codec For Miniaturized and Simplified UHD Production System，重点介绍了我们在生产应用中硬件压缩的发展。底层压缩方案经过多个编码/解码周期展现出最小的质量下降，使其适用于生产系统。Tiny Codec（TICO）编解码器采用48 Gbits / s（59.94 Hz，10 bit，4：2：2）的未压缩UHDTV-2比特流，并将其压缩以适合单个12G数字分量串行接口（SDI）电缆。该设备还可以配备IP接口。这些改变可以显着降低电缆和切换器的复杂性。
FFplay是一个使用FFmpeg库和SDL库的非常简单和便携的媒体播放器。它主要用作各种FFmpeg API的测试平台。
研究问题：设计分层编解码器，将隐空间的不同部分对应不同任务（图像重建/目标检测/分割）。
本帖参考Adrian Pennington近期发表在IBC的文章MPEG heads to the holograph，重点介绍了MPEG正在推广的基于视频的点云压缩技术 (V-PCC)。V-PCC解决了3D点云（空间中的一组数据点）的编码，以及相关的例如颜色的属性。其目的是启用包括人物角色表示在内的新应用。换句话说，人形化身或全息图作为沉浸式扩展现实的一部分在不久的将来就会实现。
本文是Netty文集中“Netty in action”系列的文章。主要是对Norman Maurer and Marvin Allen Wolfthal 的 《Netty in action》一书简要翻译，同时对重要点加上一些自己补充和扩展。 本章含盖 解码器、编码器、编解码器综述 Netty 的编解码类 Netty提供可以简化各种协议的自定义编解码器创建的组件。 什么是编解码器？ 每个网络应用都会定义端之间传输的二进制字节该如何被解析和转换，从发送端到目标程序的数据类型。这个转换逻辑通过编解码器来
INR（Implicit Neural Representation，隐式神经表示） 通常学习坐标到值的映射以支持原始信号的隐式重建。当使用 INR 编码视频时，可以通过对各个输入视频执行模型压缩来实现视频压缩。与其他方法相比，INR 方法表现出相对较高的解码速度，但未能提供与视频压缩领域的最新技术相当的速率质量性能。这主要是由于所采用的网络架构的简单性，限制了它们的表示能力。现有的一些 INR 方法使用的卷积层或子像素卷积层在参数效率上存在问题，而基于傅立叶的位置编码在训练时间上较长且只能达到次优的重建质量。
Media内核是Android系统中负责音视频处理的核心模块，包括音视频采集、编解码、传输、播放等功能。Media内核源码位于Android源码树的/frameworks/av目录下，主要包括以下模块：
https://www.streamingmedia.com/Articles/Editorial/Featured-Articles/Good-News-AV1-Encoding-Times-Drop-to-Near-Reasonable-Levels-130284.aspx
Spring Boot为Spring WebFlux提供自动配置，适用于大多数应用程序。
视频会议中常常受到网络丢包的影响,导致视频质量下降甚至视频冻结。传统解决方案如重传丢失的数据包在实时应用中往往不切实际。采用前向纠错(FEC)技术恢复丢失的包具有挑战性,因为很难设定合适的冗余度。
H.264 是由国际标准组织机构（ISO）下属的运动图象专家组（MPEG）和国际电传视讯联盟远程通信标准化组织（ITU-T）开发的系列编码标准之一。
原标题：On the convergence of Video and 3D Graphics
MediaCodec类Android提供的用于访问低层多媒体编/解码器接口，它是Android低层多媒体架构的一部分，通常与MediaExtractor、MediaMuxer、AudioTrack结合使用，能够编解码诸如H.264、H.265、AAC、3gp等常见的音视频格式。广义而言，MediaCodec的工作原理就是处理输入数据以产生输出数据。具体来说，MediaCodec在编解码的过程中使用了一组输入/输出缓存区来同步或异步处理数据：首先，客户端向获取到的编解码器输入缓存区写入要编解码的数据并将其提交给编解码器，待编解码器处理完毕后将其转存到编码器的输出缓存区，同时收回客户端对输入缓存区的所有权；然后，客户端从获取到编解码输出缓存区读取编码好的数据进行处理，待处理完毕后编解码器收回客户端对输出缓存区的所有权。不断重复整个过程，直至编码器停止工作或者异常退出。
https://hacks.mozilla.org/2018/06/av1-next-generation-video-the-constrained-directional-enhancement-filter/
前文我们对HEVC的HDR编码优化技术做了介绍，侧重编码性能的提升。本章主要阐述HEVC中HDR/WCG相关的整体编码方案，包括不同应用场景下的HEVC扩展编码技术。
据我所知，这是第一次有研究对代表基本视频编码（Essential Video Coding，EVC）、通用视频编码（Versatile Video Coding，VVC）和低复杂度增强视频编码（Low Complexity Enhancement Video Coding，LCEVC）的编解码器以及 AV1、HEVC 和 H.264 的质量和性能进行比较。它并不像我希望的那样详尽，但结果应该有助于你了解三个较新的 MPEG 编解码器的目标，以及它们与旧编解码器的对比情况。
当我去年写欢迎辞的时候，世界正处于一个非常不同的状态。我们决不是回到了正常状态。我们仍然在处理很多不确定因素。但是，随着世界慢慢开始重新开放，我们更加好奇看到它如何影响视频流媒体行业。
原文标题：3 Takeaways From Moscow State University's 2019 Codec Comparison
质量评估指的是通过人为或自动化的方法评价语音的质量。在实践中，通常可以根据评价方式分为主观评价和客观评价两类。
在传统的 2D 摄影中，从物体上的一个点发出的光被镜头聚焦到传感器上的一个点上，因此我们可以获知从该点发出的光的强度，但是丢失了光线的方向信息。
点击上方“LiveVideoStack”关注我们 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息 翻译 | 姜金元 编辑 | Alex 技术审校 | 张昊、杨海涛 本文来自OTTVerse，作者为Jan Ozer。 VVC 影音探索 #006# 聊聊VVC VVC作为国际标准于2020年7月首次发布，现在时间已经过去了18个月，让我们来看看VVC迄今为止的进展（包括许可、性能、芯片开发和测试等）。 VVC专利所有人 追求视频质量固然很好，但这个世界是靠金钱运转起来的，所以让我们从这
视频编码推动了过去25年的学术研究，并且推出了引人注目的产品与服务。众多公司都围绕视频编码和传输而构建--- Netflix和Google的YouTube是两个最好的例证。
本文主题：编码和解码，或者说是数据从一种特定协议的格式到另一种的转换。这些任务通常由编解码器组件处理 Netty 提供了多种组件，简化了为支持广泛协议而创建自定义编解码器的过程。 若你正在构建一个基于 Netty 的邮件服务器，那就会发现 Netty 对于编解码器的支持对于实现 POP3、IMAP 和 SMTP 协议来说是多么宝贵！
下面描述一个经过Envoy代理的请求的生命周期。首先会描述Envoy如何在请求路径中处理请求，然后描述请求从下游到达Envoy代理之后发生的内部事件。我们将跟踪该请求，直到其被分发到上游和响应路径中。
近几年来，视频流的技术环境发生了巨大的变化，互联网上的视频流量急剧增加。根据 Cisco 公司的报告的预测，视频流量将超过整个互联网使用量的 80%。这也使得人们对视频流和实时视频通信应用中的视频压缩的比特率与质量的权衡关系产生了更大的兴趣。然而这些编解码器在实际系统中的实际部署表明，还有其他考虑因素进一步限制了编解码器的性能，例如设备上的资源、云中的计算资源和 CDN（内容交付网络）中不同服务器之间的带宽。尤其是转码已经成为流媒体和通信生态系统的一个关键设备，使 Netflix、YouTube、Zoom、微软、Tiktok 和 Facebook 的视频应用成为可能。用户生成内容（UGC）的流媒体的一个主要问题是失真的影响，如噪音、曝光/光线和相机抖动。对于 UGC，这些失真通常会导致比特率提高，图片质量降低。
原标题：LCEVC vs. AVC – Incredible 28% Gain at 3x Speed
fluent FFmpeg返回一个构造函数，你可以使用它来对FFmpeg命令进行操作。
ChannelPipeline是Netty中非常核心的概念。每个Netty SocketChannel包含一个ChannelPipeline。
本章主要内容就是讲解如何在dotnetty的框架中进行网络通讯以及编解码对象、数据包分包拆包的相关知识点。
大家好，我是来自Netflix视频算法组的李智，本次将主要为大家分享我们针对VMAF的探索历程，包括VMAP的简史、基本原理和我们近期的一些工作。
ffmpeg是一个非常快速的视频和音频转换器，也可以从实时音频/视频源中抓取。它还可以在任意采样率之间进行转换，并使用高质量的多相滤波器动态调整视频大小。他能够兼容Windows,Linux以及mac三种操作系统（说白了就是这三种操作系统都能用）。ffmpeg的下载地址是:ffmpeg的下载地址 安装过程没啥好说的，按照提示一直点下一步就行了。这里需要说明的一点是ffmpeg安装好之后最好在PATH中配置ffmpeg的环境变量。配置好之后在命令行中输入ffmpeg会出现如下结果：
2月25日，Google AI blog发布了一篇文章详细的介绍了最新推出的Lyra——一种用于语音压缩的新型超低比特率编解码器。该编解码器使Google Duo，以及未来的其他应用程序能够以每秒3kb的网络宽带提供听起来很自然清晰的语音聊天。
Netty 作为一个网络框架，对 TCP 连接中的问题都做了全面的考虑，比如粘包拆包导致的半包问题，如何编解码，如何实现私有协议，序列化等等。
UnicodeDecodeError: 'gbk' codec can't decode byte 0xfe in position 575056: illegal multibyte sequence
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
