关于作者：Milter，一名机器学习爱好者、NLP从业者、终生学习者，欢迎志同道合的朋友多多交流
在字符与字节之间的转换过程称为编解码，Python自带了超过100种编解码器，比如：
在Python中，常见的编码问题之一是'utf-8' codec can't decode byte 0xff in position 0。这个错误通常出现在试图解码包含非UTF-8编码字符的字节字符串时。让我们深入了解这个问题，找出解决方案。 首先，让我们了解一下UTF-8编码和字节字符串的概念。
原因在于这个latin1不会对中午编码，所以我们需要处理这个EncodeError,处理如下：
在Windows上使用open打开utf-8编码的txt文件时开头会有一个多余的字符\ufeff，它叫BOM,是用来声明编码等信息的,但python会把它当作文本解析。
“字符串”是个相当简单的概念：一个字符串是一个字符序列。本文记录 Python 中字符串相关内容。 基本的编解码器 Python 自带了超过 100 种编解码器（codec, encoder/decoder），用于在 文本和字节之间相互转换。每个编解码器都有一个名称，如 ‘utf_8’， 而且经常有几个别名，如 ‘utf8’、‘utf-8’ 和 ‘U8’。这些名称可以传 给 open()、str.encode()、bytes.decode() 等函数的 encoding 参数。 例如： 使用 3 个编解码
Matroska封装格式非常灵活、兼容性好，既适用于本地文件存储又可以进行实时流传输。本篇文章主要探讨Matroska的编解码器映射，如何封装视频流、音频流、字幕流。如果要Matroska的介绍、功能和基本结构，请查看上一篇文章：走进音视频的世界——Matroska封装格式的介绍(一)。
错误一：‘gbk’ codec can’t decode byte 0x98 in position 2: illegal multibyte sequence
之前写程序时也出现过类似错误，每次解决了到第二次遇见又忘了具体方法，这次记录一下。
从错误提示来看，应该是文件编码的问题，文件中含有 gbk 无法解码的内容，某个字符的起始字节为 0x80，不在 gbk 的编解码范围内。其对应的源码如下：
利用python文件io方法 open打开文件，读取文件时报错，提示类似如下错误：
由于人们每天对视频的数量需求巨大且分辨率在不断提高，这使得视频压缩仍然是一个非常热门的话题。现有的流行的视频压缩算法，如 MPEG 和 H.26x 族，都是通过计算像素块的运动来估计这些块在附近帧中的外观。除了估计位移外，还存储量重建误差的近似值。
书接上回，在 记一个 Base64 有关的 Bug 一文里，我们说到了 Base64 的编解码器有不同实现，交叉使用它们可能引发的问题等等。
因为最近做图形算法比较多，所以对cv2熟悉是必然的，倒是和以前的函数差不多，就是一些小细节不太一样。
不知道大家有没有想过一个问题，那就是为什么要编码？我们能不能不编码？要回答这个问题必须要回到计算机是如何表示我们人类能够理解的符号的，这些符号也就是我们人类使用的语言。由于人类的语言有太多，因而表示这些语言的符号太多，无法用计算机中一个基本的存储单元—— byte 来表示，因而必须要经过拆分或一些翻译工作，才能让计算机能理解。我们可以把计算机能够理解的语言假定为英语，其它语言要能够在计算机中使用必须经过一次翻译，把它翻译成英语。这个翻译的过程就是编码。所以可以想象只要不是说英语的国家要能够使用计算机就必须要经过编码。这看起来有些霸道，但是这就是现状，这也和我们国家现在在大力推广汉语一样，希望其它国家都会说汉语，以后其它的语言都翻译成汉语，我们可以把计算机中存储信息的最小单位改成汉字，这样我们就不存在编码问题了。
ByteArrayInputStream 和 ByteArrayOutputStream
本篇开始讲解在Android平台上进行的音频编辑开发，首先需要对音频相关概念有基础的认识。所以本篇要讲解以下内容：
编码问题一直困扰着开发人员，尤其在 Java 中更加明显，因为 Java 是跨平台语言，不同平台之间编码之间的切换较多。本文将向你详细介绍 Java 中编码问题出现的根本原因，你将了解到：Java 中经常遇到的几种编码格式的区别；Java 中经常需要编码的场景；出现中文问题的原因分析；在开发 Java web 程序时可能会存在编码的几个地方，一个 HTTP 请求怎么控制编码格式？如何避免出现中文问题？
由于每天创建和观看的视频数量巨大且分辨率不断提高，视频压缩仍然是一个正在进行的研究课题。最流行的视频压缩算法，如 MPEG 和 H.26x 族，通过计算像素块的运动来估计这些块在附近帧中的外观。
流媒体是采用流式传输方式在网络上播放的媒体格式，视频网站内容、短视频、在线直播这些视频形态，均属于流媒体的不同分支。流媒体大致包含三个层级：码流、封装和协议。从音视频编码器输出的码流，经过某种封装格式后，经过特定的协议传输、保存，构成了流媒体世界的基础功能。
发送端为了将多个发给接收端的数据包，更有效地发送到接收端，会使用Nagle算法。Nagle算法会将多次时间间隔较小且数据量小的数据合并成一个大的数据块进行发送。虽然这样的确提高了效率，但是因为面向流通信，数据是无消息保护边界的，就会导致接收端难以分辨出完整的数据包了。
大家好，又见面了，我是你们的朋友全栈君。 字符乱码的事，估计大家都遇到过，很烦，什么utf-8、GBK、GB2312转来转去，不知道什么时候才能转正常。我们做个试验，如果你是windows系统，打开记事本，新建一个文件，输入”联通”两个字之后，保存，关闭，然后再次打开，出现了什么现象？乱码！那你赶紧去找IT吧，你中招了！开玩笑的，这是著名的“windows联通之谜事件”。继续往下看，后面会有谜底的解释。那么我们就讨论下字符编码哪些事吧，首先我们看几个真实遇到的乱码的故障实例。
在python3里，已经做了区分unicode就是文本，bytes就是原始的字节序列。
在处理文本数据时，有时候可能会遇到 UnicodeDecodeError 错误，特别是当你使用 utf-8 编码处理数据时。本文将介绍这个错误的原因以及如何解决它。
数字图像由二维元素组成，每一个元素具有一个特定位置(x,y)和幅值f(x,y)，这些元素就称为像素
我们所知道 SRT 是由 Haivision 和 Wowza 开发的开源视频流协议。很多人会认为在不久的将来，它被是 RTMP 的替代品。因为 RTMP 协议安全性稍低，延迟相对较高 ，而相对于 SRT 协议支持高质量、稳定性、亚秒级延迟、强大的编解码器支持。SRT 被许多行业专家认为是视频流的新协议。SRT 究竟是什么？
字符编码：字符集只是规定了有哪些字符，而最终决定采用哪些字符，每一个字符用多少字节 表示等问题，则是由编码来决定的。计算机要准确的处理各种字符集文字，需要进行字符编码， 以便计算机能 够识别和存储各种文字
Flutter邀请你用Dart语言开发你的移动应用，一套代码可以同时构建Android和iOS。但是Dart不会编译成Android’s Dalvik字节码，在iOS上也不会有Dart/Objective-C的绑定。这意味你的Dart代码并不会直接访问平台特定的API，即 iOS Cocoa Touch 以及 Android SDK的API。
一个图像可以视作一个二维矩阵。如果将色彩考虑进来，我们可以做出推广：将这个图像视作一个三维矩阵——多出来的维度用于储存色彩信息。
视频会议中常常受到网络丢包的影响,导致视频质量下降甚至视频冻结。传统解决方案如重传丢失的数据包在实时应用中往往不切实际。采用前向纠错(FEC)技术恢复丢失的包具有挑战性,因为很难设定合适的冗余度。
本帖参考T. Richter等人发表在SMPTE Motion Imaging Journal的文章JPEG-XS—A High-Quality Mezzanine Image Codec for Video Over IP。超高清（UHD）内容的生产，需要更多的带宽用来传输和交换数据；基于IP协议栈的基础架构则更多的灵活性。在生产工作流程中的母片压缩技术可以减少必要的数据传输容量，甚至可以使用旧的、支持HD的基础架构。这类编解码器设计的主要难点是满足超低延迟并且保持高质量的同时，降低设计复杂性。考虑到这一点，联合图像专家组（JPEG）委员会启动了一个名为JPEG-XS的工作组，应对此需求。本文介绍了此类编解码器的具体要求、标准题案的结果、核心实验的阶段进展，及对所选技术的一些评述。
点击上方“LiveVideoStack”关注我们 ▼扫描下图二维码或点击阅读原文▼ 了解音视频技术大会更多信息 翻译：Argus VLC 3.0.17在VLC 3.0.16之后约9个月的时间里，推出了几个新功能，包括支持DTS-HD LBR（低比特率）解码器，支持AV1、E-AC3和GeoVision解码器的新FOURCC，支持DAV视频文件，WebP图像映射，以及支持MP4文件的未压缩音频（ISO/IEC 23003-5）。 这个版本还带来了许多改进，如对一些AMD的GPU驱动程序进行了更好的硬件解
在学习使用FFmpeg进行编解码时，我们有必要先去熟悉FFmpeg中的常用结构体，只有对它们的含义和用途有深刻的了解，我们才能为后面的学习打下坚实的基础。所以，这篇文章将会介绍这些常用的结构体有哪些，然后再介绍它们的具体用途。
在传统的 2D 摄影中，从物体上的一个点发出的光被镜头聚焦到传感器上的一个点上，因此我们可以获知从该点发出的光的强度，但是丢失了光线的方向信息。
最近，越来越多的图像被压缩并发送到后端设备进行机器视觉分析任务（例如目标检测），而不仅仅是供人类观看。然而，大多数传统的或可学习的图像编解码器都是最小化人类视觉系统的失真，而没有考虑到机器视觉系统的需求。在这项工作中，我们提出了一种用于机器视觉任务的图像压缩前处理方法。我们的框架不依赖于可学习的图像编解码器，而是可用于传统的非可微分编解码器，这意味着它与编码标准兼容，并且可以轻松部署在实际应用中。具体而言，我们在编码器之前增加一个神经网络前处理模块，用于保留对下游任务有用的语义信息并抑制无关信息以节省比特率。此外，我们的神经网络前处理模块是量化自适应的，可以在不同的压缩比下使用。更重要的是，为了联合优化前处理模块和下游机器视觉任务，我们在反向传播阶段引入了传统非可微分编解码器的代理网络。我们在几个具有不同骨干网络的代表性下游任务上进行了广泛的实验。实验结果表明，我们的方法通过节省约20%的比特率，在编码比特率和下游机器视觉任务性能之间取得了更好的权衡。
近几年来，视频流的技术环境发生了巨大的变化，互联网上的视频流量急剧增加。根据 Cisco 公司的报告的预测，视频流量将超过整个互联网使用量的 80%。这也使得人们对视频流和实时视频通信应用中的视频压缩的比特率与质量的权衡关系产生了更大的兴趣。然而这些编解码器在实际系统中的实际部署表明，还有其他考虑因素进一步限制了编解码器的性能，例如设备上的资源、云中的计算资源和 CDN（内容交付网络）中不同服务器之间的带宽。尤其是转码已经成为流媒体和通信生态系统的一个关键设备，使 Netflix、YouTube、Zoom、微软、Tiktok 和 Facebook 的视频应用成为可能。用户生成内容（UGC）的流媒体的一个主要问题是失真的影响，如噪音、曝光/光线和相机抖动。对于 UGC，这些失真通常会导致比特率提高，图片质量降低。
Android的大多数漏洞都发生在多媒体和蓝牙组件中。释放后使用（UAF），整数溢出和越界（OOB）读/写构成漏洞的90％，其中OOB是最常见的漏洞。
2 . 效果展示 : 使用的是湖南卫视的直播源 rtmp://58.200.131.2:1935/livetv/hunantv
视频理解任务最基础也是最主要的预处理任务是图像帧的提取。因为在视频理解任务中，视频可以看作是由一系列连续的图像帧组成的。因此，要对视频进行理解和分析，首先需要从视频中提取出每一帧的图像。
音视频学习项目：LearnVideo AndroidMediaCodecDemo
一般来说，大多数学习的图像压缩系统主要是为了人类感知设计的。最近，由于针对高级识别任务跨设备传输视觉数据的需求不断增长，用于机器感知的图像编码成为一个活跃的研究领域。如果为用于不同机器感知任务的图像编码设计一个通用的编码器，则很难实现最近的速率-失真权衡。但如果为每一个任务都定制编码器的代价远远超过了可承受范围。
#环境：opencv 3.4.0 python 3.5.2#读取视频import cv2cap = cv2.VideoCapture('video.avi')#读取摄像头,0为摄像头索引，当有多个摄像头时，从0开始编号cap = cv2.VideoCapture(0)#从视频或摄像头中读取一帧（即一张图像）,返回是否成功标识ret(True代表成功，False代表失败），img为读取的视频帧ret,frame = cap.read()----#完整的读取视频流并播放视频流代码 # -*- coding
姿态估计，计算机视觉的核心任务之一，还原纷繁外表之下的空间信息，洞察千姿百态背后的本征结构。
MPEG2-TS（Transport Stream“传输流”；又称TS、TP、MPEG-TS或M2T）是用于音效、图像与数据的通信协定，最早应用于DVD的实时传送节目。 区别： DVD节目中的MPEG2格式，确切地说是MPEG2-PS，全称是Program Stream（程序流），而TS的全称则是Transport Stream（传输流）。MPEG2-PS主要应用于存储的具有固定时长的节目，如DVD电影，可添加字幕等一些程序操作。而MPEG-TS则主要应用于实时传送的节目，比如实时广播的电视节目。 简单地说，将DVD上的VOB文件的前面一截cut掉（或者是数据损坏数据）就会导致整个文件无法解码，而电视节目是任何时候打开电视机都能解码（收看）的。所以MPEG2-TS格式的特点就是从视频流的任一片段开始都是可以独立解码。
实时互动直播系统必须使用UDP作为数据传输的协议，为什么一定是UDP。TCP是一种可靠的传输协议，会保证在传输的过程中不丢包，UDP传输的速度快，但是不可靠，尤其是用户网络质量很差的情况下，会出现大量的丢包，基本无法保证音视频的服务质量。
在使用Netty进行通信开发，如何选择编码器？在TCP粘包/拆包的问题如何解决？服务端在启动 流程是什么样的？连接服务流程是什么？
• 容器／文件（Conainer/File）：即特定格式的多媒体文件， 比如mp4、flv、mkv等。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
