数字图像处理的过程中，YUV文件是比较常见的视频源数据。YUV不像RGB那样要求三个独立的视频信号同时传输，所以用YUV方式传送占用极少的频宽。
今天Android要把Bitmap里的数据转成I420，用的YUV库，但是总有色差。查了好久，最终发现
我最近兼职赚了点小钱，就想买个玩具。我年前有点想买佳能，为了ML的相机固件，我把目光聚焦到5D2，虽然1k8可以买到一个相机，但是是单机身而已，而且说实话是这个机器实在是太老了。。。最气的是，我买相机用来干什么？肯定没人找我拍照的，我就是未来折腾而已。后面就把目光聚集到Sony的阿尔法1代，后面还是很尴尬，因为，我这个钱就是可以买机身，还是很麻烦，而且我是一直想使用Sony的SDK。所以这个选项也就打消了，直到看到RX0M2的时候，眼前一亮，小小机身，塞进这么多的功能。重点是USB摄像头，SDK控制的功能，我真的爱了，一直就想买个测试机。看了一些缺点也很明显，不过作为一名工程师，岂是可以难的住我的。
Android中可以通过camera获取图像，并实时处理，不同的手机camera支持的的图像格式不同，可以采用getCameraPreviewFormat来得到preview支持的图像编码格式，Android默认使用NV21（yuv420sp）的图像格式，因为大部分手机都支持。
raw数据是sensor输出的原始数据，一般有raw8, raw10, raw12等，分别表示一个像素点有8bit、10bit、12bit数据。是sensor将光信号转化为电信号时的电平高低的原始记录，单纯地没有进行任何处理的图像数据，即摄像元件直接得到的电信号进行数字化处理而得到的。
前一篇提到了，相机返回的是YUV格式的图像数据，那么YUV到底是怎样一种格式呢？本篇将对YUV图像格式进行详细的解释。 上一篇中，我们了解了Android二维码扫描开发的实现思路和原理。其中从相机里获
RGB 三个字母分别代表了 红（Red）、绿（Green）、蓝（Blue），这三种颜色称为 三原色，将它们以不同的比例相加，可以产生多种多样的颜色。
opencv 提供了cvtColor()函数，用于在图像中不同的色彩空间进行转换，用于后续处理。在使用cvtColor之前首先需要了解下基本的图像色彩模式，色彩模式决定了打印或显示的图片颜色。
=====================================================
在流媒体应用中，视频编码是必不可少的一环。视频编码的作用是将高带宽、高码率的原始视频流压缩成低带宽、低码率的码流，以便于传输和存储。H264是一种高效的视频编码标准，具有良好的压缩性能和广泛的应用范围，在实时流媒体应用中得到了广泛的应用。
转：https://blog.csdn.net/armwind/article/details/52190123，文章不错特转载过来备忘
YUV,分为三个分量，“Y”表示明亮度，也就是灰度值；“U”和”V”表示的则是色度，作用是描述影像色彩饱和度，用于指定像素的颜色。YUV主流的采样方式有三种：YUV4：4：4，YUV4：2：2，YUV4：2：0，这里主要介绍下YUV420。
CameraX 是一个旨在帮助开发者简化相机应用开发工作的 Jetpack 支持库。它支持多种诸如 ImageCapture、Preview 和 ImageAnalysis 这种可以和 ML Kit 或 TensorFlow Lite 无缝结合的使用场景。这为文本识别、图像标记等应用的开发提供了可能，甚至还可以支持使用开发者自己训练的 TensorFlow Lite 模型进行物体的识别和检测。然而，在 CameraX 和这些库之间进行图像格式转换的工作还是比较费时费力的。本文我们会介绍最近为 CameraX ImageAnalysis 带来的新功能，支持从 YUV 到 RGB 的转换，我们会介绍一些背景知识，为什么会引入该功能，并会以少量的示例代码来介绍如何使用它。
前文中，我们已经利用 FFmpeg + OpenGLES + OpenSLES 实现了一个多媒体播放器，本文将在视频渲染方面对播放器进行优化。
1.封装格式 MPEG-4 其中 MPEG-1 和 MPEG-2 是采用相同原理为基础的预测编码、变换编码、 熵编码及运动补偿等第一代数据压缩编码技术； MPEG-4（ISO/IEC 14496）则是基于第二代压缩编码技术制定的国际标准，它以视听媒体对象为基本单元，采用基于内容的压缩编码，实现数字视音频、图形合成应用及交互式多媒体的集成。 MPEG 系列标准对 VCD、 DVD 等视听消费电子及数字电视和高清晰度电视（DTV&&HDTV）、 多媒体通信等信息产业的发展产生了巨大而深远的影响. AVI AVI，音频视频交错(Audio Video Interleaved)的英文缩写。 AVI 格式调用方便、图像质量好，压缩标准可任意选择，是应用最广泛、也是应用时间最长的格式之一。 FLV FLV 是 FLASH VIDEO 的简称， FLV 流媒体格式是一种新的视频格式。由于它形成的文件极小、加载速度极快，使得网络观看视频文件成为可能，它的出现有效地解决了视频文件导入 Flash 后，使导出的 SWF 文件体积庞大，不能在网络上很好的使用等缺点。
**像素是图像的基本单元，一个个像素就组成了图像。你可以认为像素就是图像中的一个点。**在下面这张图中，你可以看到一个个方块，这些方块就是像素。
我们从视频的信号表示方法开始讲起，逐步深入到视频压缩编码的原理。我们主要从下面几个要点来讲解或者加深记忆。
stride指在内存中每行像素所占的空间。如下图所示，为了实现内存对齐（或者其它的什么原因），每行像素在内存中所占的空间并不是图像的宽度。
像素格式描述了像素数据存储所用的格式，定义了像素在内存中的编码方式。RGB 和 YUV 为两种经常使用的像素格式。
将视频中的图像帧按照一定比例缩放或指定宽高进行放大和缩小是视频编辑中最为常见的操作之一，这里我们将1920x1080的yuv图像序列转换成640x480的rgb图像序列，并输出到文件。视频图像转换的核心为一个SwsContext结构，其中保存了输入图像和输出图像的宽高以及像素格式等多种参数。我们通过调用sws_getContext()函数就可以十分方便地创建并获取SwsContext结构的实例。下面给出初始化的代码：
今天主要还是分享ffmpeg命令的一些操作：提前像素格式和PCM数据、如何利用ffmpeg进行命令转封装。
一、前言 ffmpeg在视音频编解码领域算是一个比较成熟的解决方案了。公司的一款视频编辑软件正是基于ffmpeg做了二次封装，并在此基础上进行音视频的编解码处理。然而，在观察编码后的视频质量时，发现图像帧出现了较为明显噪声，类似于水面波纹一般散发开来，在运动场景下尤为明显。初步怀疑应该是码率太低导致的画面失真。于是增大码率重新编码一次，噪声仍然很明显。基本上可以排除是码率太低的问题。 仔细观察原片，也可发现有类似的图像噪声出现，但是微乎其微到几乎不可察觉。于是再次怀疑是ffmpe
在OpenCV中IplImage是表示一个图像的结构体，也是从OpenCV1.0到目前最为重要的一个结构；在之前的图像表示用IplImage，而且之前的OpenCV是用C语言编写的，提供的接口也是C语言接口。
视频行业常见的分辨率有 QCIF（176x144）、CIF（352x288）、D1（704x576 或 720x576），还有 360P（640x360）、720P（1280x720）、1080P（1920x1080）、4K（3840x2160）、8K（7680x4320）等。
接触前端音视频之后，需要掌握大量音视频和多媒体相关的基础知识。在使用 FFmpeg + WASM 进行视频帧提取时，涉及到视频帧和颜色编码等相关概念。本文将对视频帧中的颜色空间进行介绍。 一、视频帧 对于视频，我们都知道是由一系列的画面在一个较短的时间内（通常是 1/24 或 1/30 秒）不停地下一个画面替换上一个画面形成连贯的画面变化。这些画面称之为视频帧。 对于视频帧，在现代视频技术里面，通常都是用 RGB 颜色空间或者 YUV 颜色空间的像素矩阵来表示。在 ffmpeg 里面，我们可以看到源码 li
这里我们使用了FFmpge的sdk和Opencv的sdk。为了方便测试，我们直接使用在线的rtsp网络流。rtmp://live.hkstv.hk.lxdns.com/live/hks这个是香港卫视的rtsp流，可以用vlc播放器测试是否可以播放。
2023-03-10：YUV420P像素数据编码为JPEG图片，请用go语言实现。
FFmpeg中AVFrame到OpenCV中Mat的两种转换方法 方法一：查表法 void AVFrame2Img(AVFrame *pFrame, cv::Mat& img) { int frameHeight = pFrame->height; int frameWidth = pFrame->width; int channels = 3; //输出图像分配内存 img = cv::Mat::zeros(frameHeight, frameWidth, CV_8
FFmpeg 是一个非常强大的多媒体处理工具 , 可以用来 处理 / 转换 / 播放 各种音视频格式的数据 , 因此 使用 FFmpeg 自然也可以提取 YUV 像素格式的数据 ;
FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。FFmpeg本身是跨平台的，支持多个平台。
YUV定义：分为三个分量，“Y”表示明亮度（Luminance或Luma），也就是灰度值；而“U”和“V” 表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。
了解过计算机图形图像学的同学应该知道，有两种方式表示图像，RGB和YUV，视频由一帧一帧的图像组成，每一张图片是由一个一个的像素点组成，既然有两种表示像素的方法，那肯定要了解一下两种表示方式的异同以及优缺点。
本篇文章主要描述如何使用OpenGL ES来渲染i420(YUV420P)和nv21(YUV420SP)
YUV（也称YCbCr）是电视系统所采用的一种颜色编码方法。其中 Y 表示明亮度，也就是灰阶值，它是基础信号；U 和 V 表示的则是色度，UV 的作用是描述影像色彩及饱和度，它们用于指定像素的颜色。U和V不是基础信号，它俩都是被正交调制的.
在前面的文章《图像的表示（1）》里，我们提出了一个问题：从我们眼睛看见的『画面』，到我们用手机、电脑所处理的『图像数据』，其中经历了什么？从这个问题出发，我们探讨了『图像的定义是什么』和『图像成像的原理是什么』这两个问题，接下来我们继续探讨下个问题：『怎样对图像进行数学描述』。全文分为如下几节内容：
下面来看一个视频解码的简单例子，这个程序完成了对”北京移动开发者大会茶歇视频2.flv”（其实就是优酷上的一个普通视频）的解码工作，并将解码后的数据保存为原始数据文件（例如YUV420，YUV422，RGB24等等）。其中略去了很多的代码。
RGB的分类相较YUV来说就比较简单和直观，总体来说遵循“怎么取样就怎么存储的”分类方式
音视频开发要掌握图像，视频，音频的基础知识，并学会如何对他们进行采集，渲染，处理，传输等一系列开发和应用。
YUV模型是根据一个亮度(Y分量)和两个色度(UV分量)来定义颜色空间，常见的YUV格式有YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411、YUV420等，其中比较常见的YUV420分为两种：YUV420P和YUV420SP。
下图引用自“雷霄骅，视音频编解码技术零基础学习方法”，因原图太小，看不太清楚，故重新制作了一张图片。
函数是：cv2.cvtColor(input_image ，flag)， 其中 flag是转换类型
碰见一种特殊情况，Android 设备没有默认集成Camera摄像头。只好选择了 usb 摄像头。
这种复杂的方法可以配置一些sws_getContext()配置不了的参数。比如说设置图像的YUV像素的取值范围是JPEG标准（Y、U、V取值范围都是0-255）还是MPEG标准（Y取值范围是16-235，U、V的取值范围是16-240）
元旦的时候接到一个任务，对 Android Camera 的缩略图展示性能做一些优化。作为一个 Camera 0 经验的菜鸟，各种铺面而来的专业术语瞬间就让我迷失了 ... 那么 0.1 s。
在显示器发明之后，从黑白显示器发展到彩色显示器，人们开始使用发出不同颜色的光的荧光粉（CRT，等离子体显示器），或者不同颜色的滤色片（LCD），或者不同颜色的半导体发光器件（OLED和LED大型全彩显示牌）来形成色彩，无一例外的选择了Red,Green,Blue这3种颜色的发光体作为基本的发光单元。通过控制他们发光强度，组合出了人眼睛能够感受到的大多数的自然色彩。 不过这里面的YUV TO RGB的算法,效率实在是低,因为里面有了浮点运算,解一帧176*144的图像大概需要400ms左右,这是无法忍受的,如果消除浮点运算,只需要10ms左右,效率的提升真是无法想象.所以大家还是避免在手机上面进行浮点运算.
使用的FFMPEG库版本下载地址：https://download.csdn.net/download/xiaolong1126626497/12304729
下面代码调用FFMPEG库，读取摄像头的一帧数据，转换为RGB888，加载到QImage，再显示到标签控件上。
最近在做直播视频通话、自定义采集应用，恶补了YUV格式相关的问题，这篇文章就记录一下。
R = Y + 1.402 * (V-128) G = Y – 0.34413 * (U-128) – 0.71414*(V-128) B= Y + 1.772*(U-128)
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
