FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用LGPL或GPL许可证。它提供了录制、转换以及流化音视频的完整解决方案。FFmpeg本身是跨平台的，支持多个平台。
许久不使用ffmpeg了，最近一年一直是使用gstreamer在做媒体处理（因为产品采用开源框架缘故），考虑gstreamter过于庞大，过于晦涩（依赖glib,各种插件，面向对象的C框架等），自研框架还是优先开用ffmpeg来处理。将3年前的ffmpeg解码器例子用最新ffmpeg（4.2.3）来编译，问题一大堆。
下图引用自“雷霄骅，视音频编解码技术零基础学习方法”，因原图太小，看不太清楚，故重新制作了一张图片。
下面我们讲解下SkeyeExPlayer的截图功能，截图原理就是将YUV/RGB原始数据压缩成jpg或者png等格式（当然bmp格式是不需要压缩的），然后存储成文件的过程；我们以jpg格式为例进行讲解；一般情况下可以使用libjpeg库进行jpeg格式压缩，在不使用libjpeg的情况下，可以使用ffmpeg（内部也集成了libjpeg库）提供的接口进行压缩并写文件，这个方式也普遍适用于写MP4或者其他文件，下面我们讲解下ffmpeg进行截图的流程。
这里我们使用了FFmpge的sdk和Opencv的sdk。为了方便测试，我们直接使用在线的rtsp网络流。rtmp://live.hkstv.hk.lxdns.com/live/hks这个是香港卫视的rtsp流，可以用vlc播放器测试是否可以播放。
本文为作者原创，转载请注明出处：https://www.cnblogs.com/leisure_chn/p/14349382.html
下面来看一个视频解码的简单例子，这个程序完成了对”北京移动开发者大会茶歇视频2.flv”（其实就是优酷上的一个普通视频）的解码工作，并将解码后的数据保存为原始数据文件（例如YUV420，YUV422，RGB24等等）。其中略去了很多的代码。
作为在音视频行业持续发力多年的视频服务厂商，TSINGSEE青犀视频研发了开源平台EasyDarwin，还有多款音视频流媒体平台，我们开发流媒体平台基本都要使用ffmpeg，在ffmpeg中，H264在编码前必须要转换成YUV420P，本文就分享一下怎么将h264转成YUV420P。
之前学习 ffmpeg 在 android 平台上，发现很不方便，所以打算在 vs 上重新搭建环境，然后重新学习，之后如果需要用到的话在移植到其他平台。环境搭建参考的是: https://blog.csdn.net/weixinhum/article/details/37699025
一、环境介绍 FFMPEG版本: 4.2.2 测试系统：ubuntu18.04 二、示例代码 /* YUYV转QImage格式 */ QImage YUYV422_TO_QImage(uint8_t *yuyv422,int image_width,int image_height) { uint8_t *out_buffer= nullptr; AVFrame *Input_pFrame= nullptr; AVFrame *Output_pFrame = nullptr;
关键步骤 int rgbsize = avpicture_get_size(PIX_FMT_RGB24, pVCodecCtx->width, pVCodecCtx->height);//算出该格式和分辨率下一帧图像的数据大小 //uint8_t* rgbBuffer = (uint8_t *)av_malloc(rgbsize * sizeof(uint8_t));//分配保存图像的内存 //avpicture_fill((AVPicture *)&rgbFrame, rgbBuf
引言：在视频监控中最常用的就是图像拼接和字符叠加，25FPS的视频流，如果每隔40MS就从各个通道中取一幅图像来合成，则可以看到一个实时的合成视频。合成的过程也就是原始图像的拼接、缩放的过程，本文主要阐述UV分开存储的YUV420图像拼接的过程,实现下图的效果。
FFmpeg解码得到的视频帧的格式未必能被SDL支持，在这种情况下，需要进行图像格式转换，即将视频帧图像格式转换为SDL支持的图像格式，否则是无法正常显示的。 图像格式转换是在视频播放线程(主线程中)中的upload_texture()函数中实现的。调用链如下：
FFmpeg解码涉及的知识点比较多，很容易被函数和结构体搞定不知所错，我们先从整体上对解码流程有个认知，画了张图把解码流程图，如下
ffmpeg实现音视频编解码是非常常用的工具，视频解码出来的raw数据是yuv格式，用来进行后续的图像处理一般是RGB格式的。所以需要从yuv到rgb或者bgr的转换，ffmpeg提供了相应的转换API函数： 下面代码中dec_ctx是解码器上下文，AV_PIX_FMT_BGR24是要转换成的图像数据格式，通过avpicture_get_size()函数获取图像的数据占用空间大小，并使用av_malloc()分配一个outBuff。将outbuff挂到video_frameBGR结构体上，并设置好格式转换
下面代码调用FFMPEG库，读取摄像头的一帧数据，转换为RGB888，加载到QImage，再显示到标签控件上。
本文为作者原创，转载请注明出处：https://www.cnblogs.com/leisure_chn/p/14355017.html
将视频中的图像帧按照一定比例缩放或指定宽高进行放大和缩小是视频编辑中最为常见的操作之一，这里我们将1920x1080的yuv图像序列转换成640x480的rgb图像序列，并输出到文件。视频图像转换的核心为一个SwsContext结构，其中保存了输入图像和输出图像的宽高以及像素格式等多种参数。我们通过调用sws_getContext()函数就可以十分方便地创建并获取SwsContext结构的实例。下面给出初始化的代码：
要解码，我们需要获取解码器AVCodec,解码器我们需要通过codec_id获取，codec_id我们需要通过AVStream获取，AVStream我们需要通过AVCodecContext获取，AVCodecContext我们要根据AVFormatContext获取,解码的时候我们要通过AVFormatContext读取，解码数据存储在AVFrame里面,编码数据存储在AVPacket里面。
① FFMPEG 初始化 : 参考博客 【Android FFMPEG 开发】FFMPEG 初始化 ( 网络初始化 | 打开音视频 | 查找音视频流 )
本文将介绍 FFmpeg 如何播放 RTSP/Webcam/File 流。流程如下：
这种复杂的方法可以配置一些sws_getContext()配置不了的参数。比如说设置图像的YUV像素的取值范围是JPEG标准（Y、U、V取值范围都是0-255）还是MPEG标准（Y取值范围是16-235，U、V的取值范围是16-240）
在偶遇FFmpeg（三）——Android集成这边文章中曾经介绍过FFmpeg和Android的交叉编译。文章中也提到过如何裁剪SO文件大小的方式。 这边文章就这个问题。进行实战。
音视频开发中，视频编码是另一个重要的部分，基于 FFmpeg 软件解码前面系列文章已经介绍过了。
sudo add-apt-repository ppa:kirillshkrogalev/ffmpeg-next
背景：在系统性学习FFmpeg时，发现官方推荐教程还是15年的，不少接口已经弃用，大版本也升了一级，所以在这里记录下FFmpeg4.0+SDL2.0的学习过程。
将封装格式解压后可以得到压缩过的音视频等. 将压缩过的视频解压后可以得到 视频像素数据(RGB,YUV等).常见的视频压缩格式有H.264, MPEG4等…
音视频开发中，视频编码是另一个重要的部分，基于 FFmpeg 软件解码前面系列文章已经介绍过了，接下来主要介绍软件编码这一块，包括视频编码、音频编码、为视频添加滤镜等。后期文章安排将介绍 Android MediaCodec 硬件编解码。
前文中，我们已经利用 FFmpeg + OpenGLES + OpenSLES 实现了一个多媒体播放器，本文将在视频渲染方面对播放器进行优化。
名称 推出机构 推出时间 目前使用领域 HEVC(H.265) MPEG/ITU-T 2013 研发中 H.264 MPEG/ITU-T 2003 各个领域 MPEG4 MPEG 2001 不温不火 MPEG2 MPEG 1994 数字电视 VP9 Google 2013 研发中 VP8 Google 2008 不普及 VC-1 Microsoft Inc. 2006 微软平台
了解过计算机图形图像学的同学应该知道，有两种方式表示图像，RGB和YUV，视频由一帧一帧的图像组成，每一张图片是由一个一个的像素点组成，既然有两种表示像素的方法，那肯定要了解一下两种表示方式的异同以及优缺点。
YUV,分为三个分量，“Y”表示明亮度，也就是灰度值；“U”和”V”表示的则是色度，作用是描述影像色彩饱和度，用于指定像素的颜色。YUV主流的采样方式有三种：YUV4：4：4，YUV4：2：2，YUV4：2：0，这里主要介绍下YUV420。
在我之前写的一篇文章《SkeyeRTSPLive传统视频监控互联网+实现利器解决方案》中提到RTSP转RTMP的转流过程，简化流程就是通过SkeyeRTSPClient拉RTSP流，获取音视频编码数据，然后再通过SkeyeRTMP推出去，流程非常简单；然后再实际开发过程中，我们发现其实这个过程并没有想象中那么简单；首先，RTSP协议支持多种音视频编码格式，如音频支持AAC,G711，G726,等，视频支持H264，H625，MJPEG, MPEG等等各种格式，而SkeyeRTMPPusher推流只支持H264（已扩展支持H265）格式，这时，音频我们可以通过SkeyeAACEncoder将音频转码成AAC格式，而视频我们可以通过SkeyeVideoDecoder解码成原始数据，然后再通过SkeyeVideoEncoder将原始数据转码成RTMP推送指定的格式，本文，我们将重点讲述SkeyeVideoDecoder的软解码流程。
2023-05-04：用go语言重写ffmpeg的scaling_video.c示例，用于实现视频缩放（Scaling）功能。
https://github.com/gongluck/FFmpeg4.0-study/tree/master/Cff
使用FFMPEG的sws_scale函数在ARM平台转换效率很低，使用libyuv提高转换效率。
和播放音频一样，采用生产者消费者模型。AvPacket入队，然后AvPacket出队伍解码。
一、前言 ffmpeg在视音频编解码领域算是一个比较成熟的解决方案了。公司的一款视频编辑软件正是基于ffmpeg做了二次封装，并在此基础上进行音视频的编解码处理。然而，在观察编码后的视频质量时，发现图像帧出现了较为明显噪声，类似于水面波纹一般散发开来，在运动场景下尤为明显。初步怀疑应该是码率太低导致的画面失真。于是增大码率重新编码一次，噪声仍然很明显。基本上可以排除是码率太低的问题。 仔细观察原片，也可发现有类似的图像噪声出现，但是微乎其微到几乎不可察觉。于是再次怀疑是ffmpe
FFmpeg、JavaCPP、JavaCV的关系 先简单的梳理一下FFmpeg、JavaCPP、JavaCV的关系： FFmpeg、OpenCV可以理解成C语言版的本地库（Native library），Java应用无法直接使用 JavaCPP将FFmpeg、OpenCV这些常用库做了包装（wrapper），使得Java应用也能使用这些Native API（JavaCPP的底层实现是JNI） 这些JavaCPP包装后的API，被JavaCV封装成了工具类（utility classes），这些工具类比原生A
//ffmpeg变量 AVPicture pFrameYUV,pFrameBGR; uint8_t * ptmp; struct SwsContext* imgCtx = NULL;
上篇文章，介绍了FFmpeg的交叉编译，以及在嵌入式Linux平台，运行ffmpeg指令来播放视频。
关键步骤 struct SwrContext* swr_covert_ctx = swr_alloc_set_opts(NULL, av_get_default_channel_layout(pACodecCtx->channels), AV_SAMPLE_FMT_S16, pACodecCtx->sample_rate, av_get_default_channel_layout(pACodecCtx->channels), pACodecCtx->sample_fmt, pACodecCtx->
在项目中需要将解码出来的l两个YUV420P格式的图像合并在一起，然后重新编码为H264，最后封装为mp4文件。主要说明一下两个YUV420P使用FFmpeg合并的过程，需要提前理解YUV420P格式图像的存储结构，然后依次将Y、U、V数据分别写进去就可以了。 举例：将两张相同大小的图片合并为一张大图片 640*320 640*320 合并为1280*320 假设YUV420P的宽度为FRAMEWITH 高度为FRAMEHEIGTH, Y存储在 FRAMEWITH*2/3 U存储在 FRAMEWITH*2/3—FRAMEWITH*5/6 V存储在 FRAMEWITH*5/6—FRAMEWITH 本实例主要将FFmpeg解码出来的YUV420P数据进行合并，然后写为一个YUV文件。
由于公司买到了一个不提供解码器的设备，我不得已还要做解码的工作。在网上找了一圈，H264解码比较方便的也就是ffmpeg一系列的函数库了，原本设备中也是用这套函数库解码，但厂家不给提供，没办法，只得自己搞了。
1.封装格式 MPEG-4 其中 MPEG-1 和 MPEG-2 是采用相同原理为基础的预测编码、变换编码、 熵编码及运动补偿等第一代数据压缩编码技术； MPEG-4（ISO/IEC 14496）则是基于第二代压缩编码技术制定的国际标准，它以视听媒体对象为基本单元，采用基于内容的压缩编码，实现数字视音频、图形合成应用及交互式多媒体的集成。 MPEG 系列标准对 VCD、 DVD 等视听消费电子及数字电视和高清晰度电视（DTV&&HDTV）、 多媒体通信等信息产业的发展产生了巨大而深远的影响. AVI AVI，音频视频交错(Audio Video Interleaved)的英文缩写。 AVI 格式调用方便、图像质量好，压缩标准可任意选择，是应用最广泛、也是应用时间最长的格式之一。 FLV FLV 是 FLASH VIDEO 的简称， FLV 流媒体格式是一种新的视频格式。由于它形成的文件极小、加载速度极快，使得网络观看视频文件成为可能，它的出现有效地解决了视频文件导入 Flash 后，使导出的 SWF 文件体积庞大，不能在网络上很好的使用等缺点。
本文记录IOS平台下基于FFmpeg的视频解码器。该示例C语言的源代码来自于《最简单的基于FFMPEG+SDL的视频播放器》。相关的概念就不再重复记录了。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
