流媒体解码及H.264编码推流

简介

  • 相关理论
  • 程序流程
  • Opencv解析视频流
  • 像素格式转换
  • FFmpeg进行H.264编码
  • FFmpeg进行格式封装和推流

这里我们使用了FFmpge的sdk和Opencv的sdk。为了方便测试,我们直接使用在线的rtsp网络流。rtmp://live.hkstv.hk.lxdns.com/live/hks这个是香港卫视的rtsp流,可以用vlc播放器测试是否可以播放。

FFmpeg支持的像素格式 1 所有的像素格式的名称都是以“AV_PIX_FMT_”开头 2 像素格式名称后面有“P”的,代表是planar格式,否则就是packed格式。 Planar格式不同的分量分别存储在不同的数组中,例如AV_PIX_FMT_YUV420P存储方式如下:

  • data[0]: Y1, Y2, Y3, Y4, Y5, Y6, Y7, Y8……
  • data[1]: U1, U2, U3, U4……
  • data[2]: V1, V2, V3, V4…… Packed格式的数据都存储在同一个数组中,例如AV_PIX_FMT_RGB24存储方式如下: data[0]: R1, G1, B1, R2, G2, B2, R3, G3, B3, R4, G4, B4……

3 像素格式名称后面有“BE”的,代表是Big Endian格式;名称后面有“LE”的,代表是Little Endian格式。

封装相关类

  • AVFormatContext:统领全局的基本结构体。主要用于处理封装格式(FLV/MKV/RMVB等)。
  • AVIOContext:输入输出对应的结构体,用于输入输出(读写文件,RTMP协议等)。
  • AVStream,AVCodecContext:视音频流对应的结构体,用于视音频编解码。
  • AVFrame:存储非压缩的数据(视频对应RGB/YUV像素数据,音频对应PCM采样数据)
  • AVPacket:存储压缩数据(视频对应H.264等码流数据,音频对应AAC/MP3等码流数据)

图像格式转换以及图像缩放

sws_getContext 初始化函数

  • int srcW,int srcH 为原始图像数据的高和宽;
  • int dstW,int dstH 为输出图像数据的高和宽;
  • enum AVPixelFormat srcFormat 为输入和输出图片数据的类型;eg:AV_PIX_FMT_YUV420、PAV_PIX_FMT_RGB24; int flags 为scale算法种类;eg:SWS_BICUBIC、SWS_BICUBLIN、SWS_POINT、SWS_SINC;
  • SwsFilter *srcFilter ,SwsFilter *dstFilter,const double *param 可以不用管,全为NULL即可 sws_scale 执行图像格式转换以及图像缩放
  • struct SwsContext *c 为sws_getContext函数返回的值;
  • const uint8_t *const srcSlice[],uint8_t *const dst[] 为输入输出图像数据各颜色通道的buffer指针数组;
  • const int srcStride[],const int dstStride[] 为输入输出图像数据各颜色通道每行存储的字节数数组;
  • int srcSliceY 为从输入图像数据的第多少列开始逐行扫描,通常设为0;
  • int srcSliceH 为需要扫描多少行,通常为输入图像数据的高度; sws_freeContext 程序流程

大体上分四个大步骤:

1.各种初始化

  • Opencv读取视频流
  • 像素格式转换
  • FFmpeg进行H.264编码
  • FFmpeg进行视频格式封装。
  • FFmpeg进行推流

接下来我们来细化流程。

Opencv读取视频流 打开并读取视频帧使用VideoCapture类。open来打开。打开完成后可获取相关的视频信息。如尺寸,fps等

//获取视频帧的尺寸
int inWidth = cam.get(CAP_PROP_FRAME_WIDTH);
int inHeight = cam.get(CAP_PROP_FRAME_HEIGHT);
int fps = cam.get(CAP_PROP_FPS);

真正的读取视频帧可以使用read()方法。保存在Mat中。而read()中主要分两个步骤

使用grab()方法解码视频帧 注意解码的步骤不许要做,保证后面的数据能够正确解析 使用retrieve将yuv转换为rgb数据 这里的yuv和rgb都是未压缩的数据,得到的rgb数据就可以直接显示。

像素格式转换

初始化格式转换上下文

vsc = sws_getCachedContext(vsc,
    inWidth, inHeight, AV_PIX_FMT_BGR24,     //源宽、高、像素格式
    inWidth, inHeight, AV_PIX_FMT_YUV420P,//目标宽、高、像素格式
    SWS_BICUBIC,  // 尺寸变化使用算法
    0, 0, 0
);

初始化存放YUV数据的AVFrame

AVFrame *yuv = NULL;
yuv = av_frame_alloc();
yuv->format = AV_PIX_FMT_YUV420P;
yuv->width = inWidth;
yuv->height = inHeight;
yuv->pts = 0;
//分配yuv空间
int ret = av_frame_get_buffer(yuv, 32);

rgb转yuv,这里要注意rgb和yuv的存储格式。前面FFmpeg支持的像素格式有讲到

///rgb to yuv
//输入的数据结构
uint8_t *indata[AV_NUM_DATA_POINTERS] = { 0 };
//indata[0] bgrbgrbgr
//plane indata[0] bbbbb indata[1]ggggg indata[2]rrrrr 
indata[0] = frame.data;
int insize[AV_NUM_DATA_POINTERS] = { 0 };
//一行(宽)数据的字节数
insize[0] = frame.cols * frame.elemSize();
int h = sws_scale(vsc, indata, insize, 0, frame.rows, //源数据
    yuv->data, yuv->linesize);

FFmpeg进行H.264编码 编码的方法就比较简单了,传入AVFrame。然后再用AVPacket去接收即可,这里还有一点要注意就是,pts的设置。

///h264编码
yuv->pts = vpts;
vpts++;
ret = avcodec_send_frame(vc, yuv);
if (ret != 0)
    continue;
ret = avcodec_receive_packet(vc, &pack);

FFmpeg进行视频格式封装和推流 需要强调的就是pts,dts,和duration的转换。前面H.264编码的时候,我们已经设置了pts。但是输出的time_base不一致,所以需要进行转换

//计算pts dts和duration。
pack.pts = av_rescale_q(pack.pts, vc->time_base, vs->time_base);
pack.dts = av_rescale_q(pack.dts, vc->time_base, vs->time_base);
pack.duration = av_rescale_q(pack.duration, vc->time_base, vs->time_base);

完整源码

#include <opencv2/highgui.hpp>
#include <iostream>
extern "C"
{
#include <libswscale/swscale.h>
#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
}
#pragma comment(lib, "swscale.lib")
#pragma comment(lib, "avcodec.lib")
#pragma comment(lib, "avutil.lib")
#pragma comment(lib, "avformat.lib")
#pragma comment(lib,"opencv_world320d.lib")
using namespace std;
using namespace cv;
int main(int argc, char *argv[])
{
    //原地址
    char *inUrl = "http://ivi.bupt.edu.cn/hls/cctv1hd.m3u8";
    //nginx-rtmp 直播服务器rtmp推流URL
    char *outUrl = "rtmp://192.166.11.13/live";
    //注册所有的编解码器
    avcodec_register_all();
    //注册所有的封装器
    av_register_all();
    //注册所有网络协议
    avformat_network_init();
    VideoCapture cam;
    Mat frame;
    namedWindow("video");
    //像素格式转换上下文
    SwsContext *vsc = NULL;
    //输出的数据结构 存储非压缩的数据(视频对应RGB/YUV像素数据,音频对应PCM采样数据)
    AVFrame *yuv = NULL;
    //编码器上下文
    AVCodecContext *vc = NULL;
    //rtmp flv 封装器
    AVFormatContext *ic = NULL;
    try
    {   ////////////////////////////////////////////////////////////////
        /// 1 使用opencv打开源视频流
        cam.open(inUrl);
        if (!cam.isOpened())
        {
            throw exception("cam open failed!");
        }
        cout << inUrl << " cam open success" << endl;
        //获取视频帧的尺寸
        int inWidth = cam.get(CAP_PROP_FRAME_WIDTH);
        int inHeight = cam.get(CAP_PROP_FRAME_HEIGHT);
        int fps = cam.get(CAP_PROP_FPS);
        ///2 初始化格式转换上下文
        vsc = sws_getCachedContext(vsc,
            inWidth, inHeight, AV_PIX_FMT_BGR24,     //源宽、高、像素格式
            inWidth, inHeight, AV_PIX_FMT_YUV420P,//目标宽、高、像素格式
            SWS_BICUBIC,  // 尺寸变化使用算法
            0, 0, 0
        );
        if (!vsc)
        {
            throw exception("sws_getCachedContext failed!");
        }
        ///3 初始化输出的数据结构。未压缩的数据
        yuv = av_frame_alloc();
        yuv->format = AV_PIX_FMT_YUV420P;
        yuv->width = inWidth;
        yuv->height = inHeight;
        yuv->pts = 0;
        //分配yuv空间
        int ret = av_frame_get_buffer(yuv, 32);
        if (ret != 0)
        {
            char buf[1024] = { 0 };
            av_strerror(ret, buf, sizeof(buf) - 1);
            throw exception(buf);
        }
        ///4 初始化编码上下文
        //a 找到编码器
        AVCodec *codec = avcodec_find_encoder(AV_CODEC_ID_H264);
        if (!codec)
        {
            throw exception("Can`t find h264 encoder!");
        }
        //b 创建编码器上下文
        vc = avcodec_alloc_context3(codec);
        if (!vc)
        {
            throw exception("avcodec_alloc_context3 failed!");
        }
        //c 配置编码器参数
        vc->flags |= AV_CODEC_FLAG_GLOBAL_HEADER; //全局参数
        vc->codec_id = codec->id;
        vc->thread_count = 8;
        vc->bit_rate = 50 * 1024 * 8;//压缩后每秒视频的bit位大小 50kB
        vc->width = inWidth;
        vc->height = inHeight;
        vc->time_base = { 1,fps };
        vc->framerate = { fps,1 };
        //画面组的大小,多少帧一个关键帧
        vc->gop_size = 50;
        vc->max_b_frames = 0;
        vc->pix_fmt = AV_PIX_FMT_YUV420P;
        //d 打开编码器上下文
        ret = avcodec_open2(vc, 0, 0);
        if (ret != 0)
        {
            char buf[1024] = { 0 };
            av_strerror(ret, buf, sizeof(buf) - 1);
            throw exception(buf);
        }
        cout << "avcodec_open2 success!" << endl;
        ///5 输出封装器和视频流配置
        //a 创建输出封装器上下文
        ret = avformat_alloc_output_context2(&ic, 0, "flv", outUrl);
        if (ret != 0)
        {
            char buf[1024] = { 0 };
            av_strerror(ret, buf, sizeof(buf) - 1);
            throw exception(buf);
        }
        //b 添加视频流   视音频流对应的结构体,用于视音频编解码。
        AVStream *vs = avformat_new_stream(ic, NULL);
        if (!vs)
        {
            throw exception("avformat_new_stream failed");
        }
        //附加标志,这个一定要设置
        vs->codecpar->codec_tag = 0;
        //从编码器复制参数
        avcodec_parameters_from_context(vs->codecpar, vc);
        av_dump_format(ic, 0, outUrl, 1);
        ///打开rtmp 的网络输出IO  AVIOContext:输入输出对应的结构体,用于输入输出(读写文件,RTMP协议等)。
        ret = avio_open(&ic->pb, outUrl, AVIO_FLAG_WRITE);
        if (ret != 0)
        {
            char buf[1024] = { 0 };
            av_strerror(ret, buf, sizeof(buf) - 1);
            throw exception(buf);
        }
        //写入封装头
        ret = avformat_write_header(ic, NULL);
        if (ret != 0)
        {
            char buf[1024] = { 0 };
            av_strerror(ret, buf, sizeof(buf) - 1);
            throw exception(buf);
        }
        //存储压缩数据(视频对应H.264等码流数据,音频对应AAC/MP3等码流数据)
        AVPacket pack;
        memset(&pack, 0, sizeof(pack));
        int vpts = 0;
        for (;;)
        {
            ///读取rtsp视频帧,解码视频帧
            if (!cam.grab())
            {
                continue;
            }
            ///yuv转换为rgb
            if (!cam.retrieve(frame))
            {
                continue;
            }
            imshow("video", frame);
            waitKey(1);
            ///rgb to yuv
            //输入的数据结构
            uint8_t *indata[AV_NUM_DATA_POINTERS] = { 0 };
            //indata[0] bgrbgrbgr
            //plane indata[0] bbbbb indata[1]ggggg indata[2]rrrrr 
            indata[0] = frame.data;
            int insize[AV_NUM_DATA_POINTERS] = { 0 };
            //一行(宽)数据的字节数
            insize[0] = frame.cols * frame.elemSize();
            int h = sws_scale(vsc, indata, insize, 0, frame.rows, //源数据
                yuv->data, yuv->linesize);
            if (h <= 0)
            {
                continue;
            }
            //cout << h << " " << flush;
            ///h264编码
            yuv->pts = vpts;
            vpts++;
            ret = avcodec_send_frame(vc, yuv);
            if (ret != 0)
                continue;
            ret = avcodec_receive_packet(vc, &pack);
            if (ret != 0 || pack.size > 0)
            {
                //cout << "*" << pack.size << flush;
            }
            else
            {
                continue;
            }
            //计算pts dts和duration。
            pack.pts = av_rescale_q(pack.pts, vc->time_base, vs->time_base);
            pack.dts = av_rescale_q(pack.dts, vc->time_base, vs->time_base);
            pack.duration = av_rescale_q(pack.duration, vc->time_base, vs->time_base);
            ret = av_interleaved_write_frame(ic, &pack);
            if (ret == 0)
            {
                cout << "#" << flush;
            }
        }
    }
    catch (exception &ex)
    {
        if (cam.isOpened())
            cam.release();
        if (vsc)
        {
            sws_freeContext(vsc);
            vsc = NULL;
        }
        if (vc)
        {
            avio_closep(&ic->pb);
            avcodec_free_context(&vc);
        }
        cerr << ex.what() << endl;
    }
    getchar();
    return 0;
}

原创作者:eric__ 原文链接:https://www.jianshu.com/p/f83ef0a6f5cc 校验:逆流的鱼yuiop

原文发布于微信公众号 - 何俊林(DriodDeveloper)

原文发表时间:2018-05-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ml

位运算的方法,大结

Title:       位操作基础篇之位操作全面总结 Author:     MoreWindows E-mail:      morewindows@126...

4318
来自专栏PPV课数据科学社区

【学习】数据分析之Excel数据分组案例详解

提示:使用EXCEL进行数据分组的案例详解,三种方法:IF函数,VLOOKUP函数,LOOKUP函数,回复给邮箱,友情赠送EXCEL文档实例,以后自己套用即可。...

2706
来自专栏瓜大三哥

SD-SDI数据解析

凡是做模拟信号采集的,很少不涉及BT.656标准的,因为常见的模拟视频信号采集芯片都支持输出BT.656的数字信号,那么,BT.656到底是何种格式呢? 本文...

1005
来自专栏人工智能LeadAI

第一章 | 使用python机器学习

python经常作为机器学习的首选,有一个统计,50%以上的机器学习开发者使用python。在学习机器学习之前需要熟悉以下几个python模块: numpy P...

3735
来自专栏落影的专栏

GPUImage详细解析(九)图像的输入输出和滤镜通道

前言 GPUImage系列解析已经接近尾声,这次介绍的是: 纹理输入输出GPUImageTextureOutput 和 GPUImageTextureOutpu...

4548
来自专栏爱撒谎的男孩

回溯算法

1483
来自专栏潇涧技术专栏

Python Algorithms - C5 Traversal

Traversal就是遍历,主要是对图的遍历,也就是遍历图中的每个节点。对一个节点的遍历有两个阶段,首先是发现(discover),然后是访问(visit)。遍...

691
来自专栏生信小驿站

R 热图绘制heatmap②

674
来自专栏数据结构与算法

多项式系数学习笔记

对于多项式$(x_1 + x_2 + x_3 + \dots + x_k) ^n$的展开式中$x_1^{d_1}x_2^{d_2}x_3^{d_3} \dots...

522
来自专栏来自地球男人的部落格

[LeetCode] 129. Sum Root to Leaf Numbers

【原题】 Given a binary tree containing digits from 0-9 only, each root-to-leaf pa...

19510

扫码关注云+社区