Qt音视频开发18-海康sdk回调

原创

feiyangqingyun

修改于 2020-08-26 10:02:28

1.6K0

修改于 2020-08-26 10:02:28

一、前言

海康sdk显示实时视频流除了支持句柄方式以外，也支持回调的方式拿到每一张图片自己绘制处理，当然回调除了拿到视频数据，其实音频数据也一块拿到了，自行调用音频设备播放就行，关于海康sdk回调这块，还着实折腾了一阵子才搞定，可能最开始没有参照提供的demo以及没有彻底的搜索吧，只是单单看sdk的文档折腾来折腾去的，搞了一星期居然没搞定，后面找到了正确的办法才发现，原来就差一点点一丢丢呢，这又让我联想到很多事情，包括生活中的事情，不都是如此么？当你铆足了劲，试验搞了各种办法，快要精疲力尽放弃的时候，其实此时离成功就差一步了，真的就差那么一丢丢，处理生活中的很多事情也是如此，所以很多时候如果方向对了，坚持过努力过，还不行的话，再努力一把估计就ok了。

折腾了很久总结失败在哪里，调用NET_DVR_RealPlay_V40设置回调函数也是对的，回调函数里面也进去了，调用PlayM4_SetDecCallBackMend设置解码回调函数也是对的（这地方也着实折腾了一阵子，没想到还要用播放MP4的形式来处理），最后发现问题出在解码后的数据，数据也都是拿到了，默认是yv12的数据，如果需要转成image的话就需要做个转换，这个转换网上找了一堆的函数来测试，都失败了，后面找到一个yv12转rgb888格式的，终于可以了，我勒个去。

海康sdk回调流程：

调用NET_DVR_RealPlay_V40设置回调处理函数。
在回调处理函数RealDataCallBack中依次处理打开、播放、解码。
调用PlayM4_GetPort获取播放库未使用的通道号。
调用PlayM4_OpenStream打开视频流。
调用PlayM4_SetDecCallBackMend设置解码回调函数，只解码不显示。
调用PlayM4_Play播放视频流。
调用PlayM4_InputData循环解码数据。
在解码回调函数DecCallBack中分别处理音视频数据。
调用自己封装的yv12ToRGB888函数将数据转成QImage。

关于回调函数请注意以下几点：

回调函数必须有关键词 CALLBACK。
回调函数本身必须是全局函数或者静态函数，不可定义为某个特定的类的成员函数。
回调函数并不由开发者直接调用执行，只是使用系统接口API函数作为起点。
回调函数通常作为参数传递给系统API，由该API来调用。
回调函数可能被系统API调用一次，也可能被循环调用多次。

二、功能特点

支持播放视频流和本地MP4文件。
支持句柄和回调两种模式。
多线程显示图像，不卡主界面。
自动重连网络摄像头。
可设置边框大小即偏移量和边框颜色。
可设置是否绘制OSD标签即标签文本或图片和标签位置。
可设置两种OSD位置和风格。
可设置是否保存到文件以及文件名。
可直接拖曳文件到haikangwidget控件播放。
支持h264/h265视频流。
可暂停播放和继续播放。
支持存储单个视频文件和定时存储视频文件。
自定义顶部悬浮条，发送单击信号通知，可设置是否启用。
可设置画面拉伸填充或者等比例填充。
可设置解码是速度优先、质量优先、均衡处理。
可对视频进行截图（原始图片）和截屏（视频窗体）。
录像文件存储为MP4文件。
支持焦距控制、云台控制。
可定制功能。

三、效果图

四、相关站点

国内站点：https://gitee.com/feiyangqingyun/QWidgetDemo
国际站点：https://github.com/feiyangqingyun/QWidgetDemo
个人主页：https://blog.csdn.net/feiyangqingyun
知乎主页：https://www.zhihu.com/people/feiyangqingyun/
体验地址：https://blog.csdn.net/feiyangqingyun/article/details/97565652

五、核心代码

//yv12转RGB888
static bool yv12ToRGB888(const unsigned char *yv12, unsigned char *rgb888, int width, int height)
{
    if ((width < 1) || (height < 1) || (yv12 == NULL) || (rgb888 == NULL)) {
        return false;
    }

    int len = width * height;
    unsigned char const *yData = yv12;
    unsigned char const *vData = &yData[len];
    unsigned char const *uData = &vData[len >> 2];

    int rgb[3];
    int yIdx, uIdx, vIdx, idx;

    for (int i = 0; i < height; ++i) {
        for (int j = 0; j < width; ++j) {
            yIdx = i * width + j;
            vIdx = (i / 2) * (width / 2) + (j / 2);
            uIdx = vIdx;

            rgb[0] = static_cast<int>(yData[yIdx] + 1.370705 * (vData[uIdx] - 128));
            rgb[1] = static_cast<int>(yData[yIdx] - 0.698001 * (uData[uIdx] - 128) - 0.703125 * (vData[vIdx] - 128));
            rgb[2] = static_cast<int>(yData[yIdx] + 1.732446 * (uData[vIdx] - 128));

            for (int k = 0; k < 3; ++k) {
                idx = (i * width + j) * 3 + k;
                if ((rgb[k] >= 0) && (rgb[k] <= 255)) {
                    rgb888[idx] = static_cast<unsigned char>(rgb[k]);
                } else {
                    rgb888[idx] = (rgb[k] < 0) ? (0) : (255);
                }
            }
        }
    }
    return true;
}

//解码回调 视频为YUV420P数据(YV12),音频为PCM数据
static void CALLBACK DecCallBack(qport nPort, char *pBuf, qport nSize, FRAME_INFO *pFrameInfo, quser luser, quser nReserved2)
{
    HaiKangThread *thread = (HaiKangThread *)luser;
    long frameType = pFrameInfo->nType;

    //视频数据是 T_YV12 音频数据是 T_AUDIO16
    if (frameType == T_YV12) {
        //qDebug() << TIMEMS << width << height << thread;
        int width = pFrameInfo->nWidth;
        int height = pFrameInfo->nHeight;
        QImage image(width, height, QImage::Format_RGB888);
        if (yv12ToRGB888((unsigned char *)pBuf, image.bits(), width, height)) {
            thread->setImage(image);
        }
    } else if (frameType == T_AUDIO16) {
        //qDebug() << TIMEMS << "T_AUDIO16" << thread;
    }
}

static void CALLBACK RealDataCallBack(LONG lRealHandle, DWORD dwDataType, BYTE *pBuffer, DWORD dwBufSize, void *dwUser)
{
    //每个类都对应自己的 port
    HaiKangThread *thread = (HaiKangThread *)dwUser;
    qport nPort = thread->port;

    DWORD dRet;
    switch (dwDataType) {
        case NET_DVR_SYSHEAD:
            //获取播放库未使用的通道号
            if (!PlayM4_GetPort(&nPort)) {
                break;
            }

            if (dwBufSize > 0) {
                thread->port = nPort;
                if (!PlayM4_OpenStream(nPort, pBuffer, dwBufSize, 1024 * 1024)) {
                    dRet = PlayM4_GetLastError(nPort);
                    break;
                }

                //设置解码回调函数 只解码不显示
                if (!PlayM4_SetDecCallBackMend(nPort, DecCallBack, (quser)dwUser)) {
                    dRet = PlayM4_GetLastError(nPort);
                    break;
                }

                //打开视频解码
                if (!PlayM4_Play(nPort, NULL)) {
                    dRet = PlayM4_GetLastError(nPort);
                    break;
                }

                //打开音频解码, 需要码流是复合流
                if (!PlayM4_PlaySound(nPort)) {
                    dRet = PlayM4_GetLastError(nPort);
                    break;
                }
            }
            break;

        case NET_DVR_STREAMDATA:
            //解码数据
            if (dwBufSize > 0 && nPort != -1) {
                BOOL inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);
                while (!inData) {
                    sleep(10);
                    inData = PlayM4_InputData(nPort, pBuffer, dwBufSize);
                }
            }
            break;
    }
}

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

https