OpenGL ES实践教程(二)摄像头采集数据和渲染

教程 这一篇教程是摄像头采集数据和渲染,包括了三部分内容,渲染部分-OpenGL ES,摄像头采集图像部分-AVFoundation和图像数据创建纹理部分-GPUImage

核心思路

1、摄像头采集

AVFoundation的常用类介绍: AVCaptureDevice 输入设备,包括摄像头、麦克风。 AVCaptureInput 输入数据源 AVCaptureOutput 输出数据源 AVCaptureSession 会话,协调输入与输出之间的数据流 AVCaptureVideoPreviewLayer 预览效果的layer

采集流程:

  • 1、新建会话,设置图像大小;创建处理队列;
    self.mCaptureSession = [[AVCaptureSession alloc] init];
    self.mCaptureSession.sessionPreset = AVCaptureSessionPreset640x480;
    mProcessQueue = dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_HIGH, 0);
  • 2、新建摄像头输入,设置为前置摄像头;创建设备输入,并添加到会话;
AVCaptureDevice *inputCamera = nil;
    NSArray *devices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];
    for (AVCaptureDevice *device in devices)
    {
        if ([device position] == AVCaptureDevicePositionFront)
        {
            inputCamera = device;
        }
    }
    self.mCaptureDeviceInput = [[AVCaptureDeviceInput alloc] initWithDevice:inputCamera error:nil];
    if ([self.mCaptureSession canAddInput:self.mCaptureDeviceInput]) {
        [self.mCaptureSession addInput:self.mCaptureDeviceInput];
    }
  • 3、创建数据输出,设置delegate和输出格式,添加到会话;
    self.mCaptureDeviceOutput = [[AVCaptureVideoDataOutput alloc] init];
    [self.mCaptureDeviceOutput setAlwaysDiscardsLateVideoFrames:NO];
    self.mGLView.isFullYUVRange = NO;
    [self.mCaptureDeviceOutput setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange] forKey:(id)kCVPixelBufferPixelFormatTypeKey]];
    [self.mCaptureDeviceOutput setSampleBufferDelegate:self queue:mProcessQueue];
    if ([self.mCaptureSession canAddOutput:self.mCaptureDeviceOutput]) {
        [self.mCaptureSession addOutput:self.mCaptureDeviceOutput];
    }
    AVCaptureConnection *connection = [self.mCaptureDeviceOutput connectionWithMediaType:AVMediaTypeVideo];
    [connection setVideoOrientation:AVCaptureVideoOrientationPortraitUpsideDown];

思考1:这里的AVCaptureConnection有何作用?

  • 4、开始录制;在delegate中接受图像帧数据;
  • 开始会话
    [self.mCaptureSession startRunning];
  • 处理图像帧;
    CVPixelBufferRef pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
    [self.mGLView displayPixelBuffer:pixelBuffer];

2、图像纹理数据创建

这一部分的代码参考自GPUImage的GPUImageVideoCamera类,YUV视频帧分为亮度和色度两个纹理,分别用GL_LUMINANCE格式和GL_LUMINANCE_ALPHA格式读取。

  • 1、创建亮度纹理;
        glActiveTexture(GL_TEXTURE0);
        err = CVOpenGLESTextureCacheCreateTextureFromImage(kCFAllocatorDefault,
                                                           _videoTextureCache,
                                                           pixelBuffer,
                                                           NULL,
                                                           GL_TEXTURE_2D,
                                                           GL_LUMINANCE,
                                                           frameWidth,
                                                           frameHeight,
                                                           GL_LUMINANCE,
                                                           GL_UNSIGNED_BYTE,
                                                           0,
                                                           &_lumaTexture);
  • 2、配置亮度纹理属性
        glBindTexture(CVOpenGLESTextureGetTarget(_lumaTexture), CVOpenGLESTextureGetName(_lumaTexture));
        glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
        glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
        glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
        glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
  • 3、创建色度纹理;
        glActiveTexture(GL_TEXTURE1);
        err = CVOpenGLESTextureCacheCreateTextureFromImage(kCFAllocatorDefault,
                                                           _videoTextureCache,
                                                           pixelBuffer,
                                                           NULL,
                                                           GL_TEXTURE_2D,
                                                           GL_LUMINANCE_ALPHA,
                                                           frameWidth / 2,
                                                           frameHeight / 2,
                                                           GL_LUMINANCE_ALPHA,
                                                           GL_UNSIGNED_BYTE,
                                                           1,
                                                           &_chromaTexture);
  • 4、配置色度纹理;
        glBindTexture(CVOpenGLESTextureGetTarget(_chromaTexture), CVOpenGLESTextureGetName(_chromaTexture));
        glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
        glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
        glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
        glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);

思考2:这里为何输出的是YUV帧?如何配置输出的视频帧格式?

OpenGL ES渲染

OpenGL ES的渲染流程在前文多有介绍,这里不再赘述。讲讲自己遇到的问题。

  • 1、黑屏 黑屏的现象出现多次,首先是 CVOpenGLESTextureCacheCreateTextureFromImage failed (error: -6683) 纹理创建失败导致的黑屏,在正确配置好颜色格式,解决; 解决所有报错后,仍常黑屏; 检查纹理代码,正常; 检查颜色缓冲区代码,正常; 检查顶点坐标代码,正常; 检查纹理坐标代码,正常; 采用最后的手段,capture GPU Frame,查看GPU的状态信息。 发现,present的颜色缓冲区无效;惊讶之余,添加下面的代码,断点。
if ([EAGLContext currentContext] == _context) {
        [_context presentRenderbuffer:GL_RENDERBUFFER];
    }

竟然没有调用,发现问题所在。 添加以下代码之后,问题解决。 [EAGLContext setCurrentContext:_context]; 疑惑:为何之前调用过一次设置context之后,会需要再次调用context?代码其他地方并无设置context 的地方。 解疑:因为处于新的线程!!!

  • 2、颜色不对 demo实现过程中遇到颜色不对的情况,图像的亮度没有问题,色度出现偏差,效果如下:

检查了创建纹理的过程,没有发现错误; 修改颜色空间,会导致颜色更加异常; 检查是否顶点着色器的偏移有误差,没有问题; 最后发现图片偏绿,在顶点着色器找到问题代码: yuv.yz = (texture2D(SamplerUV, texCoordVarying).rg - vec2(0.5, 0.5)); 正确的取值应该是ra,我写成了rg,导致图像偏绿。

总结

旋转图像的的数据是个耗性能的操作,如果是用AVAssetWriter写QuickTime movie文件,更好的做法是设置AVAssetWriterInput的transform属性,而不是修改AVCaptureVideoDataOutput,真正的去修改图像数据。 光看教程是学不会OpenGL ES的,下载教程自己改改代码,自己感兴趣的想法就去实现它。 还有就是,遇到问题多尝试,多查资料。如果绝望,那么就洗洗睡,明天说不定就解决了。 你也喜欢这种脑袋一直有问题在思考的感觉吗?

思考题

思考1:AVCaptureConnection可以使录制出来的图像上下颠倒; 参考GPUImage 的注释: From the iOS 5.0 release notes: In previous iOS versions, the front-facing camera would always deliver buffers in VCaptureVideoOrientationLandscapeLeft and the back-facing camera would always deliver buffers in AVCaptureVideoOrientationLandscapeRight.

思考2:在前面的kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange表明了输出的颜色格式为YUV视频帧,并且颜色空间为(luma=[16,235] chroma=[16,240])。 iOS通常支持三种格式: kCVPixelFormatType_420YpCbCr8BiPlanarFullRange kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange kCVPixelFormatType_32BGRA 如果遇到了Failed to create IOSurface image (texture) CVOpenGLESTextureCacheCreateTextureFromImage failed (error: -6683) 这两个错误,一般是配置的颜色输出格与 CVOpenGLESTextureCacheCreateTextureFromImage的参数不对应;

代码地址 - 你的star和fork是我最大的源动力,你的意见能让我走得更远。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏落影的专栏

OpenGL ES实践教程(三)镜子效果

教程 OpenGLES实践教程1-Demo01-AVPlayer OpenGL ES实践教程2-Demo02-摄像头采集数据和渲染 其他教程请移步OpenG...

40940
来自专栏机器之心

教程 | 如何将模型部署到安卓移动端,这里有一份简单教程

截至 2018 年,全球活跃的安卓设备已经超过了 20 亿部。安卓手机的迅速普及在很大程度上得益于各种各样的智能应用,从地图到图片编辑器无所不有。随着深度学习技...

39110
来自专栏机器人网

别让接线这件小事,拉开你与工程师的差距

导线与导线的连接、线头与接线桩的连接,事情小,责任大。本文图文并茂,让你清清楚楚看懂! 导线与导线的连接 导线的连接情况有:单股铜芯导线的直线连接、T字形连接;...

34770
来自专栏图形学与OpenGL

3.6.2 编程实例-河南地图绘制

#include <iostream> #include <fstream> #include<vector> #include <GL/glut.h> usi...

12510
来自专栏生信宝典

一文教会你查找基因的启动子、UTR、TSS等区域以及预测转录因子结合位点

本文授权转载自科研小助手(ID:SciRes)斜体小一号字体为生信宝典的备注或校正。

12.2K30
来自专栏HansBug's Lab

算法模板——单个值欧拉函数

输入N,输出phi(N) 这样的单个值欧拉函数程序一般见于部分数论题,以及有时候求逆元且取模的数不是质数的情况(逆元:A/B=A*Bphi(p)-1 (mod ...

35850
来自专栏计算机视觉与深度学习基础

Leetcode 5 Longest Palindromic Substring

Given a string S, find the longest palindromic substring in S. You may assume ...

19450
来自专栏Java与Android技术栈

利用tess-two和cv4j实现简单的ocr功能、

Tesseract是Ray Smith于1985到1995年间在惠普布里斯托实验室开发的一个OCR引擎,曾经在1995 UNLV精确度测试中名列前茅。但1996...

21310
来自专栏Python数据科学

快速入门Matplotlib教程

Matplotlib 可能是 Python 2D-绘图领域使用最广泛的套件。它能让使用者很轻松地将数据图形化,并且提供多样化的输出格式。这里将会探索 matpl...

12410
来自专栏GIS讲堂

ArcGIS Image Server简介以及OL2中的加载

本文讲述Arcgis Image Server相关以及在OL2中如何加载Arcgis Server发布的影像服务。

12620

扫码关注云+社区

领取腾讯云代金券