从源码的角度分析、学习GPUImage和OpenGL ES,这是第一篇,介绍GPUImageFilter
和 GPUImageFramebuffer
。
回顾下我们之前的OpenGL ES教程,图像在OpenGL ES中的表示是纹理,会在片元着色器里面进行像素级别的处理。
假设我们自定义一个OpenGL ES程序来处理图片,那么会有以下几个步骤:
1、初始化OpenGL ES环境,编译、链接顶点着色器和片元着色器;
2、缓存顶点、纹理坐标数据,传送图像数据到GPU;
3、绘制图元到特定的帧缓存;
4、在帧缓存取出绘制的图像。
GPUImageFilter
负责的是第一、二、三步。
GPUImageFramebuffer
负责是第四步。
GPUImageFilter和响应链的其他元素实现了GPUImageInput
协议,他们都可以提供纹理参与响应链,或者从响应链的前面接收并处理纹理。响应链的下一个对象是target,响应链可能有多个分支(添加多个targets)。
Filters and other subsequent elements in the chain conform to the GPUImageInput protocol, which lets them take in the supplied or processed texture from the previous link in the chain and do something with it. Objects one step further down the chain are considered targets, and processing can be branched by adding multiple targets to a single output or filter.
+ (const GLfloat *)textureCoordinatesForRotation:(GPUImageRotationMode)rotationMode;
outputframebuffer
指定的缓存usingNextFrameForImageCapture
代表着输出的结果会被用于获取图像,所以在绘制之前要加锁
if (usingNextFrameForImageCapture)
{
[outputFramebuffer lock];
}
glBindTexture(GL_TEXTURE_2D, [firstInputFramebuffer texture]);
绑定输入纹理,OpenGL ES才能确定要处理纹理数据 glVertexAttribPointer(filterPositionAttribute, 2, GL_FLOAT, 0, 0, vertices);
glVertexAttribPointer(filterTextureCoordinateAttribute, 2, GL_FLOAT, 0, 0, textureCoordinates);
glDrawArrays(GL_TRIANGLE_STRIP, 0, 4);
GL_TRIANGLE_STRIP
模式用于绘制三角形带。这里有介绍
[firstInputFramebuffer unlock];
输入纹理使用完毕,解锁。在调用这个解锁之前必须确定之前已经调用加锁,否则会报错。
GPUImageFramebuffer
使用引用计数来管理缓存,当引用计数小于0的时候会回收缓存。usingNextFrameForImageCapture
,则会通过GCD信号量来通知仍在等待绘制完成的函数。 if (usingNextFrameForImageCapture)
{
dispatch_semaphore_signal(imageCaptureSemaphore);
}
- (void)informTargetsAboutNewFrameAtTime:(CMTime)frameTime;
当self的帧绘制完成后,通知自己的targets,并将自己的输出设置为targets的输入纹理:
[self setInputFramebufferForTarget:currentTarget atIndex:textureIndex];
然后解锁自己使用的输出缓冲区[[self framebufferForOutput] unlock];
(在上一个函数已经lock了这个缓冲区,所以这里的unlock不会马上回收内存,等到targets使用完自己的纹理后调用unlock,缓存会被回收)
在设置完缓冲区后,self会通知所有targets(除了设置忽略的)
[currentTarget newFrameReadyAtTime:frameTime atIndex:textureIndex];
if (dispatch_semaphore_wait(imageCaptureSemaphore, convertedTimeout) != 0)
{
return NULL;
}
- (void)setInteger:(GLint)newInteger forUniformName:(NSString *)uniformName;
这些函数是设置GLSL里面的变量管理纹理缓存格式、帧缓存的buffer。
defaultTextureOptions
generateTexture
会创建对应的纹理缓存
generateFramebuffer
会创建对应的帧缓存
注意:iOS5.0以上会使用CVOpenGLESTextureCache
否则会使用glTexImage2D()
,这个我们更熟悉的函数来传送CPU图像数据到GPUglFramebufferTexture2D(GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, _texture, 0);
把渲染目标指定为图像- (void)activateFramebuffer;
{
glBindFramebuffer(GL_FRAMEBUFFER, framebuffer);
glViewport(0, 0, (int)_size.width, (int)_size.height);
}
[[GPUImageContext sharedFramebufferCache] returnFramebufferToCache:self];
newCGImageFromFramebufferContents
函数获取图像数据。
CVPixelBufferGetBaseAddress
和 glReadPixels
都可以获得图像数据,根据iOS版本不同调用不同函数。
最后通过CGImageCreate,创建 CGImageRef,然后返回。A Core Video pixel buffer is an image buffer that holds pixels in main memory. Applications generating frames, compressing or decompressing video, or using Core Image can all make use of Core Video pixel buffers.
Core Video OpenGLES texture caches are used to cache and manage CVOpenGLESTextureRef textures. These texture caches provide you with a way to directly read and write buffers with various pixel formats, such as 420v or BGRA, from GLES.
Core Video OpenGLES textures are texture-based image buffers used for supplying source image data to OpenGL.
GPUImage的四大输入基础类,都可以作为响应链的起点。这些基础类会把图像作为纹理,传给OpenGL ES处理,然后把纹理传递给响应链的下一个对象。
GPUImageVideoCamera
摄像头-视频流
GPUImageStillCamera
摄像头-照相
GPUImagePicture
图片
GPUImageMovie
视频
响应链,先要理解帧缓存的概念,这在OpenGL ES教程-帧缓存有提到过。
用一句话来解释GPUImageFilter就是用来接收源图像,通过自定义的顶点、片元着色器来渲染新的图像,并在绘制完成后通知响应链的下一个对象。
GPUImageFramebuffer就是用来管理纹理缓存的格式与读写帧缓存的buffer。
这里有个GPUImage的简单工程,可以看到GPUImage的源代码。
一个热血青年想在业余时间做更多的尝试,做一些能帮助别人也能受惠自己的事情。
思来想去,决定继续延续现在写文章的思路——用自己的经历和知识给职场填坑,让人少走弯路。
欢迎私信探讨,工作上的焦虑与迷茫。