前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >OpenGLES通过SurfaceTexture预览摄像头画面

OpenGLES通过SurfaceTexture预览摄像头画面

作者头像
曾大稳
发布2018-09-11 10:29:21
4.2K0
发布2018-09-11 10:29:21
举报
文章被收录于专栏:曾大稳的博客曾大稳的博客

在这篇文章主要用到的知识点有如下,建议先看一下:

OpenGLES绘制图片纹理

OpenGLES顶点缓冲VBO

OpenGLES帧缓冲FBO

有一个渲染流数据的相关的示例,也可以看一下,这样对本篇理解就会很简单 :

Android OpenGLES渲染MediaCodec解码数据

原理

利用OpenGL生成纹理并绑定到SurfaceTexture,然后把camera的预览数据设置显示到SurfaceTexture中,这样就可以在OpenGL中拿到摄像头数据并显示了。

主要步骤

1.OpenGL ES生成纹理 2.OpenGL ES创建SurfaceTexture并绑定 3.OpenGL ES摄像头预览

比如美颜相机那些,处理摄像头数据展示出来,为了提高预览的效率,所以这里使用了VBOFBO,如果不知道这个,请看上面的文章。

FBO所需的glsl: vertex_shader.glsl

代码语言:javascript
复制
attribute vec4 av_Position;//顶点位置
attribute vec2 af_Position;//纹理位置
varying vec2 v_texPo;//纹理位置  与fragment_shader交互
uniform mat4 u_Matrix;//矩阵变换

void main() {
    v_texPo = af_Position;
    gl_Position = av_Position * u_Matrix;
}

fragment_shader.glsl

代码语言:javascript
复制
#extension GL_OES_EGL_image_external : require //申明使用扩展纹理
precision mediump float;//精度 为float
varying vec2 v_texPo;//纹理位置  接收于vertex_shader
uniform samplerExternalOES  sTexture;//加载流数据(摄像头数据)
void main() {
    gl_FragColor=texture2D(sTexture, v_texPo);
}

这里使用FBO里面使用samplerExternalOES是为了加载流数据,摄像头数据属于流数据,所以这里需要用这个。

创建相机预览扩展纹理:

代码语言:javascript
复制

/**
    * 创建摄像头预览扩展纹理
    */
   private void createCameraRenderTexture() {
       int[] textureIds = new int[1];
       GLES20.glGenTextures(1, textureIds, 0);
       cameraRenderTextureId = textureIds[0];
       GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, cameraRenderTextureId);
       //环绕(超出纹理坐标范围)  (s==x t==y GL_REPEAT 重复)
       GLES20.glTexParameteri(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_WRAP_S, GLES20.GL_REPEAT);
       GLES20.glTexParameteri(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_WRAP_T, GLES20.GL_REPEAT);
       //过滤(纹理像素映射到坐标点)  (缩小、放大:GL_LINEAR线性)
       GLES20.glTexParameteri(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_MIN_FILTER, GLES20.GL_LINEAR);
       GLES20.glTexParameteri(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_MAG_FILTER, GLES20.GL_LINEAR);

       surfaceTexture = new SurfaceTexture(cameraRenderTextureId);
       surfaceTexture.setOnFrameAvailableListener(this);

       if (onSurfaceListener != null) {
           //这里相机拿到surfaceTexture绑定
           onSurfaceListener.onSurfaceCreate(surfaceTexture);
       }

       // 解绑扩展纹理
       GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, 0);
   }

camera绑定SurfaceTexture:

代码语言:javascript
复制
camera.setPreviewTexture(surfaceTexture);

预览画面,先通过fbo处理,然后拿到fbo的纹理id渲染即可:

代码语言:javascript
复制

@Override
    public void onDrawFrame() {
        //调用触发onFrameAvailable
        surfaceTexture.updateTexImage();
        //清空颜色
        GLES20.glClear(GLES20.GL_COLOR_BUFFER_BIT);
        //设置背景颜色
        GLES20.glClearColor(1.0f, 1.0f, 1.0f, 1.0f);

        //使用程序
        GLES20.glUseProgram(program);

        //绑定fbo
        GLES20.glBindFramebuffer(GLES20.GL_FRAMEBUFFER, fboId);

        //摄像头预览扩展纹理赋值
        GLES20.glActiveTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES);
        GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, cameraRenderTextureId);
        GLES20.glUniform1i(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, 0);

        //给变换矩阵赋值
        GLES20.glUniformMatrix4fv(uMatrix, 1, false, matrix, 0);

        GLES20.glEnableVertexAttribArray(avPosition);
        GLES20.glEnableVertexAttribArray(afPosition);

        //使用VBO设置纹理和顶点值
        useVboSetVertext();

        //绘制 GLES20.GL_TRIANGLE_STRIP:复用坐标
        GLES20.glDrawArrays(GLES20.GL_TRIANGLE_STRIP, 0, vertexCount);
        GLES20.glDisableVertexAttribArray(avPosition);
        GLES20.glDisableVertexAttribArray(afPosition);

        GLES20.glBindFramebuffer(GLES20.GL_FRAMEBUFFER, 0);

        //渲染显示
        cameraRender.onDraw(fboTextureId);
    }

摄像头方向调整

默认的摄像头预览不同的角度预览出来效果是不同的,我们需要把它给矫正,一般通常是在camera里面设置parms,这里通过OpenGLES自己矫正,通过变换矩阵实现即可:

代码语言:javascript
复制
 //变换矩阵 location
private int uMatrix;

 //变换矩阵
private float[] matrix = new float[16];

public void onSurfaceCreated() {
    //...
uMatrix = GLES20.glGetUniformLocation(program, "u_Matrix");
}
 
 @Override
 public void onDrawFrame() {
 //...
 //给变换矩阵赋值
GLES20.glUniformMatrix4fv(uMatrix, 1, false, matrix, 0); 
 }


/**
 * 初始化矩阵
 */
public void resetMatirx() {
    //初始化
    Matrix.setIdentityM(matrix, 0);
}


/**
 * 旋转
 *
 * @param angle
 * @param x
 * @param y
 * @param z
 */
public void setAngle(float angle, float x, float y, float z) {
    //旋转
    Matrix.rotateM(matrix, 0, angle, x, y, z);
}

在外层调用:

代码语言:javascript
复制
public void previewAngle(Context context) {
        int angle = ((WindowManager) context.getSystemService(Context.WINDOW_SERVICE)).getDefaultDisplay().getRotation();
        render.resetMatirx();
        switch (angle) {
            case Surface.ROTATION_0:
                if (cameraId == Camera.CameraInfo.CAMERA_FACING_BACK) {
                    render.setAngle(90, 0, 0, 1);
                    render.setAngle(180, 1, 0, 0);
                } else {
                    render.setAngle(90f, 0f, 0f, 1f);
                }

                break;
            case Surface.ROTATION_90:
                if (cameraId == Camera.CameraInfo.CAMERA_FACING_BACK) {
                    render.setAngle(180, 0, 0, 1);
                    render.setAngle(180, 0, 1, 0);
                } else {
                    render.setAngle(90f, 0f, 0f, 1f);
                }
                break;
            case Surface.ROTATION_180:
                if (cameraId == Camera.CameraInfo.CAMERA_FACING_BACK) {
                    render.setAngle(90f, 0.0f, 0f, 1f);
                    render.setAngle(180f, 0.0f, 1f, 0f);
                } else {
                    render.setAngle(-90, 0f, 0f, 1f);
                }
                break;
            case Surface.ROTATION_270:
                if (cameraId == Camera.CameraInfo.CAMERA_FACING_BACK) {
                    render.setAngle(180f, 0.0f, 1f, 0f);
                } else {
                    render.setAngle(0f, 0f, 0f, 1f);
                }
                break;
        }
    }

具体代码下载地址: https://github.com/ChinaZeng/OpenGLESCameraDemo

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018-08-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档