如何在视频采集流水线中增加滤镜处理节点？丨有问有答

今天我们要讨论的问题是一位社群的朋友遇到的一个面试题，原文如下：

之前遇到一个面试题，有一个线程在采集摄像头数据放到 buffer，然后在主线程显示。如果这时候需要添加一个滤镜，是否需要新开一个 buffer 和线程，是否会有线程安全问题，该怎么解决？

以下是回答，欢迎大家留言讨论补充：

从题目的意思来看，原来的流水线是：线程 1：采集 → buffer → 主线程：渲染，现在想在渲染之前加一个特效节点。 1）不新开 buffer 也不新开线程时，对应的流水线变为：线程 1：采集 → buffer → 主线程：滤镜 → 主线程：渲染。当滤镜渲染不复杂，耗时不多时，这种方案是可以搞的，因为滤镜主要涉及到 OpenGL 相关的操作，只要保证滤镜的 OpenGL 操作与渲染的 OpenGL 操作在同一个 EAGLContext 环境内即可。可以参考下图 OpenGL 操作缓冲区 FBO、着色器与 EAGLContext 的关系。

OpenGL2）新开 buffer 同时新开线程时，对应的流水线变为：线程 1：采集 → buffer 1 → 线程 2：滤镜 → buffer 2 → 主线程：渲染。这种方案当然是更好的方案，它使得各个模块可以并行，而且性能兼容性更好。因为在实际需求中，我们采集后的图像数据处理，除了滤镜，可能会增加人脸识别、磨皮、美白、特效等更复杂功能，这时候处理耗时就可能较长了，放在主线程可能卡住主线程，更可能会影响到渲染的帧率。此外，我们采集的图像数据除了预览渲染，一般是需要编码封装后存储本地或推流上传网络的，编码模块的速度与特效处理的速度不匹配时，这就需要增加 buffer 了。 这样一来整个流程就相当于两个生产者消费者模型了，而每个 buffer 就是对应的生产者和消费者线程的临界区。保证线程安全其实就是确保生产者线程和消费者线程对 buffer 数据的互斥访问，这里使用信号量即可。在 iOS 中可以用 dispatch_semaphore_t。

- 完 -