Android Multimedia框架总结(十二)CodeC部分之OMXCodec与OMX事件回调流程

前言:上篇文中分析到AwesomePlayer到OMX服务,曾介绍到,OMX服务主要完成三个任务: NodeInstance列表的管理,NodeInstance的操作, 事件的处理。最后这个事件处理就是今天放大看的内容。要一步一步一Codec,事件传递必不可少,看下今天的Agenda:

  • OMXCodec与OMX callback事件的处理时序图
  • 如何从OMX中dispatch到OMXCodec(附时序图)
  • 缓冲区更新过程
  • onMessage回调

OMXCodec与OMX callback事件的处理时序图

OMXCodec与OMX callback事件的处理时序图:

从时序图看,首先我们要建立个OMXCodecObserver,该类是OMXCodec的内部类,在create函数中被创建,并把对应的OMXCodec加入都自己的观察范围内,具体代码如下: framework/base/media/libstagefright/OMXCodec.cpp

其次初始化它的callback事件和事件的派发处理函数 OMX主要的callback事件有哪些呢? 在framework/base/media/libstagefright/omx/OMXNodeInstance.cpp中的kCallbacks函数有如下定义:

callback在哪定义呢? 看framework/base/media/libstagefright/omx/OMX.cpp中的

即每个component对应一组callback事件。 这些callback由哪些函数返回呢?具体的定义在framework/base/media/libstagefright/openmax/OMX_Core.h

有了callback事件,如何dispatch呢?其实我们在allocateNote函数已经定义好了我们的dispatch函数 mDispatchers.add(*node, new CallbackDispatcher(instance));

如何从OMX中dispatch到OMXCodec

有了oberser, callback event , callbackdispatcher,那么一个callback event 如何从OMX传到OMXCodec呢? 下面我们以emptybuffer流程来具体看下,时序图如下:

从时序图上看:首先mVideoSource->read,实际上就是调用了OMXCodec::read,对应代码如下:

接着调用drainInputBuffer,把输入通道中的所有输入缓存区,逐个传递给drainInputBuffer,即先把inputbuffer都读满, 然后一次性送给具体的component,让其慢慢解码,drainInputBuffer的实现如下:

以上代码总结为:

  • 第一次执行OMXCodec::read时的操作。
  • 当整个编解码流程运行起来之后,会面临着一个输入\输出缓冲区更新的问题。

缓冲区更新过程

输入缓冲区更新过程: 如果一个输入缓冲区数据被读取完了,OpenMAX会触发事件omx_message::EMPTY_BUFFER_DONE通知上层, 在这个事件处理流程中,会根据发送来的bufferid找到对应的输入缓冲区, 然后把这个缓冲区传递给drainInputBuffer,继续往下执行。 如下:

输出缓冲区更新过程:

  • 解码完毕后,OpenMAX组件触发omx_message::FILL_BUFFER_DONE, 输出缓冲区会被传出交给上层使用(传递给surfaceflinger来显示),使用完后需要把这个缓存区重新交给OpenMax,
  • 上层使用完输出缓冲区后会调用MediaBuffer::release进行销毁,在这个接口中会把输出缓冲区的引用计数减1,
  • 然后调用signalBufferReturned,实际对应OMXCodec::signalBufferReturned接口,
  • 最后再下一层调用fillOutputBuffer,把这个缓冲区重新交给openMAX。

总结:这样就是通过第一次调用drainInputBuffers触发openMAX,然后后面依靠openMAX的事件驱动来完成数据的读取、解码操作。

下面我们用输出缓冲区为例,再放大下上面分析的流程: openmax component解码完一帧之后, 会调用ppCallbacks->FillBufferDone,也就是调用了之前初始化好的OMX::OnFillBufferDone

接着看下CallbackDispatcher的post函数

接下来把这个msg开始分发出去

onMessage回调

在onMessage方法中,进行通知回去

通过调用OMXCodecObserver把msg通过onMessage函数接着传给OMXCodec。 代码如下:

通过上面的分析可以看到,虽然在OMX框架中 Input/OutPutPort上的buffer的生产和消费是异步,但是还是通过了一个Condition mBufferFilled来做同步。通过信号量机制来达到同步的目的。本质上是一个生产者/消费者模型。

第一时间获得博客更新提醒,以及更多android干货,源码分析,欢迎关注我的微信公众号,扫一扫下方二维码或者长按识别二维码,即可关注。

原文发布于微信公众号 - 何俊林(DriodDeveloper)

原文发表时间:2016-09-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏linux、Python学习

黑客们会用到哪些Python技术?

Python已经成为漏洞开发领域的行业标准,读者会发现大多数概念验证工具都是用Python语言编写的(除了用Ruby写的安全漏洞检测工具)。Python允许开发...

1774
来自专栏前端杂货铺

Nodejs cluster模块深入探究

由表及里 HTTP服务器用于响应来自客户端的请求,当客户端请求数逐渐增大时服务端的处理机制有多种,如tomcat的多线程、nginx的事件循环等。而对于nod...

55110
来自专栏mini188

Openfire集群源码分析

如果用户量增加后为了解决吞吐量问题,需要引入集群,在openfire中提供了集群的支持,另外也实现了两个集群插件:hazelcast和clustering。为了...

2299
来自专栏木子昭的博客

精析Python3实现动态web服务(附服务端源码)如果我们提供一个动态网站服务,至少应考虑以下四点:一个优秀的动态web框架应该是这样的:关于WSGI标准WIGS模型的要点:实现源码小结:

实现一个简单的静态web网站,只需将写好的html页面上传到特定的web服务器软件即可,但静态网页其实和图片没什么区别,每次更新网站内容,都需要重新制作htm...

37812
来自专栏用户2442861的专栏

使用 libevent 和 libev 提高网络应用性能——I/O模型演进变化史

http://blog.csdn.net/hguisu/article/details/38638183(牛逼100多名)

2061
来自专栏数据之美

玩转 Nginx 之:使用 Lua 扩展 Nginx 功能

1、Nginx 简介 Nginx 作为一款面向性能设计的HTTP服务器,相较于Apache、lighttpd具有占有内存少,稳定性高等优势。其流行度越来越高,应...

1K7
来自专栏Golang语言社区

【Go 语言社区】epoll详解

什么是epoll epoll是什么?按照man手册的说法:是为处理大批量句柄而作了改进的poll。当然,这不是2.6内核才有的,它是在2.5.44内核中被引进的...

60612
来自专栏JavaEdge

操作系统之文件管理一、文件与文件系统二、文件控制块和文件目录三、文件的物理结构四、文件系统的实现五、文件系统实例(UNIX)六、UNIX文件系统一、文件系统实例(FAT)二、文件操作的实现三、文件系统

5456
来自专栏北京马哥教育

Python爬虫基本知识:什么是爬虫?

豌豆贴心提醒,本文阅读时间5分钟 一、网络爬虫的定义 网络爬虫,即Web Spider,是一个很形象的名字。 把互联网比喻成一个蜘蛛网,那么Spider就是...

3446
来自专栏听雨堂

【7】AccessDB快速数据访问

阅读目录 C#和VB数据访问的比较 AccessDB的设计 数据库的连接 三种主要操作 错误输出及调试 小结 C#和VB数据访问的比较 C#中要进行...

19610

扫码关注云+社区

领取腾讯云代金券