前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >一个强大的音视频编解码库-rkmedia的应用

一个强大的音视频编解码库-rkmedia的应用

作者头像
杨源鑫
发布2021-07-30 16:02:53
6.4K1
发布2021-07-30 16:02:53
举报
文章被收录于专栏:嵌入式开发圈嵌入式开发圈

对RV1109及瑞芯微平台感兴趣的读者,请自行到文末下载SDK:

RKMedia提供了一种媒体处理方案,可支持应用软件快速开发。RKMedia在各模块基础API上做进一步封装,简化了应用开发难度。该平台支持以下功能:VI(输入视频捕获)、VENC(H.265/H.264/JPEG/MJPEG 编码)、VDEC(H.265/H.264/JPEG、MJPEG 解码)、VO(视频输出显示)、RGA视频处理(包括旋转、缩放、裁剪)AI(音频采集)、AO(音频输出)、AENC(音频编码)、ADEC(音频解码)、MD(移动侦测)、OD(遮挡侦测)。(摘自RKmedia手册)

rkmedia 框架源码:external/rkmedia/src

例程:external/rkmedia/examples

代码语言:javascript
复制
链接:https://pan.baidu.com/s/1yJYKn6KtUYV4pRMFGKA37Q 
提取码:w5ig 
--来自百度网盘超级会员V1的分享

SDK中的参考文档:

代码语言:javascript
复制
1、external/rkmedia/doc
2、docs/RV1126_RV1109/Multimedia/Rockchip_Developer_Guide_Linux_RKMedia_CN.pdf
3、docs/RV1126_RV1109/Multimedia/Rockchip_Instructions_Linux_Rkmedia_CN.pdf

rkmedia 总体框架图如下:

那么在我自己的板子上如何来使用rkmedia的应用程序呢?

1、Camera翻转原理和实现
1.1、修改dts实现Sensor翻转

在编写demo前需要修改kernel的dts,我购买的是7寸1024*600的mipi接口显示屏以及mipi接口的gc2093摄像头sensor,由于我想要的是竖屏实现摄像头预览,所以就必须修改对应的kernel dts:

  • 修改Camera Sensor dts
代码语言:javascript
复制
vim kernel/arch/arm/boot/dts/rongpin/camera-gc2093x2.dtsi

修改 hflip 属性:

hflip 表示的是水平翻转的意思,设置为0或者设置为1是什么意思呢?打开 GC2093 Datasheet ,搜 索 flip ,我们可以看到:

也就是说找到这个0x0017这个寄存器,往这里面写入对应的数值(0或1)即可看到相应的效果,GC2093的驱动代码在Linux内核里也是有提供的,位于:

代码语言:javascript
复制
vim kernel/drivers/media/i2c/gc2093.c

那么肯定有操作旋转的方法,我们往下查找即可看到:

到这里我们就彻底明白了,驱动程序通过访问设备树,获取节点 vfliphflip ,然后通过of_property_read_u32 函数将该节点对应的数值转化为无符号整型,取出数值后,将该数值写入寄存 器 0x0017 来达到水平、垂直翻转的效果。

1.2、重新编译kernel
代码语言:javascript
复制
./build.sh kernel && ./build.sh firmware

生成镜像路径:rockdev/

生成镜像: boot.img

将 boot.img 通过瑞芯微开发工具重新下载更新到开发板上即可。

2、基于rkmedia编写应用程序
2.2、摄像头竖屏实时预览

自己参考实现的源代码: camera_display_test.c

代码语言:javascript
复制
链接:https://pan.baidu.com/s/1yJYKn6KtUYV4pRMFGKA37Q 
提取码:w5ig 
--来自百度网盘超级会员V1的分享

在荣品RV1109开发平台上实现竖屏摄像头LCD预览效果

2.3、摄像头实时预览 & RTSP本地同步推流

自己参考实现的源代码: camera_display_rtsp_test.c

代码语言:javascript
复制
链接:https://pan.baidu.com/s/1yJYKn6KtUYV4pRMFGKA37Q 
提取码:w5ig 
--来自百度网盘超级会员V1的分享

在荣品RV1109开发平台上实现竖屏摄像头LCD预览以及同步RTSP本地推流效果:

3、将自己编写的应用程序放到examples目录下
代码语言:javascript
复制
external/rkmedia/examples/

然后切换到rkmedia例程目录下:

代码语言:javascript
复制
cd external/rkmedia/examples/
4、在CMakeLists.txt中添加例程编译信息
代码语言:javascript
复制
#--------------------------
# camera_display_test.c
#--------------------------
add_executable(camera_display_test camera_display_test.c ${COMMON_SRC})
add_dependencies(camera_display_test easymedia)
target_link_libraries(camera_display_test easymedia)
target_include_directories(camera_display_test PRIVATE
${CMAKE_SOURCE_DIR}/include)
install(TARGETS camera_display_test RUNTIME DESTINATION "bin")
#--------------------------
# camera_display_rtsp_test.c
#--------------------------
link_directories(${PROJECT_SOURCE_DIR}/librtsp/)
add_executable(camera_display_rtsp_test camera_display_rtsp_test.c
${COMMON_SRC})
add_dependencies(camera_display_rtsp_test easymedia)
target_link_libraries(camera_display_rtsp_test easymedia rtsp)
target_include_directories(camera_display_rtsp_test PRIVATE
${CMAKE_SOURCE_DIR}/include)
install(TARGETS camera_display_rtsp_test RUNTIME DESTINATION "bin")
5、重新编译rkmedia

编译完成,由于是基于buildroot架构进行编译,所以将buildroot下output下对应平台生成的bin文件拷贝到开发板上即可运行。

RV1109 SDK源码及文档:

代码语言:javascript
复制
链接:https://pan.baidu.com/s/1QKkQ3SKwuaTImnH3CbpYkg 
提取码:5sg0 

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2021-07-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 嵌入式云IOT技术圈 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1、Camera翻转原理和实现
    • 1.1、修改dts实现Sensor翻转
    • 1.2、重新编译kernel
    • 2、基于rkmedia编写应用程序
      • 2.2、摄像头竖屏实时预览
        • 2.3、摄像头实时预览 & RTSP本地同步推流
        • 3、将自己编写的应用程序放到examples目录下
        • 4、在CMakeLists.txt中添加例程编译信息
        • 5、重新编译rkmedia
        相关产品与服务
        媒体处理
        媒体处理(Media Processing Service,MPS)是一种云端音视频处理服务。基于腾讯多年音视频领域的深耕,为您提供极致的编码能力,大幅节约存储及带宽成本、实现全平台播放,同时提供视频截图、音视频增强、内容理解、内容审核等能力,满足您在各种场景下对视频的处理需求。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档