本文是来自FOSDEM 2020 Open Media devroom的演讲,演讲者是来自COLLABORA的Xavier Claessens,演讲主题是GStreamer在Magic Leap One上的应用。
Xavier首先介绍了Magic Leap One,一个增强现实眼镜。与虚拟现实不同,增强现实可以通过眼镜直接看到。它包含一个lightwear、一个lightpack和一个controller。在lightpack上部署有硬件设备、操作系统和一系列开发工具。
其次,Xavier对Magic Leap One进行了详细的讲解,Magic Leap One运行的浏览器引擎是Alan Jeffrey用Rust写的Mozilla browser,用Cargo构建了由python脚本驱动的系统,其上多媒体元素还有待实现,视频上会由appsink在应用程序中进行GL渲染,而音频上,GStreamer将用于监测平台特定元素。
接着,Xavier说明,GStreamer是一个用C写的多媒体框架,meson编译的系统,通过JNI运用Adroid JAVA API 。Cerbero是编译系统之上的最顶层。所以只需运用gst-build,而无需其他外部依赖。Magic Leap SDK 有iconv.h,但是并没有实现。Gst-build还编译了很多的插件,安装了很多文件。
然后,Xavier还介绍了关于Gstreamer编码器、视频接收器、音频接收器、上行等的相关信息,以及给出了一个videotestsrc的demo视频。
最后是QA环节,他回答了一些观众的提问。
附上演讲视频: