如何在Jetson TX2上使用CSI相机(续)

昨天我们介绍了为什么选择在Jetson TX2使用CSI相机如何在Jetson TX2上使用CSI相机,今天我们继续介绍如何获取CSI的视频。

本教程同样是来自于

在本文里,他继续告诉大家:

如何从CSI相机中获得影像

在Nvidia的《Get Started with the JetPack Camera API》里面解释说,与Jetson的多媒体硬件(包括CSI相机的端口)接口的最佳方式是通过其libargus C ++库或通过gstreamer。 Nvidia不支持CSI相机的V4L2视频协议。由于gstreamer是比较通用的,所以我专注于此。

GStreamer使用管道(pipelines)进行配置,这些管道解释了从输入到输出应用于视频流的一系列操作。从CSI相机获取视频的关键在于能够(1)在您的程序中使用gstreamer和(2)使用高效的管道。

视频内容

关于驱动程序的注意事项:在任何GStreamer功能甚至可以正常工作之前,您很可能需要安装相机的驱动程序。 由于CSI相机的市场规模较小,因此您可能无法在网上找到指南,但应该能够从制造商处获得。例如,Leopard Imaging提供了一个很好的指导(通过电子邮件)来设置他们的驱动程序,但它让我只能在终端中使用GStreamer。 在这篇文章中,我们将进一步尝试并将这些数据存入您的代码中。

选择正确的管道(pipelines)

正如我刚刚提到的,使用CSI相机获得高质量性能的关键之一就是使用最高效的gstreamer管线。这通常意味着以正确的格式输出。你会看到我重复使用一条管道,沿着:

nvcamerasrc ! video/x-raw(memory:NVMM), width=1920, height=(int)1080, format=(string)I420, framerate=(fraction)30/1 ! nvvidconv flip-method=2 ! video/x-raw, format=(string)BGRx ! videoconvert ! video/x-raw, format=(string)BGR ! appsink

这里非常重要的部分是video/x-raw, format=(string)BGRx ! videoconvert ! video /x-raw, format=(string)BGR,它确保来自CSI相机的原始视频转换为BGR色彩空间。

在OpenCV和许多其他程序里,图像都是按照BGR格式存储。通过图像管道预转换为BGR,我们确保使用这些硬件模块来转换图像而不是CPU。在我自己的实验中,如果不使用转换的管道会导致性能严重的下降,在TX2上1080p视频的最高速度只有10fps。

命令行工具

有几个命令行工具我会简要地解释一下:

nvgstcapture

nvgstcapture-1.0是L4T附带的程序,可以轻松捕获视频并将其保存到文件中。这也是从相机中拉出视图的快速方法。

gst-launch

您可以使用gst-launch-1.0 <pipeline>运行GStreamer管道。

示例1:查看相机的1080p视频

gst-launch-1.0 nvcamerasrc ! 'video/x-raw(memory:NVMM), width=(int)1920, height=(int)1080, format=(string)I420, framerate=(fraction)60/1' ! nvvidconv ! 'video/x-raw(memory:NVMM), format=(string)I420' ! nvoverlaysink -e

示例2:查看相机的1080p视频并将真实的fps输出到控制台。

gst-launch-1.0 nvcamerasrc ! 'video/x-raw(memory:NVMM), width=(int)1920, height=(int)1080, format=(string)I420, framerate=(fraction)60/1' ! nvvidconv ! 'video/x-raw(memory:NVMM), format=(string)I420' ! fpsdisplaysink text-overlay=false -v

看看这篇《Tegra X1的Gstreamer管线》提供更多示例流水线。

(扫描二维码进入网站)

gst-inspect

您可以使用gst-inspect-1.0来检查管道元素

例如:检查CSI摄像头接口的功能。

gst-inspect-1.0 nvcamerasrc

OpenCV

好吧,让我们开始在我们自己的代码中捕捉视频,而不是仅仅在终端中鼓捣视频。

在设置Jetson设备时,Nvidia Jetpack会安装一个称为OpenCV4Tegra的特殊闭源版本的OpenCV,它针对Jetson进行了优化,并且比开源版本稍快。 虽然OpenCV4Tegra的运行速度比纯OpenCV 2更快,但OpenCV 2的所有版本都不支持从gstreamer中捕获视频,所以我们无法从中轻松获取视频。

如果您使用正确的选项从源代码编译OpenCV 3,它支持从gstreamer捕获视频。所以我们将用一个自编的OpenCV 3替换OpenCV4Tegra。一旦完成,通过gstreamer管道捕捉视频是非常容易的。

在Nvidia Jetson上使用GStreamer支持编译OpenCV 3

运行以下命令删除OpenCV4Tegra:

sudo apt-get purge libopencv4tegra-dev libopencv4tegra

sudo apt-get purge libopencv4tegra-repo

sudo apt-get update

下载Jetson Hacks的Jetson TX2 OpenCV安装程序:

git clone https://github.com/jetsonhacks/buildOpenCVTX2.git

cd buildOpenCVTX2

(关于这个脚本的更多信息《 Jetson Hacks’ own install guide》,可点击阅读原文进入链接.)

打开buildOpenCV.sh并将 -DWITH_GSTREAMER = OFF 更改为-DWITH_GSTREAMER = ON,确保OpenCV编译时使用gstreamer支持。

通过运行安装脚本构建OpenCV。 这将需要一些时间。

/buildOpenCV.sh

注意:Jetson Hacks也提醒:“make工具不会完成所有配置,您需要根据经验后到build目录去重新运行make“。

最后,切换到构建目录以安装您刚刚构建的库。

Cd 〜/opencv /build

sudo make install

用OpenCV的GStreamer管道执行视频采集

现在安装可捕捉gstreamer视频的OpenCV,开始使用吧!幸运的是,我有一个很好的Github上的C ++示例脚本旨在通过OpenCV捕获gstreamer视频并输出在显示器上。让我们来看看。

gstreamer_view.cpp

/*

Example code for displaying gstreamer video from the CSI port of the Nvidia Jetson in OpenCV.

Created by Peter Moran on 7/29/17.

https://gist.github.com/peter-moran/742998d893cd013edf6d0c86cc86ff7f

*/

#include <opencv2/opencv.hpp>

std::string get_tegra_pipeline(int width, int height, int fps) {

return "nvcamerasrc ! video/x-raw(memory:NVMM), width=(int)" + std::to_string(width) + ", height=(int)" +

std::to_string(height) + ", format=(string)I420, framerate=(fraction)" + std::to_string(fps) +

"/1 ! nvvidconv flip-method=2 ! video/x-raw, format=(string)BGRx ! videoconvert ! video/x-raw, format=(string)BGR ! appsink";

}

int main() {

// Options

WIDTH = 1920;

HEIGHT = 1080;

FPS = 30;

// Define the gstream pipeline

std::string pipeline = get_tegra_pipeline(WIDTH, HEIGHT, FPS);

std::cout << "Using pipeline: \n\t" << pipeline << "\n";

// Create OpenCV capture object, ensure it works.

cv::VideoCapture cap(pipeline, cv::CAP_GSTREAMER);

if (!cap.isOpened()) {

std::cout << "Connection failed";

return -1;

}

// View video

cv::Mat frame;

while (1) {

cap >> frame; // Get a new frame from camera

// Display frame

imshow("Display window", frame);

cv::waitKey(1); //needed to show frame

}

}

首先,我们使用Nvidia的nvcamerasrc接口定义一个高效的流水线,并确保我们预转换为BGR色彩空间。然后我们定义一个使用GStreamer的捕获对象。最后,我们捕获每一帧并以无限循环显示它。很简单!

原文发布于微信公众号 - 吉浦迅科技(gpusolution)

原文发表时间:2018-04-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

3 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

将 TensorFlow 训练好的模型迁移到 Android APP上(TensorFlowLite)

最近在做一个数字手势识别的APP(关于这个项目,我会再写一篇博客仔细介绍,博客地址:一步步做一个数字手势识别APP,源代码已经开源在github上,地址:Chi...

1403
来自专栏AI科技大本营的专栏

TensorFlow tfjs 0.10.3 发布

TensorFlow tfjs 0.10.3 近日正式发布,新版本主要有以下改进内容,AI科技大本营对其编译如下。 ▌资源

1012
来自专栏BestSDK

shift键在Excel中,还有这10种变态玩法?

电脑键盘上有很多「瑞士军刀」似的按键,掌握这些按键的使用技巧,你让你在Excel操作中,如虎添翼。 SHIFT键就是其中之一。 Excel中的技巧有很多,基本都...

3437
来自专栏FreeBuf

科普哈希长度扩展攻击(Hash Length Extension Attacks)

貌似大多数渗透师都很少测试密码学方面的漏洞。我一直都对密码学颇有兴趣,于是决定研究web应用开发者误用加密算法的情况,以及如何利用这些漏洞。 一月份的时候,我研...

2296
来自专栏c#开发者

ado.net data services开发框架学习

ado.net data services开发框架学习 什么是ado.net data services Ado.net 数据服务可以很方便的将企业内部数据发...

2566
来自专栏新智元

TensorFlow正式发布1.5.0,支持CUDA 9和cuDNN 7,双倍提速

来源:Github 编译:费欣欣 【新智元导读】TensorFlow今天正式发布了1.5.0版本,支持CUDA 9和cuDNN 7,进一步提速。并且,从1.6版...

2966
来自专栏算法修养

Lucene.net(4.8.0) 学习问题记录五: JIEba分词和Lucene的结合,以及对分词器的思考

前言:目前自己在做使用Lucene.net和PanGu分词实现全文检索的工作,不过自己是把别人做好的项目进行迁移。因为项目整体要迁移到ASP.NET Core ...

42814
来自专栏杨熹的专栏

TensorFlow-7-TensorBoard Embedding可视化

学习资料 https://www.tensorflow.org/get_started/summaries_and_tensorboard 今天来看 Tens...

4299
来自专栏AI研习社

谷歌发布 TensorFlow 1.6.0,针对 CUDA 9.0 和 cuDNN 7 预构建二进制文件

日前,谷歌发布 TensorFlow 1.6.0 正式版,带来了多项更新和优化,雷锋网 AI 研习社将谷歌官方介绍编译如下: ? 重大改进: 针对 CUD...

38610
来自专栏张宁的专栏

【腾讯云的1001种玩法】Ubuntu 14.04 Spark单机环境搭建与初步学习

最近毕设需要学习Spark操作,预先学习了一波。也撰写个文章供各位讨论分享。安装与配置大数据这个领域是热火朝天,而Apache Spark则是一个炙手可热大数据...

6390

扫码关注云+社区