如何在Jetson TX2上使用CSI相机(续）
如何在Jetson TX2上使用CSI相机(续）
昨天我们介绍了为什么选择在Jetson TX2使用CSI相机如何在Jetson TX2上使用CSI相机，今天我们继续介绍如何获取CSI的视频。
本教程同样是来自于
在本文里，他继续告诉大家：
如何从CSI相机中获得影像
在Nvidia的《Get Started with the JetPack Camera API》里面解释说，与Jetson的多媒体硬件（包括CSI相机的端口）接口的最佳方式是通过其libargus C ++库或通过gstreamer。 Nvidia不支持CSI相机的V4L2视频协议。由于gstreamer是比较通用的，所以我专注于此。
GStreamer使用管道（pipelines）进行配置，这些管道解释了从输入到输出应用于视频流的一系列操作。从CSI相机获取视频的关键在于能够（1）在您的程序中使用gstreamer和（2）使用高效的管道。
关于驱动程序的注意事项：在任何GStreamer功能甚至可以正常工作之前，您很可能需要安装相机的驱动程序。 由于CSI相机的市场规模较小，因此您可能无法在网上找到指南，但应该能够从制造商处获得。例如，Leopard Imaging提供了一个很好的指导（通过电子邮件）来设置他们的驱动程序，但它让我只能在终端中使用GStreamer。 在这篇文章中，我们将进一步尝试并将这些数据存入您的代码中。
选择正确的管道（pipelines）
正如我刚刚提到的，使用CSI相机获得高质量性能的关键之一就是使用最高效的gstreamer管线。这通常意味着以正确的格式输出。你会看到我重复使用一条管道，沿着：
nvcamerasrc ! video/x-raw(memory:NVMM), width=1920, height=(int)1080, format=(string)I420, framerate=(fraction)30/1 ! nvvidconv flip-method=2 ! video/x-raw, format=(string)BGRx ! videoconvert ! video/x-raw, format=(string)BGR ! appsink
这里非常重要的部分是video/x-raw， format=(string）BGRx ！ videoconvert ！ video /x-raw, format=(string)BGR，它确保来自CSI相机的原始视频转换为BGR色彩空间。
在OpenCV和许多其他程序里，图像都是按照BGR格式存储。通过图像管道预转换为BGR，我们确保使用这些硬件模块来转换图像而不是CPU。在我自己的实验中，如果不使用转换的管道会导致性能严重的下降，在TX2上1080p视频的最高速度只有10fps。
命令行工具
有几个命令行工具我会简要地解释一下：
nvgstcapture
nvgstcapture-1.0是L4T附带的程序，可以轻松捕获视频并将其保存到文件中。这也是从相机中拉出视图的快速方法。
gst-launch
您可以使用gst-launch-1.0 <pipeline>运行GStreamer管道。
示例1：查看相机的1080p视频
gst-launch-1.0 nvcamerasrc ! 'video/x-raw(memory:NVMM), width=(int)1920, height=(int)1080, format=(string)I420, framerate=(fraction)60/1' ! nvvidconv ! 'video/x-raw(memory:NVMM), format=(string)I420' ! nvoverlaysink -e
示例2：查看相机的1080p视频并将真实的fps输出到控制台。
gst-launch-1.0 nvcamerasrc ! 'video/x-raw(memory:NVMM), width=(int)1920, height=(int)1080, format=(string)I420, framerate=(fraction)60/1' ! nvvidconv ! 'video/x-raw(memory:NVMM), format=(string)I420' ! fpsdisplaysink text-overlay=false -v
看看这篇《Tegra X1的Gstreamer管线》提供更多示例流水线。
（扫描二维码进入网站）
gst-inspect
您可以使用gst-inspect-1.0来检查管道元素
例如：检查CSI摄像头接口的功能。
gst-inspect-1.0 nvcamerasrc
OpenCV
好吧，让我们开始在我们自己的代码中捕捉视频，而不是仅仅在终端中鼓捣视频。
在设置Jetson设备时，Nvidia Jetpack会安装一个称为OpenCV4Tegra的特殊闭源版本的OpenCV，它针对Jetson进行了优化，并且比开源版本稍快。 虽然OpenCV4Tegra的运行速度比纯OpenCV 2更快，但OpenCV 2的所有版本都不支持从gstreamer中捕获视频，所以我们无法从中轻松获取视频。
如果您使用正确的选项从源代码编译OpenCV 3，它支持从gstreamer捕获视频。所以我们将用一个自编的OpenCV 3替换OpenCV4Tegra。一旦完成，通过gstreamer管道捕捉视频是非常容易的。
在Nvidia Jetson上使用GStreamer支持编译OpenCV 3
运行以下命令删除OpenCV4Tegra：
sudo apt-get purge libopencv4tegra-dev libopencv4tegra
sudo apt-get purge libopencv4tegra-repo
sudo apt-get update
下载Jetson Hacks的Jetson TX2 OpenCV安装程序：
git clone https://github.com/jetsonhacks/buildOpenCVTX2.git
cd buildOpenCVTX2
（关于这个脚本的更多信息《 Jetson Hacks’ own install guide》，可点击阅读原文进入链接.)
打开buildOpenCV.sh并将 -DWITH_GSTREAMER = OFF 更改为-DWITH_GSTREAMER = ON，确保OpenCV编译时使用gstreamer支持。
通过运行安装脚本构建OpenCV。 这将需要一些时间。
/buildOpenCV.sh
注意：Jetson Hacks也提醒：“make工具不会完成所有配置，您需要根据经验后到build目录去重新运行make“。
最后，切换到构建目录以安装您刚刚构建的库。
Cd 〜/opencv /build
sudo make install
用OpenCV的GStreamer管道执行视频采集
现在安装可捕捉gstreamer视频的OpenCV，开始使用吧！幸运的是，我有一个很好的Github上的C ++示例脚本旨在通过OpenCV捕获gstreamer视频并输出在显示器上。让我们来看看。
gstreamer_view.cpp
/*
Example code for displaying gstreamer video from the CSI port of the Nvidia Jetson in OpenCV.
Created by Peter Moran on 7/29/17.
https://gist.github.com/peter-moran/742998d893cd013edf6d0c86cc86ff7f
*/
#include <opencv2/opencv.hpp>
std::string get_tegra_pipeline(int width, int height, int fps) {
return "nvcamerasrc ! video/x-raw(memory:NVMM), width=(int)" + std::to_string(width) + ", height=(int)" +
std::to_string(height) + ", format=(string)I420, framerate=(fraction)" + std::to_string(fps) +
"/1 ! nvvidconv flip-method=2 ! video/x-raw, format=(string)BGRx ! videoconvert ! video/x-raw, format=(string)BGR ! appsink";
}
int main() {
// Options
WIDTH = 1920;
HEIGHT = 1080;
FPS = 30;
// Define the gstream pipeline
std::string pipeline = get_tegra_pipeline(WIDTH, HEIGHT, FPS);
std::cout << "Using pipeline: \n\t" << pipeline << "\n";
// Create OpenCV capture object, ensure it works.
cv::VideoCapture cap(pipeline, cv::CAP_GSTREAMER);
if (!cap.isOpened()) {
std::cout << "Connection failed";
return -1;
}
// View video
cv::Mat frame;
while (1) {
cap >> frame; // Get a new frame from camera
// Display frame
imshow("Display window", frame);
cv::waitKey(1); //needed to show frame
}
}
首先，我们使用Nvidia的nvcamerasrc接口定义一个高效的流水线，并确保我们预转换为BGR色彩空间。然后我们定义一个使用GStreamer的捕获对象。最后，我们捕获每一帧并以无限循环显示它。很简单！