如何在Jetson TX2上使用CSI相机

最近发现不少Jetson TX2用户都在考虑如何选择相机,尤其是关于CSI相机。Lady我在网上找到一篇不错的文章,来自于一位软件工程师,分享给大家

在本文里,他将重点告诉大家:

为什么用CSI相机

如果您希望获得最佳性能(根据FPS,分辨率和CPU使用情况),或者需要对摄像机进行底层控制,并且您愿意支付一台摄像机,CSI摄像机应该是您的摄像机的主要选择这些功能的优质。

我个人使用CSI相机,因为我需要高分辨率的视频,同时保持可接受的帧率。 在TX2搭配 Leopard Imaging IMX377CS 摄像头,我轻松以〜20 fps的速度拖动4k视频, 真棒。 我也喜欢CSI相机上具备更换镜头的能力,通常使用小型C-Mount或M12镜头。 由于GoPro的流行,有很多C/CS-Mount镜头以及用于将数码单反相机镜头转换为C-Mount的镜头转接器.

另一方面,USB摄像头的价格非常便宜,通常通过V4L2协议即可使用,对于不需要高性能视频的应用来说,它是一个很好的选择。 你可以用$20买到720p视频罗技C270,正如加州州立理工大学在他们有据可查的文件中所做的'Jet'机器人套件,这足以让他们的机器人玩具车识别并收集物体、找到人脸、定位线条等。

一个在Nvidia开发人员论坛上发布了非常棒的文章用户Jazza指出USB和CSI相机之间的进一步比较:

USB相机:

· 优:很容易整合。

· 优:可以做很多的离线的图像工作(曝光控制,帧率等)。

· 优:提供输入/中断功能,可为您节省计算应用程序时间(例如,在新帧上中断)。

· 缺:由于USB总线使用CPU时间,如果使用100%CPU,这会影响您的应用程序。

· 缺:对于使用硬件视觉管线(硬件编码器等)不是最佳的。

· 优:可以长距离工作(最高可达USB标准)。

· 优:可以支持更大的图像传感器(1英寸或更高,以获得更好的图像质量和更少的噪音)。

CSI汇流排相机:

· 优:根据CPU和内存使用情况进行优化,以便将图像处理并存入内存。

· 优:可以充分利用硬件的视觉管线。

· 缺:支持较短距离(通常不超过10cm)。除非您使用序列化系统(GMSL,FPD Link,COAXPress,Ambarella),但这些系统目前尚不成熟并且需要定制。

· 缺:通常与手机相机模块的小型传感器一样,要不就得多花点钱去定制。通过TX1/2中的硬件去噪降低小传感器的额外噪音。

· 优:可执行底层访问与控制传感器/摄像头。

为什么CSI相机比USB摄像头更好?

USB的最大问题是带宽和处理需求。USB 3.0可以推送5Gbps,技术上足以接受60 fps/1080p或20fps/4K(3840p)未压缩的视频流(你自己看)。但是,这仅仅基于带宽,并没有揭示处理视频时额外处理和内存管理瓶颈的真相。 例如,See3CAM_CU130 USB 3.0相机应该可以达到60fps 1080p,但在TK1上真测结果,只能支持18 fps/1080p压缩格式,而未压缩的格式只有1fps。虽然在计算性能更强的机器上性能会更好,但这是问题的证据。

相反,Jetson TX1和TX2支持6个专用的MIPI CSI-2摄像机端口,每通道(lans)带宽可达2.5 Gb/s,双图像服务处理器(ISP)提供1.4 Gigapix/s处理能力,换句话说,它具有三个4k摄像机(或者六个30fps/1080p相机)带宽。当然,带宽并非全部,因为这些图像需要移动和处理,但通过使用硬件视觉管道,图像可以跳过加载到DRAM中,并通过独立于主CPU处理视频来减少CPU负载。根据我自己的经验,通过利用TX2上的这些硬件功能,我能够以接近20 fps速度运行4k视频。这就是为什么视频可以通过CSI摄像头如此高效地工作 - 专用于视频的独立硬件,就像GPU专门用于3D图形一样。

有哪些支持Jetson的CSI相机

在我的研究中,发现在关于CSI相机的资源很少。Jetson Wiki有一个全面的调查不同相机选项的页面,也许能让Jetson开发人员找到一些提示:

至于实际产品供应方面,有:

e-con Syetems,他们为Jetson设备提供CSI摄像头和USB摄像头。

Leopard Imaging,为Jetson提供订制的CSI相机。

这两家公司都是Nvidia的官方影像合作伙伴,并提供从相机提取数据所需的驱动程序和说明。

我个人使用Leopard Imaging的IMX377CS并发现它很给力,也提供不错的安装驱动程序说明。

原文发布于微信公众号 - 吉浦迅科技(gpusolution)

原文发表时间:2018-04-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯技术工程官方号的专栏

大型DCI网络智能运营实践

? 9月14-15日,GOPS全球运维大会上海站圆满举行,为期两天的运维盛宴,为各位运维人带来了相互交流和学习的绝佳平台,来自腾讯技术工程事业群(TEG)网络...

1272
来自专栏互联网数据官iCDO

手把手教你用Excel分析网站流量(实例讲解)

前言:随着运营精细化发展,如何通过品牌沉淀的数据挖掘出更多优化可能,是每个运营、产品甚至技术的必修课。这篇文章将主要阐述我是如何通过发现问题、提出猜测、验证猜想...

39015
来自专栏Crossin的编程教室

【读者投稿】数据说话,Python 的就业状况如何

不少读者在学习编程之后,做了一些自己的练手项目,或者积累了一些学习经验和心得,希望可以与更多的学习者交流分享。 因此,我们决定新增一个小栏目,提供给大家一个展...

3056
来自专栏Crossin的编程教室

爆款游戏《贪吃蛇大作战》的 Python 实现

感觉游戏审核新政实施后,国内手游市场略冷清,是不是各家的新游戏都在排队等审核。媒体们除了之前竞相追捧《Pokemon Go》热闹了一把,似乎也听不到什么声音了。...

3787
来自专栏web前端教室

【完工】仿制 豆瓣电影 app beta(二)

今天小年,长话短说,先祝大家小年快乐。 然后用vueJs做的这个仿制豆瓣电影的web app,就算是搞定了,看下面的视频演示, 虽然界面依然是很简陋,但基本逻辑...

3357
来自专栏FreeBuf

基于开源程序漏洞的攻击在2017年将增长20%

现在,无论是商业软件还是程序员自行开发的小程序,开源代码已经变得越来越普遍了,而开源似乎也已经成为了一种趋势。但需要注意的是,Black Duck软件公司的研究...

2048
来自专栏AI研习社

定了!Python 团队将于 2020 年 1 月 1 日停止支持 Python 2.7

AI 研习社消息,日前,Python 初始设计者及主要架构师 Guido van Rossum 在 Python 官方邮件组表示,他们将于 2020 年 1 月...

37115
来自专栏人工智能头条

微软正式发布分布式大规模图数据处理引擎 Graph Engine 1.0 预览版

1555
来自专栏数据科学与人工智能

【ETL技能】白话数据仓库 ETL 搭建全过程

经过多年来企业信息化建设,大部分都拥有了自己的财务,OA,CRM 等软件。这些系统都有自己的独立数据库,记录着企业运行情况某个方面的数据。但是单独看这些系统的报...

4419
来自专栏数据科学与人工智能

【数据分析】如何做用户行为路径分析?

用户行为路径分析是互联网行业特有的一类数据分析方法,它主要根据每位用户在App或网站中的点击行为日志,分析用户在App或网站中各个模块的流转规律与特点,挖掘用户...

7385

扫码关注云+社区