給盲人一双眼睛：用Jetson NANO做一个盲人导航器

一个老外开发者做了一个开源项目：Deepway。这个项目是用Jetson NANO开发套件給盲人做一个导航器。他不是通过声音来給盲人指示，而是别出心裁地通过触觉給盲人传递路况信息。

让我们看看他是怎么做的。

准备的材料：

1. Nvidia Jetson Nano。
2. Arduino纳米。
3. 2个伺服电机。
4. USB音频适配器（因为jetson nano没有音频插孔）
5. 以太网电缆
6. 网络摄像头
7. 英伟达Jetson Nano电源适配器
8. 3D打印机。（不必要）
9. Latop（首选Nvidia GPU）或任何云服务提供商。

首先用3D打印机做了一个眼镜架：

图片

眼镜上的电子设备非常简单。它只是与ardunio nano连接的两个伺服电机。arduino nano接收来自jetson的信号（使用pyserial库），而Arduino Nano控制伺服电机。

图片

图片

图片

戴起来是酱样子的：

图片

开发过程：

- 收集数据集并生成图像蒙版。

小哥制作了公路视频，并将这些视频转换为jpg视频。这样，小哥收集了大约10000张图像的数据集。从左，右和中心视图（因此自动标记了）收集了图像。例如：

图片

对于Unet，小哥必须为输入数据创建二进制掩码，他使用LabelBox生成二进制掩码。（这花费了很多时间）。示例如下->

图片

为了从Labelbox下载带标签的数据，小哥制作了一个名为“ downloader.py”的小实用程序。

-模型训练

小哥训练了一个车道检测模型，该模型可以预测要进入的车道（左，中，右）。损耗与迭代曲线如下：

图片

-使用Mobilenet V1 SSD进行行人检测

小哥使用一个现成的存储库进行行人检测（https://github.com/qfgaohao/pytorch-ssd）。它在jetson nano上以大约10 FPS（单独）运行，并且精度也相当不错。

运行结果：

图片

1. 车道检测模型非常有效，在jetson nano上以约25 fps的速度运行。我认为这对于30 FPS相机真的很不错。
2. 现在在做路径规划的幼稚方法。假设：只有人会在街上。
3. 总体而言，系统以3 FPS的速度运行。小哥使用5V 2 Amp的USB B型电源以5W的功率运行nano。使用5V 4A电源在10W模式下运行jetson将进一步提高性能。

图片

具体开源项目可以点击：https://github.com/satinder147/DeepWay.v2/tree/master

希望此项目可以給大家一些启发，做自己的项目。

更多内容：

利用NVIDIA TRT和Deepstream创建一个实时车牌检测和识别应用程序

Jetson NANO新手必学课程，还有证书可以拿！

用Jetson NANO做一个驯犬器：你家狗狗是不是goodboy?

美女小姐姐在Jetson Xavier NX上实现车道线检测