一个老外开发者做了一个开源项目:Deepway。这个项目是用Jetson NANO开发套件給盲人做一个导航器。他不是通过声音来給盲人指示,而是别出心裁地通过触觉給盲人传递路况信息。
让我们看看他是怎么做的。
准备的材料:
首先用3D打印机做了一个眼镜架:
眼镜上的电子设备非常简单。它只是与ardunio nano连接的两个伺服电机。arduino nano接收来自jetson的信号(使用pyserial库),而Arduino Nano控制伺服电机。
戴起来是酱样子的:
开发过程:
- 收集数据集并生成图像蒙版。
小哥制作了公路视频,并将这些视频转换为jpg视频。这样,小哥收集了大约10000张图像的数据集。从左,右和中心视图(因此自动标记了)收集了图像。例如:
对于Unet,小哥必须为输入数据创建二进制掩码,他使用LabelBox生成二进制掩码。(这花费了很多时间)。示例如下->
为了从Labelbox下载带标签的数据,小哥制作了一个名为“ downloader.py”的小实用程序。
小哥训练了一个车道检测模型,该模型可以预测要进入的车道(左,中,右)。损耗与迭代曲线如下:
-使用Mobilenet V1 SSD进行行人检测
小哥使用一个现成的存储库进行行人检测(https://github.com/qfgaohao/pytorch-ssd)。它在jetson nano上以大约10 FPS(单独)运行,并且精度也相当不错。
运行结果:
具体开源项目可以点击:https://github.com/satinder147/DeepWay.v2/tree/master
希望此项目可以給大家一些启发,做自己的项目。