开源|MultiNet模型解决Kitti数据集自动驾驶中的道路分割、车辆检测和街道分类(附源代码)

文章来源:GitHub 作者:Marvin Teichmann 翻译:张妮娜

MultiNet模型分析

MultiNet能够同时完成道路分割、汽车检测和道路分类的任务。MultiNet模型的实时存档速度和分割性能都处于最先进水平。详细的模型描述请查阅我们的论文。

优化后的MultiNet模型在实时速度下表现良好,其要素KittiSeg在道路分割方面设置了一项新的最先进技术,而另一要素KittiBox在推理速度和检测性能上对基线Faster-RCNN进行了改进。

该模型被设计为encoder-decoder架构,在每项任务中使用一个VGG编码器和几个独立解码器。此存储库包括允许在一张网络中将几个tensorflow模型的通用代码组合在一起,不可视任务的代码由KittiSeg、KittiBox和KittiClass存储库提供,这些存储库在该项目中作为子模块。该项目的构建旨在与TensorVision后端兼容,后端能够以十分简洁的方式组织实验。

要求

代码需要Tensorflow 1.0版本以及以下python库:

  • matplotlib
  • numpy
  • Pillow
  • scipy
  • runcython

这些模块可以通过以下代码进行安装:

pip install numpy scipy pillowmatplotlib runcython or pip install -r requirements.txt。

建立

1、克隆该存储库:https://github.com/MarvinTeichmann/MultiNet.git

2、将所有子模块初始化:git submodule update--init --recursive

3、通过 'cd submodules / KittiBox /submodules / utils / && make构建cython代码

4、[可选]下载KittiRoad数据:

ⅰ. 这里检索 kitti 数据url网址: http://www.cvlibs.net/download.php?file=data_road.zip

ⅱ.指令python download_data.py --kitti_url URL_YOU_RETRIEVED

5、[可选]运行cdsubmodules / KittiBox / submodules / KittiObjective2 / && make构建Kitti评估代码(更多详细信息请参阅子模块/ KittiBox /submodules / KittiObjective2 / README.md)

使用demo.py运行模型只需要完成步骤1至3。只有当您想使用train.py训练模型时,才需要步骤4和5。需要注意的是,我建议使用download_data.py,而不是自行下载数据。该脚本还将提取并准备相应的数据。如果您想控制数据的存储位置,请参阅“管理数据存储”这部分内容。

教程

入门

运行:python demo.py --gpus 0 --inputdata / demo / um_000005.png使用demo.png作为输入指令以获取预测信息。

运行:python evaluate.py对一个训练模型进行评估。

运行:python train.py --hypes hypes /multinet2.json训练一个multinet2模型

如果您想理解这些代码,我建议先查看demo.py。我已经在文件中尽可能地记录下每个步骤。

只有MultiNet3(同时完成检测和分割任务)的训练是开箱即用的。用于训练分类模型的数据是不公开的,不能用于训练完整的MultiNet3(用于检测、分割和分类任务)模式。完整的代码已在此提供,因此,如果您有自己的数据,您仍然可以训练MultiNet3模型。

管理数据存储

MultiNet允许将数据存储与代码分离。这在许多服务器环境中非常受用。默认情况下,数据存储在MultiNet / DATA文件夹和MultiNet / RUNS中运行输出。可以通过设置bash环境变量$ TV_DIR_DATA和$ TV_DIR_RUNS来更改此行为。

在.profile中,包括导出TV_DIR_DATA =“/ MY / LARGE / HDD / DATA”在内,所有数据将被下载到/ MY / LARGE / HDD / DATA /。在您的.profile中包括导出TV_DIR_RUNS =“/ MY / LARGE / HDD / RUNS”,所有运行将保存到/ MY / LARGE / HDD / RUNS / MultiNet

修改模型并在您自己的数据上进行训练

该模型由文件hypes / multinet3.json控制。此文件将代码指向对子模型的实现过程中。使用MultiNet代码,将已提供的所有模型进行加载,并将解码器集成到一个神经元网络中。要在您自己的数据上进行训练,足以修改子模型的hype文件。从KittiSeg入手将是最佳选择,KittiSeg是有据可查的。

RUNDIR和实验组织

MultiNet可帮助您组织大量实验。为此,每次运行的输出都存储在MultiNet的rundir中。每个rundir包含:

  • output.log 打印到屏幕上的一个训练输出副本
  • tensorflowevents可在rundir中运行
  • tensorflow checkpoints,训练模型可从rundir中加载
  • [dir]images一个包含示例输出图像的文件夹。 image_iter控制整个验证集的转储频率
  • [dir] model_files为构建模型所需的所有源代码的副本。如您有很多版本的模型,此项操作对您是很有帮助的。

为跟踪所有实验,您可以以—name为flag,为每个rundir建立独特的名称。--project flag将运行存储在单独的子文件夹中,可以运行不同系列的实验。例如,运行python train.py --project batch_size_bench --name size_5将使用dir作为rundir:$ TV_DIR_RUNS/ KittiSeg / batch_size_bench / size_5_KittiSeg_2017_02_08_13.12。

使用flag--nosave非常有用,而非在rundir中插入垃圾信息。

有用的Flag&Variabels

以下Flag在使用KittiSeg和TensorVision时将会起到帮助,所有Flag可用于所有脚本。

--hypes:指定hype文件的使用

--logdir:指定logdir的使用

--gpus:指定在哪些GPU上运行代码

--name:为运行程序分配一个名称

--project:将项目分配给运行程序

--nosave:调试运行,logdir将被设置为debug

此外,以下TensorVision环境中的Variables将非常有用:

$ TV_DIR_DATA:指定数据的元目录

$ TV_DIR_RUNS:指定输出的元目录

$ TV_USE_GPUS:指定默认GPU行为

在集群上,设置$ TV_USE_GPUS = force是有用的。这将使flag—gpus变为强制性操作,并确保在正确的GPU上运行。

论文地址:https://arxiv.org/pdf/1612.07695.pdf GitHub资源:https://github.com/MarvinTeichmann/MultiNet

转自 全球人工智能

原文发布于微信公众号 - CreateAMind(createamind)

原文发表时间:2017-03-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

【最新TensorFlow1.4.0教程01】TF1.4.0介绍与动态图机制 Eager Execution使用

【导读】主题链路知识是我们专知的核心功能之一,为用户提供AI领域系统性的知识学习服务,一站式学习人工智能的知识,包含人工智能( 机器学习、自然语言处理、计算机视...

3828
来自专栏专知

Tensorflow Eager Execution入门指南

本文介绍了最新版的Tensorflow 1.7的功能及其使用方法,重点介绍其中最有趣的功能之一eager_execution,它许用户在不创建静态图的情况下运行...

53412
来自专栏机器之心

资源 | TensorFlow分布式计算机制解读:以数据并行为重

选自clindatsci 作者:Neil Tenenholtz 机器之心编译 参与:Jane W、黄小天 Tensorflow 是一个为数值计算(最常见的是训...

3997
来自专栏PPV课数据科学社区

手把手教你用1行代码实现人脸识别 -- Python Face_recognition

环境要求: Ubuntu17.10 Python 2.7.14 环境搭建: 1. 安装 Ubuntu17.10 > 安装步骤在这里 2. 安装 Python2....

4058
来自专栏专知

【干货】快速上手图像识别:用TensorFlow API实现图像分类实例

【导读】1月17日,Arduino社区的编辑SAGAR SHARMA发布一篇基于TensorFlow API的图像识别实例教程。作者通过TensorFlow A...

8137
来自专栏专知

【前沿】Pytorch开源VQA神经网络模块,让你快速完成看图问答

【导读】近期,NLP专家Harsh Trivedi使用Pytorch实现了一个视觉问答的神经模块网络,想法是参考CVPR2016年的论文《Neural Modu...

2928
来自专栏ATYUN订阅号

防止在训练模型时信息丢失 用于TensorFlow、Keras和PyTorch的检查点教程

如果你玩过电子游戏,你就会明白为什么检查点(chekpoint)是有用的了。举个例子,有时候你会在一个大Boss的城堡前把你的游戏的当前进度保存起来——以防进入...

5605
来自专栏简书专栏

基于xgboost的波士顿房价预测kaggle实战

2018年8月24日笔记 这是作者在波士顿房价预测项目的第3篇文章,在查看此篇文章之前,请确保已经阅读前2篇文章。 第2篇文章链接:https://www....

1.4K3
来自专栏芋道源码1024

Dubbo 源码解析 —— LoadBalance

前言 终于到了集群容错中的最后一个关键词,也就是 LoadBalance(负载均衡),负载均衡必然会涉及一些算法.但是也不用太担心,算法这个词虽然高大上,但是算...

3914
来自专栏ATYUN订阅号

Machine Box创始人教你快速建立一个ML图像分类器

AiTechYun 编辑:Yining Machine Box的创始人Mat Ryer在medium上分享了一篇博文,意在教你在硬盘上快速的建立一个机器学习图像...

3496

扫码关注云+社区