在NVIDIA Jetson TX2上安装TensorFlow

正文共3070个字,3张图,预计阅读时间14分钟。

本文内容安排如下:

刷机

刷机完成后的操作

安装TensorFlow1.0.1

install TensorFlow v1.2.1

刷机

刷机的目的是把Ubuntu操作系统和JetPack SDK安装到Jetson TX2上。刷机的操作按照官方教程即可,比较容易。这个过程中有一点需要注意:Jetson TX2和宿主机Host必须连接在同一个路由器之下。Host会先把操作系统刷到TX2上,这一步是通过数据线连接的方式完成,然后使用SSH的方式安装Host上的SDK到TX2,所以Host和TX2需要连接在同一个路由器下,方便Host找到TX2的ip地址。

刷机开始的时候需要将TX2设置到RECOVRY MODE,设置方法在安装过程中会给出提示,请仔细阅读该提示即可完成操作。

另外一个问题是关于从网络下载安装文件到Host上过程中,因为我们公司网络为内网环境,无法连接到网络下载源,从而导致下载失败。如果遇到这种情况,更换网络环境就可以了。

刷机完成后的操作

这一部分主要是卸载Ubuntu里面一些不必要的软件,腾出更多磁盘空间。具体请参照jetsonHacks的postFlashTX1。我只是卸载了Libre Office,因为在以后的开发过程中不会用到这些。

另外,上面的教程也提供了添加swap file的脚本。添加swap file是为了在硬盘上创建虚拟内存,给编译像TensorFlow这种大型的项目提供足够的内存。例如TX2的真实内存只有8G,编译TF也需要至少8G的内存,所以有必要创建虚拟内存空间。

添加虚拟内存空间的操作,我直接参考了“How to install TensorFlow on the NVIDIA Jetson TX2?”中的Step 4:Create a Swap File,在磁盘上创建了8G的虚拟空间。

1. 创建8G大小的swapfile fallocate -l 8G swapfile

2. 更改swapfile的权限 chmod 600 swapfile

3. 创建swap区 mkswap swapfile

4. 激活swap区 sudo swapon swapfile

5. 确认swap区在用 swapon -s

执行第五步,输出中会有新建立的虚拟空间,否则确认是否正确执行了上面的命令。

创建虚拟内存空间成功

如果你没有建立虚拟内存空间,可能在build TF的时候会遇到如下类似的错误,在报错之前INFO的提示'Killed',正是由于内存不够用导致的。

out of memory导致的错误

伴随着这个错误的出现,系统还会有一些软件崩溃的症状,例如浏览器打开的网页全部崩溃。如果出现这种症状,你一定是忘记分配虚拟空间了。

安装TensorFlow

对于普通的Ubuntu、Windows等系统,TensorFlow提供了简单的pip方式,分为有GPU和无GPU版本,但是pip安装方式存在一个问题,TensorFlow执行CPU计算的效率低,没有优化,所以最好的安装方式是重新编译源码。另外,TX2的CPU是ARM架构,混合NVIDIA自家的CPU,所以目前只能重新编译、再安装TensorFlow。安装步骤直接按照TensorFlow on NVIDIA Jetson TX2 Development Kit即可。

如果你参考了How to install TensorFlow on the NVIDIA Jetson TX2?”中修改TF源码关于NUMA的部分。可能在你修改的时候,你会发现有所不同,文件tensorflow/stream_executor/cuda/cuda_gpu_executor.cc中的TryToReadNumaNode()函数源码中已经添加了对aarch64架构的识别和处理,

1static int TryToReadNumaNode(const string &pci_bus_id, int device_ordinal){
2#ifdef __aarch64__
3LOG(INFO) << "ARM64 does not support NUMA - returning NUMA node zero";
4return 0;
5...
6}

如果是这样,就不必修改源码。

否则,请阅读下面内容,完成类似修改由于TX2的ARM架构不支持NUMA,所以在build TensorFlow之前需要修改一下clone到本地的源码,具体中添加如下两行内容,避免后面使用TF的时候出现错误:

1LOG(INFO) << "ARM has no NUMA node, hardcoding to return zero";
2return 0;

如图:

ARM不支持NUMA,添加硬编码,返回0

install TensorFlow v1.2.1 on TX2

To use mobilenet on TX2 for object detection task, I have to use a newer TensorFlow than version 1.0.1. TF 1.2.1 is good for me, while JetsonHacks does not give guide to install TF 1.2.1 or some other versions but 1.0.1. After searching the Internet and read many talks on nvidia jetson forum, I get TF 1.2.1 working on TX2. Here is the steps:

1、install Bazel 0.5.2 from official website

1nvidia@tegra-ubuntu:~$ bazel version
2Build label: 0.5.2- (@non-git)
3Build target: bazel-out/local-  opt/bin/src/main/java/com/google/devtools/build/lib/bazel/BazelServer_deploy.jar
4Build time: Fri Aug 4 08:22:07 2017 (1501834927)
5Build timestamp: 1501834927
6Build timestamp as int: 1501834927

2、clone and checkout v1.2.1 for tensorflow

1# from $HOME/
2git clone https://github.com/tensorflow/tensorflow
3cd ./tensorflow
4git checkout v1.2.1

3、/configure

1./configure

All setting is default (just type ENTER) except for CUDA set to 'y'

4、fix workspace.bzl to get the right Eigen version for out ARMv8 on TX2 worksapce.bzl is in ./tensorflow/tensorflow/ , feel free to open it use some text editor or vim, find lines as follows:

 1native.new_http_archive(
 2name = "eigen_archive",
 3urls = [
 4  # "http://mirror.bazel.build/bitbucket.org/eigen/eigen/get/f3a22f35b044.tar.gz",
 5  # "https://bitbucket.org/eigen/eigen/get/f3a22f35b044.tar.gz",
 6  "http://mirror.bazel.build/bitbucket.org/eigen/eigen/get/d781c1de9834.tar.gz",
 7  "https://bitbucket.org/eigen/eigen/get/d781c1de9834.tar.gz",
 8],
 9# sha256 = "ca7beac153d4059c02c8fc59816c82d54ea47fe58365e8aded4082ded0b820c4",
10# strip_prefix = "eigen-eigen-f3a22f35b044",
11sha256 = "a34b208da6ec18fa8da963369e166e4a368612c14d956dd2f9d7072904675d9b",
12strip_prefix = "eigen-eigen-d781c1de9834",
13build_file = str(Label("//third_party:eigen.BUILD")),
14)

the lines above those starting with # are the source text, and I just use # to commet these lines and new urls, sha256 and strip_prefix are added.

5、bazel build

If you do not swapon swapfile, do it before build TF and then bazel build as following.

1bazel build -c opt --local_resources 3072,4.0,1.0 --cxxopt="-D_GLIBCXX_USE_CXX11_ABI=0" --verbose_failures --config=cuda //tensorflow/tools/pip_package:build_pip_package

then

1bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg

now you get tensorflow 1.2.1 on /tem/tensorflow_pkg/, use sudo pip install tensorflow-1.2.1-cp27-cp27mu-linux_aarch64.whl

参考

TensorFlow on NVIDIA Jetson TX2 Development Kit

Jetson TX1 Swap File and Development Preparation

installTensorFlowTX2

How to install TensorFlow on the NVIDIA Jetson TX2?

TensorFlow on Jetson TX2

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2018-05-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小白安全

渗透测试单行化工具One-Lin3r

One-Lin3r One-Lin3r是一款简单的轻量级框架,而该工具的灵感来自于Metasploit的web-delivery模块。该工具提供...

30150
来自专栏哲学驱动设计

OpenExpressApp 框架结构(2)

    上次随便画了一篇关于GIX4项目目前的类的结构图(见:GIX4 目前大致的类结构),目的是为了更好的认识系统,并对其进行改进。发现AutoUI部分的耦合...

18790
来自专栏企鹅号快讯

Python人工智能之图片识别,Python3一行代码实现图片文字识别

我们以识别诗词为例 下面是我们要识别的图片 ? 先看下效果图 ? 我们运行代码后识别的结果,有几个字没有正确识别,但是大多数字都能识别出来。 一行代码就能识别图...

70060
来自专栏大数据挖掘DT机器学习

用Python调用百度OCR接口实例

本文主要针对Python开发者,描述百度文字识别接口服务的相关技术内容。OCR接口提供了自然场景下整图文字检测、定位、识别等功能。文字识别的结果可以用于翻译、搜...

93750
来自专栏Deep learning进阶路

caffe随记(四) --- mnist示例超详细讲解

这个mnist手写体数字识别的例子可以说是caffe中的 Hello World。mnist最初用于支票上的手写数字识别,针对mnist识别的专门模型是Lene...

28500
来自专栏小白安全

sqlmap –dns-domain 突破延时注入

这是一个本地模拟环境进行测试。 首先dns注入 MySQL> show variables like ‘%skip%‘; +---------...

50760
来自专栏乐沙弥的世界

Oracle RAC OCR 的备份与恢复

        Oracle Clusterware把整个集群的配置信息放在共享存储上,这些信息包括了集群节点的列表、集群数据库实例到节点的映射以及CRS应用...

13120
来自专栏月色的自留地

为OPENCV添加freetype支持并显示中文字符(在mac上编译opencv及contrib库)

  在mac电脑上管理这些gnu的库一般都使用Homebrew,但总有一些你个性化的需要是官方的Homebrew配方无法满足的。比如在屏幕的输出中使用中文字...

50310
来自专栏琦小虾的Binary

Ubuntu 14.04 LTS下使用arm-linux-gcc交叉编译OpenCV 2.4.9

Ubuntu 14.04 LTS下使用arm-linux-gcc交叉编译OpenCV 2.4.9 当前两个手头有两个项目都是都需要在ARM板中使用OpenCV,...

1.3K90
来自专栏性能与架构

数据表水平拆分

水平拆分就是把一张大表的内容拆分到不同数据表中,来提升数据库的性能 1张表 -> N张表 ? 拆分是根据路由算法来决定 常用的路由算法:哈希值取模 例如 ...

36080

扫码关注云+社区

领取腾讯云代金券