Caffe2 - Detectron 安装

AIHGF

发布于 2019-02-18 10:26:44

1.3K0

发布于 2019-02-18 10:26:44

文章被收录于专栏：AIUAI

Detectron 安装

Detectron 项目地址

基于 Caffe2.

Detectron 项目：

Feature Pyramid Networks for Object Detection
Mask R-CNN - Marr Prize at ICCV 2017
Detecting and Recognizing Human-Object Interactions
Focal Loss for Dense Object Detection - RetinaNet – Best Student Paper Award at ICCV 2017
Non-local Neural Networks
Learning to Segment Every Thing
Data Distillation: Towards Omni-Supervised Learning.
Faster R-CNN
RPN
Fast R-CNN
R-FCN

基于的 Backbone 网络结构：

ResNeXt{50,101,152}
ResNet{50,101,152}
Feature Pyramid Networks (with ResNet/ResNeXt)
VGG16

Mask RCNN 输出.

From Detectron README.md.

1. Detectron 安装

Detectron 现还未给出 CPU 实现，需要基于 GPU 环境.

Requirements:

NVIDIA GPU, Linux, Python2
Caffe2, various standard Python packages, and the COCO API
CUDA 8.0, cuDNN 6.0.21.

1.1 Caffe2 安装

参考 Caffe2 - (一)Source 安装及问题解决和 Caffe2 官方 Install Instructions.

由于 Detectron 需要 Caffe2 包含 Detectron module，查看是否有该模块，没有的话更新 Caffe2 版本.

将 Caffe2 的 Python package 路径添加到 PYTHONPATH 环境变量，并确保 Caffe2 安装成功：

# To check if Caffe2 build was successful
python2 -c 'from caffe2.python import core' 2>/dev/null && echo "Success" || echo "Failure"

# To check if Caffe2 GPU build was successful
# This must print a number > 0 in order to use Detectron
python2 -c 'from caffe2.python import workspace; print(workspace.NumCudaDevices())'

1.2 依赖性安装

Python 依赖项：

pip install numpy pyyaml matplotlib opencv-python>=3.0 setuptools Cython mock

COCO API 安装：

# COCOAPI=/path/to/clone/cocoapi
git clone https://github.com/cocodataset/cocoapi.git $COCOAPI
cd $COCOAPI/PythonAPI
# Install into global site-packages
make install
# Alternatively, if you do not have permissions or prefer
# not to install the COCO API into global site-packages
python2 setup.py install --user

1.3 Detectron 安装

Clone Detectron reposity： # DETECTRON=/path/to/clone/detectron git clone https://github.com/facebookresearch/detectron $DETECTRON
设置 Python 模块： cd $DETECTRON/lib && make
测试 Detectron 安装，如 SpatialNarrowAsOp test： python2 $DETECTRON/tests/test_spatial_narrow_as_op.py

安装完成后，即可用提供的模型进行推理测试.

2. COCO Dataset

Detectron 通过软链接将 COCO 数据集的 images 和 annotations 链接到路径 lib/datasets/data，如：

ln -s /path/to/coco $DETECTRON/lib/datasets/data/coco

更多关于 COCO 数据集和其它数据集软链接创建方法参考：lib/datasets/data/README.md.

完成以后，即可进行模型训练.

3. 定制新的 Operators

首先阅读 FAQ.md 中关于定制 operators 的部分.

方便起见，Detectron 提供 CMake 支持以编译定制的 operators. 所有的定制 operators 可以被编译成单个库，以便于从 Python 动态的加载.

将定制的 operator 实现放在路径 lib/ops/ .

参考示例 tests/test_zero_even_op.py，关于如何从 Python 中加载定制的 operators.

编译定制的 operators 库： cd $DETECTRON/lib && make ops
测试定制的 operator 是否成功： python2 $DETECTRON/tests/test_zero_even_op.py

4. Detectron Docker 镜像

Detectron Dockerfile

首先，创建 Caffe2 镜像： cd /path/to/caffe2/docker/ubuntu-16.04-cuda8-cudnn6-all-options # Use the latest Caffe2 master sed -i -e 's/ --branch v0.8.1//g' Dockerfile docker build -t caffe2:cuda8-cudnn6-all-options .
然后，创建 Detecron 镜像： cd $DETECTRON/docker docker build -t detectron:c2-cuda8-cudnn6 .
运行 Detectron 镜像，如 BatchPermutationOp test： nvidia-docker run --rm -it detectron:c2-cuda8-cudnn6 python2 tests/test_batch_permutation_op.py

5. 问题及解决

5.1 Caffe2 Operator Profiling

profiling 为 Caffe2 提供了有用的 operators benchmarking 和 debugging 工具，示例可参考 BatchPermutationOp test.

Profiling 不是默认编译的，可以在运行 Caffe2 CMake 时设置 -DUSE_PROF=ON 以开启.

5.2 CMake Cannot Find CUDA and cuDNN

编译 Caffe2 时如果找不到 CUDA 和 cuDNN 路径，可以在编译时指定 CMake 的 CUDA 和 cuDNN 路径：

cmake .. \
  # insert your Caffe2 CMake flags here
  -DCUDA_TOOLKIT_ROOT_DIR=/path/to/cuda/toolkit/dir \
  -DCUDNN_ROOT_DIR=/path/to/cudnn/root/dir

类似地，编译定制的 Detectron operators 时可以运行：

cd $DETECTRON/lib
mkdir -p build && cd build
cmake .. \
  -DCUDA_TOOLKIT_ROOT_DIR=/path/to/cuda/toolkit/dir \
  -DCUDNN_ROOT_DIR=/path/to/cudnn/root/dir
make

可以采用相同的方式，处理机器上同时有多个 CUDA 和 cuDNN 版本时的情况.

5.3 Protobuf Errors

Caffe2 使用 protobuf 作为序列化格式，并需要其版本高于 3.2.0.

如果 protobuf 版本较低，可以从 Caffe2 的 protobuf 子模块编译 protobuf，来代替旧版本.

编译 Caffe2 protobuf 子模块： # CAFFE2=/path/to/caffe2 cd $CAFFE2/third_party/protobuf/cmake mkdir -p build && cd build cmake .. \ -DCMAKE_INSTALL_PREFIX=$HOME/c2_tp_protobuf \ -Dprotobuf_BUILD_TESTS=OFF \ -DCMAKE_CXX_FLAGS="-fPIC" make install
指定 Caffe2 CMake 到新版本的 protobuf： cmake .. \ # insert your Caffe2 CMake flags here -DPROTOBUF_PROTOC_EXECUTABLE=$HOME/c2_tp_protobuf/bin/protoc \ -DPROTOBUF_INCLUDE_DIR=$HOME/c2_tp_protobuf/include \ -DPROTOBUF_LIBRARY=$HOME/c2_tp_protobuf/lib64/libprotobuf.a

5.4 Caffe2 Python Binaries

如果在编译 Caffe2 Python binaries时，不能找到需要的 Python 路径，如 virtualenv 环境，可以指定 Caffe2 CMake 到 python library 库路径和 include 路径：

cmake .. \
  # insert your Caffe2 CMake flags here
  -DPYTHON_LIBRARY=$(python2 -c "from distutils import sysconfig; print(sysconfig.get_python_lib())") \
  -DPYTHON_INCLUDE_DIR=$(python2 -c "from distutils import sysconfig; print(sysconfig.get_python_inc())")