Tensorflow的C语言接口部署DeeplabV3+语义分割模型

OpenCV学堂

发布于 2020-02-14 12:34:04

1.5K0

发布于 2020-02-14 12:34:04

来自:中国电科智慧城市建模仿真与智能技术重点实验室文字编辑：gloomyfish

前言概述

tensorflow框架一般都是基于Python调用，但是有些时候跟应用场景，我们希望调用tensorflow C语言的接口，在C++的应用开发中使用它。要这么干，首先需要下载tensorflow源码，完成编译，然后调用相关的API函数实现C语言版本的调用，完成模型的加载、前向推理预测与解析。

本文主要讲DeeplabV3+语义分割模型的tensorflow C接口部署，不涉及到模型的训练过程，训练过程可以参考：

https://github.com/tensorflow/models/tree/master/research/deeplab.

官方提供了PASCAL VOC 2012，Cityscapes，ADE20K不同数据集上预训练好的模型，同时还有基于ImageNet预训练好的不同backbone网络，包括mobilenetv2，xception，resnet，我们可以根据自己的需求来选择合适的backbone。本文不涉及tensorflow C版本的编译，只是讲解如何通过API调用预训练模型进行前向推理预测，模型的导出文件为：

frozen_inference_graph.pb

Mat转Tensor

在tensorflow中，输入数据格式为Tensor格式，有专门的函数读取图片及转换，但这样给图像预处理带来了不便，所以一般情况下，会先用opencv对图像进行读取及预处理，再从opencv的Mat格式转为tensorflow的Tensor格式，代码如下：区区几行代码，却是参考了无数资料及测试才得出来的，真是心酸

TF_Tensor* CreateTensor(TF_DataTypedata_type, conststd::int64_t* dims, std::size_tnum_dims, constvoid* data, std::size_tlen) 
{
    if (dims == nullptr || data == nullptr) 
    {
        returnnullptr;
    }
    TF_Tensor* tensor = TF_AllocateTensor(data_type, dims, static_cast<int>(num_dims), len);
    if (tensor == nullptr) 
    {
        returnnullptr;
    }
    void* tensor_data = TF_TensorData(tensor);
    if (tensor_data == nullptr) 
    {
        TF_DeleteTensor(tensor);
        returnnullptr;
    }
    std::memcpy(TF_TensorData(tensor), data, std::min(len, TF_TensorByteSize(tensor)));
    return tensor;
}

TF_Tensor* Mat2Tensor(cv::Matimg) 
{
    conststd::vector<std::int64_t>input_dims = { 1, 513, 513, 3 };
    autodata_size = sizeof(std::uint8_t);
    for (autoi : input_dims)
    {
        data_size *= i;
    }
    cv::resize(img, img, cv::Size(513, 513));
    cvtColor(img, img, cv::COLOR_RGB2BGR);
    TF_Tensor* image_input = CreateTensor(TF_UINT8, input_dims.data(), input_dims.size(), img.data, data_size);
    returnimage_input;
}

GPU资源设置

我们在执行推理的过程中，可能并不希望模型使用全部的GPU资源，又或者希望不同模型使用不同的GPU资源，这个时候需要设置。代码如下:

TF_SessionOptions *options = TF_NewSessionOptions();
uint8_tconfig[16] = { 0x32, 0xe, 0x9, 0x0, 0x0, 0x0, 0x0, 0x0, 0x0, 0xd0, 0x3f, 0x20, 0x1, 0x2a, 0x1, 0x30};
TF_SetConfig(options, (void*)config, 16, status);

这个是模型使用25%的GPU资源，GPU的id为0，通过如下python代码即可获得配置参数。

import tensorflow as tf
gpu_options = tf.GPUOptions(allow_growth=True,per_process_gpu_memory_fraction=0.25,visible_device_list='0')
config = tf.ConfigProto(gpu_options=gpu_options)
serialized = config.SerializeToString()
list(map(hex, serialized))
print(list(map(hex, serialized)))

利用上面的配置，逐步打开及关闭3个模型的GPU使用情况如下图：