ONNXRUNTIME | Faster-RCNN ONNX模型在C++与Python推理不一致原因找到了
ONNXRUNTIME | Faster-RCNN ONNX模型在C++与Python推理不一致原因找到了
点击上方↑↑↑“OpenCV学堂”关注我
onnxruntime 推理python与c++支持
现象
最近用torchvision中的Faster-RCNN训练了一个自定义无人机跟鸟类检测器，然后导出ONNX格式，Python下面运行效果良好！显示如下：
然后我就想把这个ONNXRUNTIME部署成C++版本的，我先测试了torchvision的预训练模型Faster-RCNN转行为ONNX格式。然后针对测试图像，代码与测试效果如下：
transform = torchvision.transforms.Compose([torchvision.transforms.ToTensor()])
sess_options = ort.SessionOptions()
# Below is for optimizing performance
sess_options.intra_op_num_threads = 24
# sess_options.execution_mode = ort.ExecutionMode.ORT_PARALLEL
sess_options.graph_optimization_level = ort.GraphOptimizationLevel.ORT_ENABLE_ALL
ort_session = ort.InferenceSession("faster_rcnn.onnx", sess_options=sess_options)
src = cv.imread("D:/images/cars.jpg")
image = cv.cvtColor(src, cv.COLOR_BGR2RGB)
blob = transform(image)
c, h, w = blob.shape
input_x = blob.view(1, c, h, w)
def to_numpy(tensor):
return tensor.detach().cpu().numpy() if tensor.requires_grad else tensor.cpu().numpy()
# compute ONNX Runtime output prediction
ort_inputs = {ort_session.get_inputs()[0].name: to_numpy(input_x)}
ort_outs = ort_session.run(None, ort_inputs)
boxes = ort_outs[0] # boxes
labels = ort_outs[1] # labels
scores = ort_outs[2] # scores
print(boxes.shape, boxes.dtype, labels.shape, labels.dtype, scores.shape, scores.dtype)
index = 0
for x1, y1, x2, y2 in boxes:
if scores[index] > 0.5:
cv.rectangle(src, (np.int32(x1), np.int32(y1)),
(np.int32(x2), np.int32(y2)), (0, 255, 255), 1, 8, 0)
label_id = labels[index]
label_txt = coco_names[str(label_id)]
cv.putText(src, label_txt, (np.int32(x1), np.int32(y1)), cv.FONT_HERSHEY_PLAIN, 1.0, (0, 0, 255), 1)
index += 1
cv.imshow("Faster-RCNN Detection Demo", src)
cv.waitKey(0)
cv.destroyAllWindows()运行结果如下：
然后我把python代码转行为C++的代码，运行结果如下：
发现很多类型都变成 background类型 了，就是类型预测错误了！C++与Python推理使用的label-map文件完全一致，我晕了！
原因与修改
我仔细核对了两边预测输出三个层分别是boxes、labels、scores、解析顺序都没有错！然后我把python中输出三个层数据类型打印出来如下：
print(boxes.shape, boxes.dtype, labels.shape, labels.dtype, scores.shape, scores.dtype)输出打印结果如下：
(100, 4) float32 (100,) int64 (100,) float32可以证明：
Boxes 数据类型是浮点数Labels数据类型是int64scores数据类型是浮点数而我在ONNXRUNTIME C++获取输出的语句如下：
const int* labels_prob = ort_outputs[1].GetTensorMutableData(); // labelscv::Mat det_labels(boxes_shape[0], 1, CV_32S, (int*)labels_prob);直接用 int类型而不是int64 获取labels数据了，我立刻意识到是因为数据类型不一致导致的内存错误，我知道OpenCV中有个数据类型是int64，于是我把第一行代码改成：
const int64* labels_prob = ort_outputs[1].GetTensorMutableData();发现OpenCV Mat没有支持int64的，无法创建这样的Mat对象！
所以我放弃了，直接读取数组，代码如下：
int64 classId = labels_prob[i];std::cout<< "class id: " << classId << std::endl;就这样，再次运行演示程序，发现结果跟python版本的完全一致！
就这样我又改好了一个bug！
总结：
模型推理时刻注意C++的中数据类型问题！最后show一下我的成果：
扫码查看OpenCV+Pytorch系统化学习路线图
推荐阅读
OpenCV4.5.4 人脸检测+五点landmark新功能测试
OpenCV4.5.x DNN + YOLOv5 C++推理
OpenCV4.5.4 直接支持YOLOv5 6.1版本模型推理
