大意了| ONNXRUNTIME C++ 版本推理部署踩坑记录

OpenCV学堂

发布于 2022-03-29 15:40:11

6.5K1

发布于 2022-03-29 15:40:11

文章被收录于专栏：贾志刚-OpenCV学堂贾志刚-OpenCV学堂

点击上方蓝字关注我们

微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识

前言

之前我安装了CUDA10.0跟cuDnn7.6.5 然后我在VS2017中配置了包含路径、库路径跟连接器，把环境变量加上，重启一下就可以运行onnxruntime-1.4 gpu版本，用YOLOv5导出onnx格式模型，跑的很欢畅。

-VS2017-CUDA10.1-cuDnn7.6.5-onnxruntime-1.4-gpu

Faster-RCNN转ONNX

周末的时候我想试试tensorRT+YOLOv5最新版本，就把CUDA升级到11.02了，然后cuDnn改到8.3.2，然后我发现官方没有对应编译好的onnxruntime-gpu版本，就下载了onnxruntime1.7 CPU版本，跟以前的配置又走了一次，结果我得到下面的错误：

(进程 9336)已退出，返回代码为: -1073741701。

-VS2017-cuda11.0.2-cudnn8.3.2-onnxruntime1.7-cpu-python3.6.5

然后我发现只要不引用onnxruntime就没事，用了就无法启动，百度一搜索各种说法的都有，总结最关键一条，DLL加载失败了，有些依赖没有找到，然后我直接用dumpbin.exe分析依赖一波，发现这些DLL都有啊，怀疑人生ing~~~~~~

然后就开始疯狂各种版本测试，结果还是这个错误！

折腾了一天，到晚上问了两个人，都建议我直接onnxruntime相关的lib跟dll文件copy到编译的exe目录下，还配置个毛线环境变量！然后我照做了，死马当活马医！然后居然奇迹出现了，正常启动了，可以跑了，有图为证！

std::shared_ptr<YOLOv5ORTDetector> detector(new YOLOv5ORTDetector());
std::vector<DetectResult> results;
detector->initConfig("D:/python/yolov5-6.1/yolov5s.onnx", 0.4, 0.25f);
cv::VideoCapture capture("D:/images/video/sample.mp4");
cv::Mat frame;
while (true) {
    bool ret = capture.read(frame);
    detector->detect(frame, results);
    for (DetectResult dr : results) {
        cv::Rect box = dr.box;
        cv::putText(frame, classNames[dr.classId], cv::Point(box.tl().x, box.tl().y - 10), cv::FONT_HERSHEY_SIMPLEX, .5, cv::Scalar(0, 0, 0));
    }
    cv::imshow("YOLOv5-6.1 + ONNXRUNTIME1.7 - by gloomyfish", frame);
    char c = cv::waitKey(1);
    if (c == 27) { // ESC 退出
        break;
    }
    // reset for next frame
    results.clear();
}