我正在尝试用TensorRT C++ API (不是从其他框架,如caffe,tensorflow)原生编写的模型运行半精度推理;据我所知,没有这个问题的公共工作示例;我找到的最接近的是sampleMLP示例代码,与一起发布,但说不支持fp16;
我的玩具示例代码可以在中找到。它包含应用编程接口实现的体系结构和推理例程,以及我用来将经过训练的权重字典转换为wtd TensorRT格式的python脚本。我的玩具架构只包含一个卷积;目标是在fp32和fp16之间获得类似的结果,除了一些合理的精度损失;代码似