TensorRT多线程
TensorRT多线程
提问于 2020-07-04 00:20:43
我正在尝试使用python API来使用TensorRt。我正在尝试在多个线程中使用它，其中Cuda上下文与所有线程一起使用(在单个线程中一切都很好)。我使用docker与tensorrt:20.06-py3图像，一个onnx模型，和Nvidia 1070图形处理器。
多线程方法应该是允许的，正如这里提到的TensorRT Best Practices。
我在主线程中创建了上下文：
cuda.init()
device = cuda.Device(0)
ctx = device.make_context()我尝试了两种方法，第一种是在主线程中构建引擎，然后在执行线程中使用它。本例给出了此错误。
[TensorRT] ERROR: ../rtSafe/cuda/caskConvolutionRunner.cpp (373) - Cask Error in checkCaskExecError<false>: 10 (Cask Convolution execution)
[TensorRT] ERROR: FAILED_EXECUTION: std::exception其次，我尝试在线程中构建模型，它给了我这个错误：
pycuda._driver.LogicError: explicit_context_dependent failed: invalid device context - no currently active context?调用'cuda.Stream()‘时出现错误
我确信我可以在相同的Cuda上下文中并行运行多个Cuda流，但我不知道如何做到这一点。
回答 1
Stack Overflow用户
发布于 2020-07-30 18:19:05
我找到了一个解决方案。其思想是创建一个普通的全局ctx = device.make_context()，然后在每个执行线程中执行以下操作：
ctx.push()
---
Execute Inference Code
---
ctx.pop()源代码和完整示例的链接是here
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/62719277
复制相关文章
相似问题
腾讯云开发者
