问加速GPT-2简单文本的生成

EN

我认为他们有更快的结果，因为他们的程序是更好的优化和他们有更大的计算能力。他们花很多钱买服务器。同样，艾地下城使用GPT-3，这可能只是更快。我也在和GPT-2的速度做斗争。如果你发现了什么就告诉我。干杯

像GPT-2这样的文本生成模型是缓慢的，当然更糟糕的是更大的模型，如GPT和GPT。

如果你想加快你的文本生成速度，你有几个选项：

• 用GPU。GPT-2不需要太多的VRAM，所以入门级GPU就可以了.在GPU上，用GPT-2生成20个令牌不应该超过1秒.
• 量化您的模型并将其转换为TensorRT。参见本教程：https://github.com/NVIDIA/TensorRT/tree/main/demo/HuggingFace/GPT2
• 通过专用的推理服务器(如TorchServe或)提供服务。

实际上，我写了一篇关于如何加快基于变压器模型的推理的文章。您可能会发现它很有用：如何加快深度学习推理

您可以使用OpenVINO优化的GPT-2模型版本。这个演示可以找到这里。它应该要快得多，因为它经过了很大的优化。