如何为训练好的模型选择半精度(BFLOAT16 vs FLOAT16)？
如何为训练好的模型选择半精度(BFLOAT16 vs FLOAT16)？
提问于 2021-09-30 23:58:24
您将如何决定哪种精度最适合您的推理模型？BF16和F16都需要两个字节，但它们对分数和指数使用不同的位数。
范围将是不同的，但我试图理解为什么一个人选择一个而不是另一个。
谢谢
|--------+------+----------+----------|
| Format | Bits | Exponent | Fraction |
|--------+------+----------+----------|
| FP32 | 32 | 8 | 23 |
| FP16 | 16 | 5 | 10 |
| BF16 | 16 | 8 | 7 |
|--------+------+----------+----------|
Range
bfloat16: ~1.18e-38 … ~3.40e38 with 3 significant decimal digits.
float16: ~5.96e−8 (6.10e−5) … 65504 with 4 significant decimal digits precision.回答 1
Stack Overflow用户
回答已采纳
发布于 2021-10-02 00:54:35
bfloat16通常更易于使用，因为它可以作为float32的临时替代品。如果您的代码不能创建nan/inf编号或使用float32将非0转换为0，那么粗略地说，它也不应该使用bfloat16来实现这一点。所以，如果你的硬件支持它，我会选择它。
如果您选择float16，请查看AMP。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/69399917
复制相关文章
相似问题
腾讯云开发者
