为什么我们在深度学习中使用对数概率？
为什么我们在深度学习中使用对数概率？
提问于 2020-08-10 12:25:04
在阅读论文“Sequence to Sequence Learning with Neural Networks”时，我产生了好奇心。事实上，不仅是这篇论文，还有许多其他论文都使用对数概率，这是有原因的吗？请检查附件中的照片。
回答 2
Stack Overflow用户
发布于 2020-08-12 16:36:12
有两个原因-
- Theoretical -由P(A).P(B)给出两个独立事件A和B共同出现的概率。如果我们使用log，即log(P(A)) + log(P(B))，这很容易映射到一个和。因此，更容易将神经元触发的“事件”作为线性函数来处理。
- Practical -概率值为0，1。因此，将两个或更多这样的小数字相乘很容易导致浮点精度算术中的下溢(例如，考虑乘以0.0001*0.00001)。一个实用的解决方案是使用日志来消除下溢。
Stack Overflow用户
发布于 2020-08-10 18:22:51
对于任何给定的问题，我们都需要优化参数的可能性。但是，优化产品需要一次获得所有数据，并且需要大量的计算。
我们知道，由于和的导数是导数的和，因此优化和要容易得多。因此，取log将其转换为sum，从而使计算速度更快。
参考this
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/63334122
复制相关文章
相似问题
腾讯云开发者
