问神经网络优化

EN

最常用的神经网络优化方法是一个称为(随机)梯度下降的过程。您向网络提供输入和预期输出，在培训期间，模型输出将与预期输出进行比较。两者之间的区别是所谓的错误或损失。根据网络的错误或正确程度，可以计算出如何调整模型的参数/内部权重，以降低模型的误差。一个更深入的解释梯度下降(和一般的神经网络)可以找到在这个网站上。

神经网络是通过数学优化和尝试与错误探索相结合来训练的：

• 神经网络由可训练的参数组成。这些参数是用随机梯度下降的一些变体来训练的。可训练参数包括稠密层、卷积层、注意层、LSTM等。
• 神经网络的其他方面是无法训练的，但对网络的性能同样起决定性作用。它们被称为超参数。其中一些超参数是卷积层中滤波器的数量和大小、层数、嵌入维数等。对于决定哪些超参数值是最优的，您要么“凭直觉”选择它们，要么探索不同的值组合并检查哪种组合效果最好(例如随机搜索、网格搜索)，或者应用某种黑箱优化(贝叶斯优化、遗传算法等)。