问如何评估通过机器学习技术获得的结果的不确定性？

EN

以下是我所知道的一些主要方法。一种方法是使用贝叶斯机器学习，它学习整个参数空间的概率分布(参见巴恩的“贝叶斯深度学习概论”)。然而，这些方法在计算上往往是昂贵的。

对于分类问题，最常用的方法是使用能够输出类概率(如交叉熵损失)的分类器。虽然这一概率可以解释为不确定性，但它通常没有得到很好的校准。对模型的标定是指模型的不确定性反映了预测结果。例如，我们期望用>= 80%的确定性对80%的样本进行正确分类。因此，可以在分类步骤之后增加校准步骤。

对于回归问题，一种天真的方法是使用不同的权重初始化来训练多个模型，要么通过打包，要么对深度学习模型进行训练。然后，每个模型预测的方差可以解释为不确定性。例如，我们可以使用一个集合，其中我们也使用预测的平均值作为集合预测。然而，这给出了对不确定性的过度自信的估计.

对于深度学习模式，我知道还有其他几种方法。

第一种是蒙特卡罗辍学(Gal和Ghahramani的Dropout作为贝叶斯近似:表示深度学习中的模型不确定性)，它可以应用于任何使用辍学的深度学习模型。该方法利用丢包的随机性来估计预测中的方差或不确定性，可应用于回归模型和分类模型。

其次是将损失函数改为负对数似然(NLL)函数。当用于回归时，它提供了均值和方差的估计。因此，使用这种方法的模型有两个输出-一个用于平均值，另一个用于方差。早期的工作是Nix和Weigend估计目标概率分布的均值和方差，它使用不同的MLP来表示均值和方差。最近的一项工作(Lakshminarayanan等人:S的简单可扩展预测不确定度估计)将此技术应用于任何神经网络，并将其与集成技术相结合，从而进一步提高了不确定性估计。

我也不知道有任何文件可以“证明”ML在一般情况下是有效的。许多技术都是建立在优化、距离度量的基础上的，实际上没有任何概率对应。

我也非常怀疑一些算法输出概率，除非它们是基于统计分布的。但正如其他一些答案所暗示的，我认为对于某些技术来说，模拟可能是正确的方法。决策树在卡方分布中至少有一定的统计基础。我和我认为，随机森林的发展是为了模拟一些概率，尽管ML中的概率通常是算法的内部因素，并不能真正概括到我们通常认为的统计预测概率。