直面配分函数

我们看到许多概率模型（通常是无向图模型）由一个未归一化的概率分布 ˜p(x, θ) 定义。我们必须通过除以配分函数 Z(θ) 来归一化 ˜p，以获得一个有效的概率分布：

配分函数是未归一化概率所有状态的积分（对于连续变量）或求和（对于离散变量）：

或者

对于很多有趣的模型而言，以上积分或求和难以计算。有些深度学习模型被设计成具有一个易于处理的归一化常数，或被设计成能够在不涉及计算 p(x) 的情况下使用。然而，其他一些模型会直接面对难以计算的配分函数的挑战。因此，我们需要了解用于训练和评估那些具有难以处理的配分函数的模型的技术。