CHEM ALGEBRA: ALGEBRAIC REASONING ONCHEMICAL REACTIONS
CHEM ALGEBRA: ALGEBRAIC REASONING ONCHEMICAL REACTIONS
摘要：
虽然在各种学习任务上表现出令人印象深刻的表现，但目前尚不清楚深度学习模型是否有能 力稳健地处理推理任务。衡量机器学习模型中推理的稳健性具有挑战性，因为需要提供一项 任务，该任务不能通过利用数据中的虚假统计相关性轻易简化，同时对复杂的对象和约束进 行操作。为了解决这个问题，我们提出了CHEMALGEBRA，这是一种通过预测化学计量平衡 的化学反应来衡量深度学习模型推理能力的基准。CHEMALGEBRA需要在代数约束 (例 如质量守恒原理)下操纵一组复杂的离散对象 (分子表示为公式或图形)。我们相信 CHEMALGEBRA可以作为下一代机器推理模型的有用测试平台，并作为其发展的推动者。
简介
深度学习模型，尤其是 Transformer 架构，目前在自然语言和音频处理、计算机视觉和计算化学等许多应用领域都达到了 最先进的水平 (Lin 等人， 2021 年；Khan 等人., 2021 年；布拉索维亚努和安多尼， 2020 年)。如果有足够的数据和 足够的参数来拟合，这些模型能够学习复杂的相关性 (Brown 等人， 2020 年)。这些在机器学习任务上令人印象深刻的 表现表明它们可能是机器推理任务的合适人选(Helwe et al., 2021)。
推理是将知识表示转化为更适合解决新问题的形式的能力 (Bottou， 2014 年；Garcez 等人， 2019 年)。特别是，代数推理包括一组推理操作，例如对复杂对象的抽象、算术运算和系统组合。代数推理与学习系统执行系 统泛化的能力有关 (Marcus， 2003 年；Bahdanau 等人， 2018 年；Sinha 等人， 2019 年)，即在其训 练的数据分布之外做出稳健的预测。这本质上比从数据中发现相关性更具挑战性，因为它需要学习系统实际捕获 特定任务的真正底层机制 (Pearl， 2009 年；Marcus， 2018 年)。
最近，人们非常关注训练变形金刚（Transformer）学习如何推理 (Helwe 等人， 2021 年；Al‑Negheimish 等人， 2021 年；Storks 等人， 2019 年；Gontier 等人， 2020 年)。这通常是通过在自然语言公式中嵌入代数推理问题来完成的。自然语言尽 管具有灵活性，但并不精确并且容易走捷径 (Geirhos 等人， 2020 年)。因此，通常很难确定模型在推理任务上的表现是 真实的还是仅仅是由于利用了数据中的虚假统计相关性。这方面的几项工作表明 (Agrawal et al., 2016; Jia & Liang, 2017; Helwe et al., 2021)后者可能是这种情况。
为了有效评估深度学习模型的推理能力，我们需要准确设计任务，i)对复杂对象进行操作，ii)需要进行代数推理，iii )不 能通过利用数据中的潜在相关性来走捷径。我们将化学反应预测确定为这些迫切需要的合适候选者。首先，化学反应 可以自然地解释为对复杂物体袋的转换：反应物分子通过操纵其图形结构转变为产物分子，同时遵守某些约束条件， 例如质量守恒定律。其次，可以将这些变换分析为 (子)图上的代数运算 (例如，通过观察键的形成和溶解 (Bradsha 等人， 2019 年))，并平衡它们以保持质量守恒可以形式化为求解线性系统方程式，正如我们将在第 2节中展示的 那样。第三，化学分子和反应的语言比自然语言要明确得多，并且通过控制化学计量系数，即分子多重性，在训练和测 试时，我们可以更精确地测量系统概括。
最后，变形金刚在学习反应预测方面已经表现出色 (Tetko 等人， 2020 年；Irwin 等人， 2022 年)。1因此，我们认为这可以成为衡量现代深度学习和推理能力之间当前差距的坚实试验 台学习模型。
本文的主要贡献如下：
1.我们将化学反应预测作为推理任务，学习者不仅要预测一组产品，还要纠正化学计量系数的变化 (第2 节)。
2.我们评估了当前最先进的用于化学反应预测的 Transformers，表明它们在对它们所训练的化学反应数据集的简 单变体进行推理时无法稳健地概括 (第3 节)。
3.我们引入CHEMALGEBRA作为机器推理的一种新的具有挑战性的基准，我们可以在其中更精确地衡量深度学习 模型在分布内、交叉和分布外设置中对图包进行代数推理的能力 (第4节) ).
完整论文请阅读原文
相关推荐：
Self-building Neural Networks 代码
一个epoch打天下：深度Hebbian BP (华为实验室)
一个epoch打天下-理论基础：短期突触可塑 建模动态环境的最优性
代码Unsup Visual Dynamics Simulation with Object-Centric Models