每日论文速递 | 【ICLR24】用语言模型预测表格Tabular

深度学习自然语言处理 分享 整理：pp

摘要：深度神经网络（DNNs）的可迁移性在图像和语言处理领域取得了显著进展。然而，由于表格之间的异构性，这种DNN的优势在表格数据预测（例如回归或分类任务）方面仍未充分利用。语言模型（LMs）通过从不同领域提炼知识，具有理解来自各种表格的特征名称的能力，有望成为在不同表格和多样化预测任务之间转移知识的多才多艺的学习者，但它们的离散文本表示空间与表格中的数值特征值不兼容。在本文中，我们介绍了TP-BERTa，这是一个专门针对表格数据预测进行预训练的LM模型。具体而言，一种新颖的相对大小标记化将标量数值特征值转换为精细离散的高维标记，而一种内部特征注意方法则将特征值与相应的特征名称集成在一起。全面的实验证明，我们的预训练TP-BERTa在表格DNNs中表现出色，并且在典型的表格数据领域与梯度提升决策树模型相竞争。

https://arxiv.org/abs/2403.01841

Q1: 这篇论文试图解决什么问题？

A：这篇论文试图解决的问题是如何有效地利用预训练的语言模型（LMs）来处理表格数据预测任务。具体来说，它关注以下几个关键问题：

1. 表格数据的异质性：表格数据通常包含多种类型的列和特征空间，这导致了预训练模型在表格数据上的应用受到限制，因为它们需要处理数值型和类别型特征的异质性。
2. 数值特征的连续性：与图像和文本数据不同，表格数据中的数值特征具有广泛的值范围，这使得直接将这些数值特征输入到预训练的语言模型中变得困难，因为语言模型通常处理离散的文本表示。
3. 特征名称的处理：表格数据中的特征名称通常包含有用的信息，但现有的预训练模型并没有很好地利用这些信息。

为了解决这些问题，论文提出了TP-BERTa（Tabular Prediction adapted BERT approach），这是一个专门为表格数据预测任务定制的预训练语言模型。TP-BERTa通过以下方式来提高模型在表格数据上的性能：

• 相对大小标记化（Relative Magnitude Tokenization）：将数值特征值转换为离散的、高维的标记，以便在语言模型的词汇表中表示。
• 内部特征注意力（Intra-Feature Attention）：在将特征输入到语言模型之前，通过注意力机制整合特征名称和数值的嵌入，以保留特征名称的语义信息。
• 预训练和微调：在大量表格数据集上进行预训练，以学习表格数据的通用模式，然后在特定任务上进行微调。

通过这些方法，TP-BERTa旨在提高预训练语言模型在表格数据预测任务中的性能，并与梯度提升决策树（GBDTs）等传统方法竞争。

Q2: 有哪些相关研究？

A：论文中提到的相关研究主要集中在以下几个方面：

表格数据的转移学习：近期的研究强调了表格转移学习的重要性。例如，TransTab 和 XTab 利用共享的 Transformer 块在 FT-Transformer 架构中进行跨表格学习。TransTab 专注于具有共同特征名称的临床试验表格，以便于部分重叠特征嵌入，而 XTab 探索了更广泛的领域，使用特定于数据集的编码器。

语言模型（LMs）的应用：语言模型在自然语言处理（NLP）领域的成功表明了它们作为常识知识库的能力。通过在大量领域无关的语料库上进行自监督预训练，LMs 能够隐式地捕捉不同单词或短语之间的关联，显示出作为表格转移代理的潜力，因为它们在统一的语言空间内具有对特征名称的处理能力。

合成表格数据的生成：早期尝试将 LMs 应用于表格预测主要集中在合成表格数据的生成上，例如缺失值插补。GReaT 和 TapTap 通过在简单的模板化表格文本上微调 GPT-2，将数值视为字符串，这导致了对数值的不敏感性。

基于 BERT 的模型：Ye 等人（2023）开发了一个基于 BERT 的模型（CT-BERT），使用大型表格数据库和与 TransTab 类似的技术。然而，这些研究忽略了为理解连续数值值定制 LMs 的需求，这是表格的一个关键方面，对 LMs 来说是一个挑战。

深度学习模型：在表格数据上应用深度神经网络（DNNs）的研究，如 Popov 等人（2019）、Song 等人（2019）和 Wang 等人（2021）的工作，这些研究为跨模态处理铺平了道路。

梯度提升决策树（GBDTs）：在表格数据上，GBDTs（如 XGBoost 和 CatBoost）由于其出色的性能，仍然是许多任务的基准。

其他表格数据学习方法：包括 MLP、TabNet、AutoInt、DCNv2、FT-Transformer 和 SAINT 等，这些方法在表格数据上的表现也被用于与 TP-BERTa 进行比较。

这些相关研究为 TP-BERTa 的提出提供了背景和动机，同时也为评估 TP-BERTa 的性能提供了基准。

Q3: 论文如何解决这个问题？

A：论文通过提出一个名为 TP-BERTa（Tabular Prediction adapted BERT approach）的预训练语言模型来解决表格数据预测问题。TP-BERTa 的关键创新点包括：

1. 相对大小标记化（Relative Magnitude Tokenization, RMT）：为了将数值型特征值转换为离散的、高维的标记，论文提出了一种新颖的标记化方法。这种方法受到特征分箱（feature binning）技术的启发，使用 C4.5 决策树算法对数值特征进行分箱，将连续的数值值转换为对应的分箱索引。这些索引作为新的“大小标记”添加到预训练模型的词汇表中，使得模型能够理解数值的相对大小。
2. 内部特征注意力（Intra-Feature Attention, IFA）模块：为了在将特征输入到语言模型之前整合特征名称和数值，论文开发了一个共享的多头自注意力（MHSA）模块。这个模块接受特征名称和数值的嵌入，并将它们融合成一个单一的向量。这样，每个特征名称-数值对都有一个向量表示，该表示包含了名称和数值的信息，同时避免了其他特征的干扰。
3. 预训练和微调：TP-BERTa 在多个大型表格数据集上进行预训练，这些数据集包括二元分类和回归任务。预训练过程中，模型学习了表格数据的通用模式。在下游任务中，模型通过微调来适应特定任务的数据分布。
4. 性能评估：论文在广泛的下游数据集上评估了 TP-BERTa 的性能，包括与经典的 GBDTs、先进的深度表格模型和跨表格模型的比较。实验结果表明，预训练的 TP-BERTa 在表格数据预测任务中表现出色，与 GBDTs 竞争。

通过这些方法，TP-BERTa 能够有效地处理表格数据中的数值特征，同时利用预训练模型在大量数据上学到的知识，提高了表格数据预测任务的性能。

Q4: 论文做了哪些实验？

A：论文中进行了一系列实验来评估TP-BERTa模型的性能和验证其设计的有效性。以下是主要的实验内容：

1. 预训练：在101个二元分类和101个回归数据集上对TP-BERTa进行预训练。这些数据集总共包含约1000万个样本。预训练过程中，模型学习了表格数据的通用模式。
2. 下游任务评估：在80个二元分类和65个回归数据集上进行下游任务的评估。这些数据集用于测试TP-BERTa在不同类型表格数据上的性能。
3. 性能比较：将TP-BERTa与多种现有的表格预测模型进行比较，包括梯度提升决策树（GBDTs）、深度神经网络（DNNs）如MLP、TabNet、AutoInt、DCNv2、FT-Transformer和SAINT，以及跨表格模型如TransTab和XTab。
4. 数值编码策略比较：比较了TP-BERTa的相对大小标记化（RMT）与两种其他数值编码策略（Value2Str和VMFE）的性能差异。
5. 内部特征注意力（IFA）模块的消融研究：通过移除IFA模块，直接将所有特征名称和值输入到语言模型，来评估IFA模块对模型性能的影响。
6. 预训练与非预训练模型的比较：比较了预训练的TP-BERTa与随机初始化权重的TP-BERTa以及使用RoBERTa权重初始化的TP-BERTa的性能差异。
7. 设计细节的必要性分析：通过消融研究，探讨了TP-BERTa设计中的关键细节（如RMT的数量、是否对值向量位置编码等）对模型性能的影响。
8. 转移学习能力评估：通过在不同数据集上训练和测试TP-BERTa，评估了模型在表格数据上的转移学习能力。
9. 可解释性分析：通过可视化RMT的嵌入，分析了TP-BERTa对数值大小的敏感性。

这些实验旨在全面评估TP-BERTa在表格数据预测任务中的性能，并验证其设计选择的有效性。实验结果表明，TP-BERTa在表格数据预测任务中表现出色，与GBDTs等传统方法具有竞争力。

Q5: 有什么可以进一步探索的点？

A：尽管TP-BERTa在表格数据预测任务中取得了显著的进展，但仍有一些潜在的研究方向可以进一步探索：

更好的数值表示：TP-BERTa目前更擅长处理以类别型特征为主的表格数据。未来的研究可以探索更有效的数值表示方法，以提高模型在纯数值型数据集上的性能。

特征选择和降维：在高维表格数据中，特征选择和降维对于提高模型性能和解释性至关重要。研究如何将特征选择和降维技术与预训练语言模型相结合可能是一个有价值的方向。

跨领域适应性：虽然TP-BERTa在多个数据集上进行了预训练，但如何使模型更好地适应特定领域或任务仍然是一个挑战。研究领域特定预训练或领域适应技术可能会进一步提高模型的泛化能力。

模型解释性：提高模型的可解释性对于理解其决策过程和增强用户信任至关重要。研究如何为TP-BERTa开发更直观的解释方法，例如通过注意力机制或特征重要性分析，可以为模型的决策提供更多洞察。

计算效率和资源优化：预训练大型语言模型通常需要大量的计算资源。研究如何优化TP-BERTa的预训练和微调过程，以减少计算成本和内存需求，对于实际应用尤为重要。

多模态数据融合：表格数据往往与其他类型的数据（如文本、图像）一起出现。研究如何将TP-BERTa与多模态学习方法相结合，以处理包含多种数据类型的复杂场景。

隐私保护和安全性：在处理敏感数据时，如何确保模型的隐私保护和安全性是一个重要问题。研究如何在不泄露用户隐私的情况下利用预训练模型进行表格数据预测，例如通过差分隐私或联邦学习技术。

模型鲁棒性：提高模型对噪声数据、异常值和对抗性攻击的鲁棒性，对于确保模型在现实世界应用中的可靠性至关重要。研究如何增强TP-BERTa在这些方面的鲁棒性，可以提高模型的实用性。

这些研究方向不仅可以推动表格数据预测技术的发展，还可以为预训练语言模型在更广泛领域的应用提供新的视角和方法。

Q6: 总结一下论文的主要内容？

A：这篇论文的主要内容可以总结如下：

1. 问题定义：论文针对表格数据预测任务中深度神经网络（DNNs）的转移性问题，特别是如何有效地利用预训练的语言模型（LMs）来处理表格数据的异质性和数值特征的连续性。
2. 方法提出：提出了一个名为TP-BERTa的预训练语言模型，专门针对表格数据预测任务。TP-BERTa通过相对大小标记化（RMT）将数值特征转换为离散的标记，并使用内部特征注意力（IFA）模块来整合特征名称和数值。
3. 实验设计：在多个大型表格数据集上进行预训练，并在广泛的下游数据集上评估TP-BERTa的性能。与GBDTs、先进的深度表格模型和跨表格模型进行了比较。
4. 结果分析：实验结果表明，TP-BERTa在表格数据预测任务中表现出色，与GBDTs竞争，特别是在处理具有丰富类别型特征的表格数据时。
5. 消融研究：通过消融研究，验证了RMT和IFA模块在提高模型性能方面的重要性。同时，比较了预训练和非预训练模型的性能差异。
6. 局限性讨论：论文讨论了TP-BERTa在处理隐私敏感或语义不完整的表格数据时的局限性，并提出了在这些情况下可能的解决方案。
7. 未来工作：指出了未来研究的方向，包括改进数值表示、提高模型的领域适应性、增强模型的可解释性和鲁棒性等。

总的来说，这篇论文通过提出TP-BERTa模型，展示了预训练语言模型在表格数据预测任务中的潜力，并为后续研究提供了新的思路和方法。

以上内容均由KimiChat生成，深入了解论文内容仍需精读论文