从Facebook数据集出发，RetrieveGPT:增强代码混合信息检索的合并建议和数学模型！

未来先知

发布于 2025-01-08 15:00:32

810

文章被收录于专栏：未来先知

混代码现象，即在一个句子中融合多种语言的词汇和语法元素，是一种广泛的语言现象，尤其是在多语言社会中更为常见。在我国，社交媒体用户经常使用罗马字母混代码进行对话，特别是在形成在线群体以分享相关本地信息的情况下。本文主要关注从混代码对话中提取相关信息所面临的挑战，特别是罗马转音孟加拉语与英语混合的情况。本研究提出了一种新颖的方法来应对这些挑战，通过开发一种自动识别混代码对话中最相关答案的机制。作者使用了一个包含Facebook Query 和文档以及 Query 相关文件（QRels）的数据集来帮助这项任务。作者的结果表明，作者的方法在从复杂的混代码数字对话中提取相关信息方面具有有效性，为多语言和非正式文本环境下的自然语言处理领域作出了贡献。作者通过 Prompt 使用GPT-3.5 Turbo，并结合相关文档的顺序性来构建一个数学模型，以帮助检测与 Query 相关的文档。

1 Introduction

混码现象，即在单一句子中混合多个语言的元素，是多语言社会中一种自然且普遍的现象[1,2,3]。特别是在印度，这个拥有丰富语言多样性的国家， speakers 往往根据上下文、受众和交流媒介在不同语言之间频繁切换。随着在线社交网络的迅速崛起，这种做法在数字对话中变得越来越普遍，用户经常将他们的母语与其他语言相结合，通常使用外国文字[6,7]。

在印度，一个显著的趋势是使用罗马字母书写在社交媒体平台上的本族语言进行交流[8, 9]。这种做法在形成在线群体的移民社区中尤为常见，他们通过这些群体分享与他们独特情况相关的信息和经验[10, 11]。例如，来自印度西孟加拉邦的孟加拉语使用者在德里或班加罗尔等城市迁移后，通常会在Facebook和WhatsApp等平台上建立群体，如“德里孟加拉人”。这些群体成为交换各种本地问题建议的重要中心，从住房和就业到适应新的社交环境。

COVID-19大流行凸显了这些在线社区作为信息关键来源的重要性[12, 13]。在这个时期，这些群体变得至关重要，用于分享经验、寻求支持和跟进政府指南的频繁变化。然而，这些混合语对话中使用的非正式和口语化的语言，通常采用罗马字母转录，给信息检索带来了巨大的挑战。标准化缺失，再加上语言的混合，使得识别和提取相关信息变得困难，特别是对于那些可能在将来寻求类似信息的人来说[14, 15]。

本文针对从代码混合的数字对话中提取相关信息这一挑战展开讨论，特别关注罗马转音的孟加拉语与英语的混合。尽管代码混合在自然语言处理（NLP）领域是一个广为人知的现象，但转音文本的独特特性--如拼写、语法和语法的变化--使得有效信息检索变得复杂[16, 17]。为解决这一问题，作者开发了一种机制，用于识别这些复杂的多语言讨论中的最相关答案。

作者开始实验一个来自Facebook的代码混合对话数据集，该数据集经过仔细标注以反映 Query 相关性（QRels）。

这个数据集构成了作者的研究基础，对于评估作者方法的有效性至关重要。

作者利用GPT-3.5 Turbo [18, 19]通过使用精心设计的 Prompt 来指导模型评估与给定 Query 相关的文档的相关性。这不仅包括GPT-3.5 Turbo的语义理解能力，还包括文档顺序性质的战略使用。通常，文档是系列或对话的一部分， Query 的相关性可以受到前后文档的影响。通过承认这种顺序，作者可以更好地捕捉可能会在单独文档中遗漏的上下文关系。

为了规范化这个过程，作者将GPT-3.5 Turbo的输出集成到数学模型中。这个模型考虑了文档之间的顺序依赖性，将相关性检测任务视为在序列中找到最优路径或相关链的问题。

2 Related Work

代码混合和转音在自然语言处理（NLP）领域越来越受到关注，尤其是在全球交流变得更加数字化和多语言化的情况下。本节回顾了与代码混合、代码混合文本的信息检索以及处理罗马转音语言的挑战等相关的关键研究，特别是在印度语言的背景下。代码混合是指说话者在同一句话中混合多种语言元素的现象，这是多语言社会中常见的语言现象。早期关于代码混合的研究主要集中在社会语言学方面，研究说话者在对话中如何和为何切换语言。然而，随着数字通信的出现，研究行人越来越多地转向计算方法来处理和理解代码混合文本。

一些研究已经探索了各种自然语言处理（NLP）任务，如词性标注、语言识别和情感分析，在双语环境[31, 32]中。 [33, 34] 提供了关于双语文本的最早全面分析，突出了它对传统NLP流水线所面临的独特挑战，如非标准拼写、语法变化以及在一个文本中混合多个语言。引入了一种涵盖多个印度语言的代码混合数据集，已成为评估该领域NLP模型性能的基准。

信息检索（IR）在代码混合设置中的研究相对较少，与其他自然语言处理任务相比。然而，能够处理多语言和代码混合 Query 的有效信息检索系统的需求日益重要，尤其是在社交媒体平台上的数字信息交流背景下。 [41, 40] 研究了代码混合社交媒体数据中的 Query 聚焦摘要问题，强调了从嘈杂、非正式文本中提取相关信息的复杂性。 [42] 的工作解决了代码混合问题回答，目标是从混合语言语料库中识别正确答案。他们的方法涉及使用翻译模型对文本进行标准化，然后应用传统信息检索技术，表明即使是最简单的基于翻译的方法也可以显著提高性能。然而，这些方法往往无法捕捉到代码混合语言的细微差别，如文化背景和口语表达。

印度语言的罗马字母转写，通常被称为“罗马甘里”（Romanagari，如印地语），在数字通信中是一种广泛的做法。转写对自然语言处理（NLP）提出了额外的挑战，因为它通常涉及非标准的拼写和用法的不一致。例如，对于同一个词，可能存在多个转写，取决于说话人的地区口音、原始script的识字程度或个人喜好。

值得注意的是，这一领域的一些重要工作包括[43, 44]的研究，该研究探索了印地语-英语代码混合文本的转音规范化。他们开发了将罗曼字母转音映射回原始文本的算法，使传统NLP模型能够进行更精确的处理。然而，由于转音文本固有的可变性，规范化仍然是一项具有挑战性的任务。在孟加拉语的背景下，罗曼字母转音规范化不如印地语标准化，导致拼写和语法方面存在更大的可变性。[45, 46]通过创建罗曼孟加拉语数据集并提出转音规范化及语言识别方法来解决这个问题。他们的研究突显了处理罗曼孟加拉语的困难，并强调了针对该语言特征的专门方法的需求。

虽然这些研究为代码混合、音译和信息检索提供了有价值的洞察，但在解决罗马音转写的孟加拉语中提取相关信息的特定挑战方面，仍存在明显的差距。作者的工作建立在先前研究的基础上，但专注于在这些挑战的真实世界情境中的独特交集。通过开发一个在代码混合讨论中识别相关答案的机制，作者旨在为多语言自然语言处理领域的研究做出贡献，并提高语言多样性的在线社区中信息的可用性。

大型语言模型（LLMs）如GPT-3在各种自然语言处理（NLP）任务中展现出潜力，包括零样本和少样本学习。这使得GPT-3在资源受限的环境中成为可能强大的工具。然而，将LLMs应用于代码混合和形态丰富的语言仍然是一个未探索的领域。最近的研究开始探索使用 Transformer 和预训练模型进行多语言零样本学习，但这些模型在孟加拉语中的有效性还需要进一步研究。

本节将作者的工作置于现有研究背景中，突出前人研究的贡献，同时识别出作者的研究旨在填补的空白。

3 Dataset

这道共享任务涉及一个单一的代码混合信息检索数据集。语料库包括训练集中107900篇文档以及训练集中20个 Query 。测试集中有30个 Query 。数据集采用罗马转写英式混合语言。

4 Task Definition

自动确定 Query 在代码混合数据中的文档相关性，特别关注英语和罗马转音孟加拉语。

给定一个 Query 和一个文档，目标是判断 Query 是否与文档相关。基于相关性对文档进行排序。这涉及到处理代码混合的复杂性，其中两种语言的元素在同一文本中使用，以及处理语言的非正式和非标准化性质。尽管面临这些语言挑战，系统必须准确捕捉 Query 与文档之间的语义关系。

5 Methodology

Why Prompting?

Prompt [60]信息检索是一种迅速发展的方法，它利用大型语言模型（LLMs）来提高从复杂、非结构化数据中检索相关信息的效率，例如代码混合文本或非正式的在线对话[60]。以下是 Prompt 在信息检索（IR）中成为有效策略的几个原因：

处理歧义和语境细微差别： 传统的信息检索（IR）系统往往难以理解非结构化或非正式文本中的细微差别、歧义和语境，例如代码混合对话。通过 Prompt 语言模型，可以使这些模型更有效地解释上下文，引导它们生成或对响应进行排名，即使处理代码混合或非正式的语言结构也是如此[61]。通过编写特定的 Prompt ，用户可以获取更相关、更准确的结果，同时考虑输入文本的复杂性。

增强语言理解：大型语言模型如GPT-3.5在包含多种语言和方言的广泛数据集上进行预训练[62]。这种大规模的训练使它们能够理解和生成不同语言和上下文中的文本[62]。通过 Prompt ，这些模型可以被指导关注 Query 或文档中最相关的方面，从而在多语言和代码混合场景中改进检索过程。例如，在检索罗马转写孟加拉语与英语混合的信息时，LLM可以被 Prompt 更有效地识别和处理代码混合语言，而传统IR系统则无法做到这一点。

适应非正式和非结构化文本的能力： Prompt 允许语言模型适应社交媒体文本的非正式和非结构化性质 [63]，这在在线社区中很常见。这种灵活性在处理代码混合或音译文本时尤为有益，因为标准化程度低，对传统信息检索技术构成了挑战。受 Prompt 的语言模型可以生成或过滤出与原始文本的非正式语气和风格更接近的响应，从而提高检索信息的关联性。

降噪与无关信息减少： 在信息检索（IR）中，过滤掉无关或噪声数据是一个主要挑战，尤其是在非正式的在线对话中，离题或冗余信息很常见。通过使用针对性的 Prompt ，语言模型（LLM）可以被指示优先处理某些类型的信息，如针对特定问题的直接答案，同时降低或忽略无关内容[64]。这使得检索过程更加高效和有效，尤其是在用户在大量混合和非正式语言中寻求特定答案的环境中。

可扩展性和个性化： Prompt 信息检索提供了可扩展性和个性化，这在传统的信息检索系统可能并不具备。通过设计针对特定上下文或 Query 类型的 Prompt ，LLMs可以动态地调整以满足不同检索任务的需求[64, 65]。这种个性化定制在处理特定领域的语言或代码混合场景中尤为有用，在这些场景下，标准信息检索系统可能需要进行大量的重新训练或重新配置。

实时处理与交互： 在实时通信平台中，根据进行的对话快速检索相关信息对LLM至关重要。 Prompt 功能使LLM能够实时处理和回应 Query ，从而提高交互性和响应性[64]。这在用户参与主动讨论且需要立即、上下文相关的信息的情况下尤为有益。

Merging Prompt and Mathematical Model-Based Approaches

作者通过调用OpenAI API1，使用GPT-3.5 Turbo模型来解决文档检索任务。作者使用的 Prompt 如下：

已知 Query和文档，根据语义相似度判断 Query 与文档的相关性。给出0到1之间的相关性得分。在LLM生成输出时，以下步骤会在内部发生，概述使用GPT-3.5 Turbo的 Prompt 方法：

当前公式反映了，如果当前文档的得分低于0.3且前一个文档与当前文档相关，那么当前文档的相关性概率就等于当前文档的相关性得分。

如果前一篇文档相关，并且当前文档的分数大于等于0.3，那么当前文档相关的概率为0.2+当前文档的分数。对于第一篇文档，概率等于当前文档的相关分数。在所有其他情况下，概率等于当前文档的相关分数。如果某个文档的概率分数大于0.5，作者认为该文档与 Query 相关。通过这种方式，作者找出了所有与 Query 相关的文档。

对于报告的五个结果，作者在不同的温度值下运行GPT模型，即0.5，0，0.6，0.7，0.8和0.9。GPT-3.5 Turbo的图表如图1所示。表示方法的图表如图2所示。

6 Results

表1呈现了名为“TextTitans”团队的提交的不同提交的评估指标。用于评估性能的指标包括MAP分数、ndcg分数、p@5分数和p@10分数。以下这些结果意味着什么。MAP是信息检索中常见的指标，它衡量了多个 Query 结果的精确度。较高的MAP分数表示相关文档在所有 Query 中始终排名更高。在表格中，前四个提交的MAP分数相同（0.701773），而第五个提交的分数略有提高至0.703734。这表明第五个提交在多个 Query 中排名相关结果方面略胜一筹。ndcg分数衡量了根据相关文档的位置进行排名的质量。更高的ndcg分数表示相关文档在排名中更高。分数在各提交之间非常相似，前四个提交的ndcg分数为0.797937，而第五个提交的分数略有提高至0.799196。这表明第五个提交在排名相关文档方面略有改善。p@5衡量了前5名排名的文档中有多少是相关的。1分表示前5名排名的所有文档都是相关的。所有提交具有相同的p@5分数0.793333，表示所有提交的前5名结果的准确性相同。Precision@10衡量了前10名排名的文档中有多少是相关的。分数越高越好。与p@5类似，所有提交具有相同的p@10分数0.766667，表示不同提交的前10名结果没有变化。指标在各提交之间非常一致，只有第五个提交的MAP和ndcg分数略有改善。第五个提交在排名和检索准确性方面略有提高。