arXiv最新论文：轻松了解9月第3周NLP领域最新进展

ArXiv 9月第3周NLP领域论文

大型语言模型在临床文本摘要中超越人类专家的研究

• 标题：Clinical Text Summarization: Adapting Large Language Models Can Outperform Human Experts

• 链接：http://arxiv.org/abs/2309.07430v1

• 第一作者：Dave Van Veen

• 代码链接：https://github.com/stanfordmimi/clin-summ

• stars：9

• 更新时间：2023-09-14

关键内容：

• 论文研究了大型语言模型（LLMs）在临床摘要任务中的效果，通过领域自适应方法在六个数据集和四个不同的摘要任务上评估了八个LLMs的性能。

• 研究发现，最佳自适应的LLM生成的摘要在完整性和正确性方面优于人工生成的摘要，这表明LLMs在临床文本摘要中的表现超过了人类专家。

• 论文还通过定量NLP指标与医生偏好的读者研究分数的相关性，增进了对这些指标与医生偏好之间关系的理解。

离散标记符号的潜力：自监督学习在语音任务中的探索

• 标题：Towards Universal Speech Discrete Tokens: A Case Study for ASR and TTS

• 链接：http://arxiv.org/abs/2309.07377v1

• 第一作者：Yifan Yang

• 代码链接：https://github.com/k2-fsa/icefall

• stars：586

• 更新时间：2023-09-14

关键内容：

• 论文研究了自监督学习在语音相关任务中的应用，探索了利用离散标记符号进行语音识别和合成的方法。

• 论文比较和优化了不同领先的自监督学习模型生成的离散标记符号在语音识别和合成任务中的效果。

• 实验结果表明，离散标记符号在语音识别任务中与基于FBank特征的系统相当，并在语音合成任务中优于基于梅尔频谱特征的系统。

揭示多模态大型语言模型中的视觉指导效应

• 标题：Sight Beyond Text: Multi-Modal Training Enhances LLMs in Truthfulness and Ethics

• 链接：http://arxiv.org/abs/2309.07120v1

• 第一作者：Haoqin Tu

• 代码链接：https://github.com/ucsc-vlaa/sight-beyond-text

• stars：13

• 更新时间：2023-09-13

关键内容：

• 多模态大型语言模型（MLLMs）具有理解多模态输入和生成文本响应的能力。

• 在纯自然语言处理（NLP）环境中，通过视觉指导调整模型可以提高真实性和伦理对齐性。

• 视觉-文本数据的指导质量对模型的对齐性有重要影响。

利用SciBERT的新方法改进科学文献的文本分类

• 标题：Beyond original Research Articles Categorization via NLP

• 链接：http://arxiv.org/abs/2309.07020v1

• 第一作者：Rosanna Turrisi

• 代码链接：https://github.com/rturrisige/textclassification

• stars：1

• 更新时间：2023-09-13

关键内容：

• 提出了一种新颖的文本分类方法，用于处理科学文献中的未知类别。

• 使用自然语言处理技术和预训练语言模型（SciBERT）从ArXiv数据集的摘要中提取有意义的表示。

• 通过K-Means算法进行文本分类，并根据Silhouette分数确定最佳聚类数。

揭示情感分析中的单词与整体文本的相互增强效应

• 标题：USA: Universal Sentiment Analysis Model & Construction of Japanese Sentiment Text Classification and Part of Speech Dataset

• 链接：http://arxiv.org/abs/2309.03787v2

• 第一作者：Chengguang Gan

• 代码链接：https://huggingface.co/ganchengguang/USA-7B-instruction-incontext-learning

• stars：0

• 更新时间：2023-09-14

关键内容：

• 情感分析是自然语言处理领域中的关键任务，包括文本级情感极性分类和词级词性情感极性确定。

• 通过利用单词和整体文本之间的相互增强效应（MRE），提高情感分析的性能。

• 研究了词极性如何影响整体段落的情感。

指导调整模型的安全性与帮助性的平衡

• 标题：Safety-Tuned LLaMAs: Lessons From Improving the Safety of Large Language Models that Follow Instructions

• 链接：http://arxiv.org/abs/2309.07875v1

• 第一作者：Federico Bianchi

• 代码链接：https://github.com/vinid/instruction-llms-safety-eval

• stars：3

• 更新时间：2023-09-14

关键内容：

• 强调帮助性而忽视安全性的指导调整模型存在安全隐患。

• 在训练集中添加少量安全示例可以显著提高模型的安全性。

• 过度的安全调整可能导致模型对合理提示的回应过于谨慎。

开源库Agents：构建自主语言代理的利器

• 标题：Agents: An Open-source Framework for Autonomous Language Agents

• 链接：http://arxiv.org/abs/2309.07870v1

• 第一作者：Wangchunshu Zhou

• 代码链接：https://github.com/aiwaves-cn/agents

• stars：601

• 更新时间：2023-09-14

关键内容：

• 大型语言模型（LLMs）的最新进展使得研究人员和开发者能够构建自主语言代理，通过自然语言界面自动解决各种任务并与环境、人类和其他代理进行交互。

• 发布了名为Agents的开源库，旨在将这些进展开放给更广泛的非专业人士。

• Agents库支持重要功能，包括规划、记忆、工具使用、多代理通信和细粒度符号控制，既适用于非专业人士构建、定制、测试、调优和部署最先进的自主语言代理，也方便研究人员进行扩展。

通向通用人工智能的道路：基于大型语言模型的代理研究

• 标题：The Rise and Potential of Large Language Model Based Agents: A Survey

• 链接：http://arxiv.org/abs/2309.07864v1

• 第一作者：Zhiheng Xi

• 代码链接：https://github.com/woooodyy/llm-agent-paper-list

• stars：330

• 更新时间：2023-09-14

关键内容：

• 追求超越人类水平的人工智能（AI）一直是人类的长期目标。

• 大型语言模型（LLMs）被认为是构建通用人工智能代理的潜在火花。

• 探索基于LLMs的代理在不同场景下的广泛应用。

解析大型语言模型中的幻觉问题：分类、分析与未来研究方向

• 标题：Cognitive Mirage: A Review of Hallucinations in Large Language Models

• 链接：http://arxiv.org/abs/2309.06794v1

• 第一作者：Hongbin Ye, Tong Liu, Aijia Zhang, Wei Hua, Weiqiang Jia

• 代码链接：https://github.com/hongbinye/cognitive-mirage-hallucinations-in-llms

• stars：8

• 更新时间：2023-09-13

关键内容：

•幻觉问题是指在文本生成任务中，大型语言模型（LLMs）会产生不准确、不合理或无意义的输出。

• 提出了一种新的分类法，用于描述文本生成任务中的幻觉现象。

• 分析了大型语言模型中的幻觉问题，并提供了现有的检测和改进方法。

• 提出了未来研究方向，以进一步解决幻觉问题。

ImageBind-LLM：通过图像和文本对齐训练的多模态指令调整方法

• 标题：ImageBind-LLM: Multi-modality Instruction Tuning

• 链接：http://arxiv.org/abs/2309.03905v2

• 第一作者：Jiaming Han

• 代码链接：https://github.com/opengvlab/llama-adapter

• stars：4.9k

• 更新时间：2023-09-11

关键内容：

• 提出了一种名为ImageBind-LLM的多模态指令调整方法，通过图像和文本对齐训练来调整大型语言模型（LLM）。

• ImageBind-LLM可以响应多模态条件，包括音频、3D点云、视频等，通过仅使用图像和文本对齐训练实现。

• 通过引入可学习的绑定网络和视觉缓存模型，ImageBind-LLM在多模态指令遵循能力和语言生成质量方面表现出优势。

揭示预训练语言模型对本体知识的记忆和理解能力

• 标题：Do PLMs Know and Understand Ontological Knowledge?

• 链接：http://arxiv.org/abs/2309.05936v1

• 第一作者：Weiqi Wu

• 代码链接：https://github.com/vickywu1022/ontoprobe-plms

• stars：23

• 更新时间：2023-09-12

关键内容：

• 研究了预训练语言模型（PLMs）是否具备本体知识和对知识的语义理解能力。

• 探究了PLMs对实体类型、类和属性的层次关系以及属性的域和范围约束的记忆能力。

• 综合研究了PLMs是否能够根据本体蕴含规则进行可靠的逻辑推理。

从医学文献中获取互动式知识：探索大型语言模型在医学领域的应用

• 标题：The CALLA Dataset: Probing LLMs' Interactive Knowledge Acquisition from Chinese Medical Literature

• 链接：http://arxiv.org/abs/2309.04198v2

• 第一作者：Yanrui Du

• 代码链接：https://github.com/scir-hi/huatuo-llama-med-chinese

• stars：3.7k

• 更新时间：2023-09-12

关键内容：

• 引入了CALLA数据集，用于探究大型语言模型（LLMs）从中文医学文献中获取互动式知识的能力。

• 发现了一种称为“事实跟随响应”的现象，LLMs倾向于确认问题中提到的事实，并不愿意质疑这些事实。

• 通过CALLA数据集的探测实验证明，与医学文献语料库高度相关的指导微调（IFT）数据对LLMs具有强大的促进作用，使其能够在互动场景中熟练运用在预训练阶段获得的医学知识，提高准确性。