统计语言模型工具有比较多的选择，目前使用比较好的有srilm及kenlm，其中kenlm比srilm晚出来，训练速度也更快，而且支持单机大数据的训练。现在介绍一下kenlm的使用方法。
通过以上两种方法的任何一种完成安装都可以。如果不想安装，可以下载github源码包，安装下面依赖再使用。
选自GitHub 作者：Ronan Collobert等 机器之心编译 参与：李亚洲、刘晓坤 近日，Facebook AI 研究院开源了端到端语音识别系统 wav2letter，本文是该架构的论文实现，读者可据此做语音转录。 GitHub 地址：https://github.com/facebookresearch/wav2letter wav2letter wav2letter 是 Facebook AI 研究院今天开源的简单高效的端到端自动语音识别（ASR）系统。该实现的原作者包括 Ronan Col
pycorrector：https://github.com/shibing624/pycorrector
中文文本纠错工具。音似、形似错字（或变体字）纠正，可用于中文拼音、笔画输入法的错误纠正。python3开发。
AI 研习社消息，日前， Facebook 人工智能研究院发布 wav2letter 工具包，它是一个简单高效的端到端自动语音识别(ASR)系统，实现了 Wav2Letter: an End-to-End ConvNet-based Speech Recognition System 和 Letter-Based Speech Recognition with Gated ConvNets 这两篇论文中提出的架构。如果大家想现在就开始使用这个工具进行语音识别，Facebook 提供 Librispeech
pycorrector: 中文文本纠错工具。支持中文音似、形似、语法错误纠正，python3开发。实现了Kenlm、ConvSeq2Seq、BERT、MacBERT、ELECTRA、ERNIE、Transformer等多种模型的文本纠错，并在SigHAN数据集评估各模型的效果。
当然，针对不同业务场景，这些问题并不一定全部存在，比如输入法中需要处理前四种，搜索引擎需要处理所有类型，语音识别后文本纠错只需要处理前两种， 其中’形似字错误’主要针对五笔或者笔画手写输入等。
机器之心专栏 本专栏由机器之心SOTA！模型资源站出品，每周日于机器之心公众号持续更新。 本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务，并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。 本文将分 3 期进行连载，共介绍 18 个在机器翻译任务上曾取得 SOTA 的经典模型。 第 1 期：RNNsearch、Multi-task、attention-mode
自然语言处理（NLP）是计算机科学，人工智能，语言学关注计算机和人类（自然）语言之间的相互作用的领域。本文作者为NLP初学者整理了一份庞大的自然语言处理领域的概览。选取的参考文献与资料都侧重于最新的深度学习研究成果。这些资源能为想要深入钻研一个NLP任务的人们提供一个良好的开端。 指代消解 https://github.com/Kyubyong/nlp_tasks#coreference-resolution 论文自动评分 论文：Automatic Text Scoring Using Neural Net
地址 | https://zhuanlan.zhihu.com/p/144995580
论文链接：https://arxiv.org/pdf/2308.09687.pdf GoT的关键思想和主要优势在于将LLM生成的信息建模为图（arbitary graph），其中信息单元（思维，LLM thoughts）作为图的顶点，顶点之间的依赖关系作为图的边。 GoT方法可以将任意的LLM思维组合成协同结果，提取出整个思维网络的本质，或者使用反馈回路来增强思维。 通过实验可以证明GoT在不同任务上提供了优于现有技术的优势，例如，与ToT相比，排序任务的质量提高了62%，同时成本降低了31% 研究人员认为，GoT方法可以让LLM推理更接近人类的思维和大脑推理机制，比如二者都在内部形成了复杂的网络结构。 LLM思维（thought）的进化之路 用户与LLM对话的过程主要包括用户消息（提示，prompts）和模型回复（思维、想法，thoughts），其中回复可以是一段文本（摘要任务）、一个文档（生成任务）或是一个代码块等。 为了充分激活语言模型的能力，通常会采用各种提示方法：
中文文本纠错是针对中文文本拼写错误进行检测与纠正的一项工作，中文的文本纠错，应用场景很多，诸如输入法纠错、输入预测、ASR 后纠错等等，例如：
在2023年的「百模大战」中，众多实践者推出了各类模型，这些模型有的是原创的，有的是针对开源模型进行微调的；有些是通用的，有些则是行业特定的。如何能合理地评价这些模型的能力，成为关键问题。
在 2023 年的 “百模大战” 中，众多实践者推出了各类模型，这些模型有的是原创的，有的是针对开源模型进行微调的；有些是通用的，有些则是行业特定的。如何能合理地评价这些模型的能力，成为关键问题。
只是多了「深呼吸」的命令，模型在GSM8K的得分就从「think step by step」的71.8上升至80.2，成为表现最佳的Prompt。
---- 新智元报道 编辑：好困 【新智元导读】万万没想到，现在大语言模型们也要像王者荣耀/LoL/Dota这些游戏里的玩家一样打排位赛了！据说，那些闭源模型们很快也会被拉出来溜溜。 最近，来自LMSYS Org（UC伯克利主导）的研究人员又搞了个大新闻——大语言模型版排位赛！ 顾名思义，「LLM排位赛」就是让一群大语言模型随机进行battle，并根据它们的Elo得分进行排名。 然后，我们就能一眼看出，某个聊天机器人到底是「嘴强王者」还是「最强王者」。 划重点：团队还计划把国内和国外的这些「闭源」
今日，社媒平台 reddit 上的一则帖子引起网友热议。帖子讨论的是谷歌 DeepMind 昨日提交的一篇论文《Long-form factuality in large language models》（大语言模型的长篇事实性），文中提出的方法和结果让人得出大胆的结论：对于负担得起的人来说，大语言模型幻觉不再是问题了。
1.http://www.doc88.com/p-8038708924257.html
一直以来，大语言模型胡说八道（幻觉）的问题最让人头疼，而近日，来自谷歌DeepMind的一项研究引发网友热议：
大型语言模型（LLMs）在自然语言处理领域的应用越来越广泛，但如何更好地使用它们来评估文本质量一直是个挑战。最近有一篇研究，深入探讨了如何最大程度地提高自然语言生成模型的评估性能，并提供了一些重要的指导原则。让我们一起来了解一下吧！
Github: https://github.com/CHIANGEL/Awesome-LLM-for-RecSys
机器之心报道 编辑：小舟 来自北京大学、上海 AI Lab 和加州大学圣巴巴拉分校的十位研究者近期发布了一篇关于 in-context learning 的综述论文。 随着语言模型和语料库规模的逐渐扩大，大型语言模型（LLM）展现出更多的潜力。近来一些研究表明，LLM 可以使用 in-context learning（ICL）执行一系列复杂任务，例如解决数学推理问题。 来自北京大学、上海 AI Lab 和加州大学圣巴巴拉分校的十位研究者近期发布了一篇关于 in-context learning 的综述论文
---- 新智元报道 编辑：编辑部 【新智元导读】OpenAI又双叒叕有新整活了！难懂的GPT-2神经元，让GPT-4来解释。人类看不懂的AI黑箱，就交给AI吧！ 刚刚，OpenAI发布了震惊的新发现：GPT-4，已经可以解释GPT-2的行为！ 大语言模型的黑箱问题，是一直困扰着人类研究者的难题。 模型内部究竟是怎样的原理？模型为什么会做出这样那样的反应？LLM的哪些部分，究竟负责哪些行为？这些都让他们百思不得其解。 万万没想到，AI的「可解释性」，竟然被AI自己破解了？ 网友惊呼，现在AI能理
---- 新智元报道 编辑：LRS 【新智元导读】语言模型是打开AGI大门的关键钥匙。 人类所具有的智能，可以将一些最基础的能力，通过某种组合变成一种复杂能力，并可以用来解决复杂的、多步骤的任务。 这种能力对人工智能（AI）的发展来说同样重要，在迈向最终的通用人工智能（AGI）的过程中，除了开发大规模智能模型外，如何让这些模型具有「利用各种特定领域专家模型以解决复杂任务的能力」也同样重要。 在大型语言模型（LLMs）上取得的最新进展让我们看到了语言模型强大的学习和推理能力，有望成为未来AGI的接口
本文约1200字，建议阅读5分钟本文提出了基于排序的人类偏好对齐方法。 OpenAI 的 ChatGPT 理解多种多样的的人类指令，并且可以很好的应对不同的语言任务需求。自发布以来就掀起了对于通用人工智能的讨论。ChatGPT 令人惊叹的能力来源于一种新颖的大规模语言模型微调方法：RLHF（通过强化学习对齐人类反馈）。 RLHF 方法不同于以往传统的监督学习的微调方式，该方法首先让模型根据指令提示生成不同的回复，之后通过人工的评价反馈，使用强化学习的方式对 LLM 进行微调。RLHF 解锁了语言模型跟从人
---- 新智元报道 编辑：LRS 【新智元导读】缺数据不是问题，直接用GPT-4生成的指令就够了，标注员恐怕要失业了！ 「指令」（Instruction）是ChatGPT模型取得突破性进展的关键因素，可以让语言模型的输出更符合「人类的偏好」。 但指令的标注工作需要耗费大量的人力，即便有了开源的语言模型，资金不足的学术机构、小公司也很难训练出自己ChatGPT. 最近微软的研究人员利用之前提出的Self-Instruct技术，首次尝试使用GPT-4模型来自动生成语言模型所需的微调指令数据。 论文
训练大型语言模型的最后一步就是「对齐」（alignment），以确保模型的行为符合既定的人类社会价值观。
Hello folks，我是 Luga，今天我们来聊一下人工智能（AI）生态领域相关的技术 - LLM 评估 。
为进一步提升大型语言模型（LLM）解决复杂问题的能力，今天给大家分享的这篇文章，作者提出了思维图（GoT），其性能超过了思维链（CoT）、思维树（ToT）。思维图（GoT）的关键思想是能够将LLM生成的信息建模为任意图，其中信息单位是顶点，边代表顶点之间的依赖关系。这种方法优点能够将任意LLM的思维组合在一起，提炼出整个思维图内容。实验结果显示：相比目前的思维树（ToT）提高了62%。
---- 新智元报道 编辑：LRS 【新智元导读】一条命令，让机器人帮你把大象装冰箱里！ 对于机器人来说，任务规划（Task Planning）是一个绕不过去的难题。 想要完成一个真实世界的任务，首先你得知道把大象装冰箱总共要几步。 即便是比较简单的扔苹果任务也包含多个子步骤，机器人得先观察苹果的位置，如果没有看到苹果就要持续寻找，然后靠近苹果，把苹果抓起来，找到并靠近垃圾桶。 如果垃圾桶是关着的，还得先把它打开，然后再把苹果扔进去，关上垃圾桶。 但每个任务的具体实施细节不可能都由人来设计，如何
近期大型语言模型（LLMs）的广泛应用使得自然语言生成（NLG）领域的各种应用成为可能，从机器翻译和代码补全等到通用聊天机器人OpenAI。它们的性能是计算能力、数据集大小和参数数量的函数等）；只有在大型规模下才会出现新兴的能力，这些发现使得大型模型变得更加流行，无论是仅在解码器上的模型还是编码器-解码器网络等。
本文分析了使用“指令数据”对语言模型进行微调所带来的改进，涉及缩放 ：1)增加微调任务，2) 增大模型大小，以及 (3) 添加思维链数据。Google 研究人员2022年10月发布了这篇论文，我们今天将对这篇文章重新阅读，本篇论文分析了如何指令微调大型语言模型以及带来的性能提升。
自然语言模型通常要解决两个难题：将句子前缀映射到固定大小的表示形式，并使用这些表示形式来预测文本中的下一个单词。
摘要：为了满足实际应用的要求，控制大型语言模型（LLM）的生成至关重要。之前的研究试图将强化学习（RL）引入可控文本生成，而大多数现有方法都存在过拟合问题（基于微调的方法）或语义崩溃（后处理方法）。然而，目前的强化学习方法一般由粗粒度（句子/段落级）反馈指导，这可能会由于句子内部的语义扭曲或进展而导致性能不佳。为了解决这个问题，我们提出了一种名为 TOLE 的新型强化学习算法，它为可控文本生成制定了 TOken-LEvel 奖励，并采用 "first-quantize-then-noise" "先量化后噪声 "的范式来增强 RL 算法的鲁棒性。实验结果表明，我们的算法在单属性和多属性控制任务上都能取得优异的性能。
目前，大型语言模型（LLM）在不同领域中已经展现出它强悍的性能，这也极大引起了金融科技圈的浓厚兴趣。然而金融数据的实时性、多样性、复杂性等特点，限制了大模型的应用。为此，今天给大家分享的这篇文章面对该挑战，「提出了一个开源的大语言模型框架FinGPT，专门用于金融领域」，它采用以数据为中心的方法，为研究人员提供了可访问和资源来开发自己FinLLMs。该框架可用在智能投顾、情绪分析、量化交易、风险管理、破产预测、金融教育培训等方面。
目前大型预训练模型已经在不同领域显示出了显著的零样本泛化能力：从零样本图像生成、自然语言处理到机器推理、动作规划。这些模型使用来自互联网的大型数据集进行训练，这些数据集的规模通常达到数十亿。
今年年初，OpenAI发布了一个非常强大的语言模型，可以模拟生成类似人类创作出的文本。通常在公告发布之后就会面向公众发布模型，但这这次的公告不同以往，它表示这样一个强大的工具可能会构成危险，因此只发布了一个较小、功能较单一的模型。
大数据文摘授权转载自将门创投 作者：seven 20世纪60年代，麻省理工学院人工智能实验室的Joseph Weizenbaum编写了第一个自然语言处理（NLP）聊天机器人ELIZA[1]，ELIZA通过使用模式匹配和替换方法，证明了人类和机器之间进行交流的可行性。作为第一批能够尝试图灵测试的程序之一，ELIZA甚至可以模拟心理治疗师，将精神病患者刚刚说过的话复述给他们。虽然ELIZA已经能够直接参与对话，但其缺乏真正的语言理解力。 随着NLP技术的快速发展，像GPT-3这样的大型语言模型（large la
本文旨在深入探讨强化学习在生成式预训练语言模型中的应用，特别是在对齐优化、提示词优化和经验记忆增强提示词等方面的具体实践。通过对现有研究的综述，我们将揭示强化学习在提高生成式语言模型性能和人类对话交互的关键作用。虽然这些应用展示了巨大的潜力，但也将讨论现有方法的挑战和可能的未来发展方向。
在构建大语言模型应用程序时通常有两种常见的方法来整合专有和特定领域的数据：检索增强生成和微调。检索增强生成通过外部数据增强提示，而微调将额外的知识整合到模型本身中。不过，对这两种方法的优缺点了解的却不够充分。
以 ChatGPT 为代表的文本生成的兴起，正促使许多研究人员寻求一个比原始版本更具挑战性的图灵测试。
机器之心专栏 作者：UCSD Shibo Hao 来自加州大学圣迭戈分校（UCSD）、卡内基梅隆大学（CMU）等机构的研究者提出了一种自动知识抽取框架，可以从 BERT 或 RoBerta 等预训练语言模型中高效且可扩展地提取知识图谱。 知识图谱 (KG) 是表示知识的一种形式，通常由头尾实体及其关系的三元组构成。它被广泛应用在各个领域，包括搜索引擎、推荐系统、聊天机器人和医疗保健。传统的知识图谱是通过昂贵的众包（例如 WordNet, ConceptNet, ATOMIC）构建的。尽管最近的研究探索了使
作者 | 李梅、刘冰一 编辑 | 陈彩娴 继斯坦福100名作者合作发布「Foundation Model」研究综述、智源集合100位作者发布大模型研究综述（后被曝「翻车」）后，近日，AI 圈又出现了一篇集结超过百位作者合著的论文！ 这篇论文（“Beyond the Imitation Game: Quantifying and Extrapolating the Capabilities of Language Models”）由谷歌发布，聚集了442名作者！ 在论文的 PDF 文档里，作者列表就占了一整页
前不久，以 ChatGPT、Bard 为代表的各类大语言模型因存在的“奶奶漏洞”引发热议。到底什么是“奶奶漏洞”？网友将其定义为一种大模型“越狱”技巧。只要在提示词中加入“请扮演我已经过世的祖母”，然后再提出要求，大模型就会给出适当的答案。
最近大型语言模型 (LLM) 展示了在临床应用中的潜力，提供了宝贵的医学知识和建议。比如像ChatGPT这样的对话LLM，已经顺利通过了部分美国医学执照考试。然而，LLM在处理图像方面还是存在困难，这使得解读医学图像中的信息是具有挑战性的，而医学图像中包含丰富的支持临床决策的信息。另一方面，用于医学图像的计算机辅助诊断(CAD)网络通过使用先进的深度学习算法来支持临床决策，这在医学领域取得了重大成功。本文介绍了一种将LLM集成到医学图像CAD网络中的方法。所提出的框架使用 LLM 通过总结和重组以自然语言文本格式呈现的信息来增强多个CAD网络的输出，例如诊断网络、病变分割网络和报告生成网络。目标是将LLM的医学领域知识和逻辑推理的优势与现有医学图像CAD模型的视觉理解能力相结合，为患者创建一个比传统CAD系统更加用户友好和易于理解的系统。未来，LLM的医学知识还可以用于提高基于视觉的医学图像CAD模型的性能。
大型语言模型(LLM)与人类偏好的对齐，目前主要有两种方式：1）收集精心制作人类偏好数据集，使用强化学习或者指令微调对预训练模型进行调优；2）无需收集制作数据集，直接对LLMs模型进行调整。
最近的研究已经证明，生成式预训练对于英语自然语言理解很有效。但该领域的研究基本上都是单语的，主要集中在英语。
就医学而言，它涉及各个方面知识，需要整合各种信息。医学生成视觉语言模型（VLM）朝这个方向迈出了第一步，并有望带来更多的临床应用。然而，现有模型通常需要基于大量的下游数据集进行微调，这对于医学领域来说是一个相当大的限制。因为在许多医疗应用中数据稀缺，所以需要模型能够从Few-shot进行学习。
大数据文摘授权转载自AI科技评论 作者：李梅、黄楠 编辑：陈彩娴 以 ChatGPT 为代表的文本生成的兴起，正促使许多研究人员寻求一个比原始版本更具挑战性的图灵测试。 图灵测试解决两个问题：“机器可以思考吗？”，如果可以，“如何证明它？”经典图灵测试针对的是 AI 最棘手的目标之一：如何欺骗不知情的人类？但随着当前语言模型变得越来越复杂，与 AI 如何欺骗人类相比，研究人员开始更关注“如何证明它？”的问题。 有观点认为，现代的图灵测试应当在科学的环境中证明语言模型的能力，而不是仅仅看语言模型是否能够愚弄或
领取专属 10元无门槛券
手把手带您无忧上云
