---- 新智元报道 编辑：LRS 【新智元导读】用RMT模型提升Transformer类模型的脑容量，内存需求不变，输入序列可以无限长。 ChatGPT，或者说Transformer类的模型都有一个致命缺陷，就是太容易健忘，一旦输入序列的token超过上下文窗口阈值，后续输出的内容和前文逻辑就对不上了。 ChatGPT只能支持4000个token（约3000个词）的输入，即便最新发布的GPT-4也只支持最大32000的token窗口，如果继续加大输入序列长度，计算复杂度也会成二次方增长。 最近来
机器之心报道 机器之心编辑部 能容纳 50 页文档的输入框不够用，那几千页呢？ 一个多月前，OpenAI 的 GPT-4 问世。除了各种出色的直观演示外，它还实现了一个重要更新：可以处理的上下文 token 长度默认为 8k，但最长可达 32K（大约 50 页文本）。这意味着，在向 GPT-4 提问时，我们可以输入比之前长得多的文本。这使得 GPT-4 的应用场景大大扩展，能更好地处理长对话、长文本以及文件搜索和分析。 不过，这一记录很快就被打破了：来自谷歌研究院的 CoLT5 将模型可以处理的上下文 t
虽然大型语言模型在处理日常问答、总结文本等任务上表现非常出色，但如何让LLM在不显著增加计算需求、不降低短文本性能的前提下，能够处理「超长文本输入」仍然是一个难题。
MIT，Meta AI，CMU的研究人员最近提出了一种StreamingLLM，声称可以使得经过有限序列长度训练的大型语言模型能够在无需任何微调的情况下，推广到无限序列长度的输入和输出。 不过这里值得强调的是，这个方法并没有增加LLM的对上文的记忆，只是让它输入输出无限长。一个显而易见的好处就是，在对话机器人生成一个很长的回答时，你不需要再输入“继续”了。
基于Transformer的大语言模型（LLM）具有很强的语言理解能力，但LLM一次能够读取的文本量仍然受到极大限制。
其中的卷王当属Anthropic 公司，其五月份就将 Claude 的上下文窗口从 9k token扩展到了 100k。
每天给你送来NLP技术干货！ ---- 排版：炼丹笔记 来源：数据派THU 问题生成任务需要我们根据篇章及对应的答案自动生成相应的问题，即“篇章+答案→问题”这样的流程。 训练集由三个字段（篇章、问题、答案）构成，测试集由两个字段（篇章、答案）构成，其中的问题字段需要我们生成。 根据以上分析，我们可以采用Seq2Seq模型来端到端地实现问题生成，而模型的输入为篇章和答案，输出为问题。 文本长度分布 篇章文本长度在100以下的数据较少，长度区间400-500的数据占比较大。 问题文本长度主要集中
深度学习自然语言处理 分享 作者：紫气东来(知乎) 编辑：马景锐 链接：https://zhuanlan.zhihu.com/p/640641794
凭借其令人印象深刻的生成能力，大语言模型(LLM)被广泛应用于各个领域。公共LLM的API(例如GPT-4)和应用框架(例如Langchain)的广泛使用，结合开源的满足工业应用质量要求的LLM(例如Llama)，进一步提高了LLM的受欢迎程度。随着LLM越来越多地被用于复杂任务，许多应用程序通过使用包含至少数千个标记的长上下文LLM来增强它们的输入(即提示)。例如，某些上下文用领域知识文本补充用户提示，以便LLM可以使用LLM本身嵌入的信息之外的领域知识来生成响应。另一个例子是，一些上下文利用用户和LLM之间交互过程中积累的对话历史来补充用户提示。这种长上下文的趋势很好地反映在最近训练接受更长上下文输入的LLM的竞赛中，从ChatGPT中的2K Tokens到Claude中的100K(见图1)。虽然较短上下文输入能力的LLM仍然有用，但许多研究表明，较长的上下文输入通常有助于提高模型响应的质量和一致性。
而且是“即插即用”，理论上可以适配任意大模型，目前已在Mistral和Llama2上试验成功。
这就是Google研究人员开发LaserTagger的原因，LaserTagger是一种开放源代码的文本编辑模型，该模型可以预测将源文本转换为目标文本的一系列编辑操作。他们表示LaserTagger以一种不易出错的方式处理文本生成，并且更易于训练和执行。
input组件用于录入单行文本，尽管input的基本功能是文本录入，但该组件的属性还是比较多的，也比较复杂。下面是input属性的属性及其含义。
比赛链接：https://tianchi.aliyun.com/forum/#raceId=531810 以下资料整理自比赛论坛，感谢这些无私开源的选手们，以下是整理TOP5方案的主要思路和模型，以便大家学习
最近，基于神经网络的自然语言理解研究的快速发展，特别是学习语义文本表征，为全新产品提供必要的技术，如Smart Compose和Talk to Books。它还可以帮助提高基于有限的训练数据量的自然语言任务性能，例如，从少至100个标记示例中构建强大的文本分类器。
基于Transformer的模型已经引领NLP领域，然而基于Transformer的方法随着输入文本长度的增加，计算量剧增，并且Transformer能处理的句子长度受限，已有的方法大多使用截断的方式，这会导致信息损失，因此如何实现长文本的预训练是目前的一大难题。
给textarea增加长度的限制 我们知道文本框可以有一个为maxlength的属性，可以限制文本框的长度，当时备注框textarea却没有，那么 要怎样限制备注框的长度呢？其实很简单，只有加上想这样一句话onKeyDown='if (this.value.length>=20){event.returnValue=false}' 就可以了，整个写法如下：
UniLM也是一个多层Transformer网络，跟bert类似，但是UniLM能够同时完成三种预训练目标，如上述表格所示，几乎囊括了上述模型的几种预训练方式，而且新增了sequence-to-sequence训练方式，所以其在NLU和NLG任务上都有很好的表现。UniLM模型基于mask词的语境来完成对mask词的预测，也是完形填空任务。对于不同的训练目标，其语境是不同的。
来源：机器学习AI算法工程本文约1700字，建议阅读5分钟任务是中医药领域的问题生成挑战，而问题生成属于NLG中重要的一种应用。 问题生成任务需要我们根据篇章及对应的答案自动生成相应的问题，即“篇章+答案→问题”这样的流程。 训练集由三个字段（篇章、问题、答案）构成，测试集由两个字段（篇章、答案）构成，其中的问题字段需要我们生成。 根据以上分析，我们可以采用Seq2Seq模型来端到端地实现问题生成，而模型的输入为篇章和答案，输出为问题。 文本长度分布 篇章文本长度在100以下的数据较少，长度区间400-
按键精灵的UI控件代码全是中文的，而且只能设置一些简单的样式，这一点比Auto.js差很多。
最近复旦放出了一篇各种Transformer的变体的综述（重心放在对Transformer结构（模块级别和架构级别）改良模型的介绍），打算在空闲时间把这篇文章梳理一下：
ACL2017 年中，腾讯 AI-lab 提出了Deep Pyramid Convolutional Neural Networks for Text Categorization(DPCNN)。
每天给你送来NLP技术干货！ ---- 作者 | 高超尘 来源 | 开放知识图谱 排版 | PaperWeekly 论文标题： ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding 论文链接： https://arxiv.org/pdf/2109.04380.pdf 代码链接： https://github.com/caskcsg/ESimCSE 动机 对
每天给你送来NLP技术干货！ ---- ©作者 | 高超尘 单位 | 中国科学院信息工程研究所 来源 | 开放知识图谱 来自 | PaperWeekly 论文标题： ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding 论文链接： https://arxiv.org/pdf/2109.04380.pdf 代码链接： https://github.com/ca
来自UC berkeley的研究人员发布并开源了LWM（LargeWorldModel）系列模型：
Transformer目前已经成为NLP领域的主流模型，Bert、GPT都是基于Transformer模型结构。同时，Transformer在CV领域也逐渐取得大范围的应用。对Transformer模型结构的深入细致了解非常必要。然而，Transformer的Attention计算代价较高，随着序列长度的增加计算量显著提升。因此，业内出现了很多Transformer魔改工作，以优化Transformer的运行效率。本文首先介绍了Transformer模型的基本结构，然后详细介绍了9篇针对Transformer效率优化、长序列建模优化的顶会论文。
自动文本摘要是在保持关键信息内容和整体含义的同时，生成简洁流畅的摘要的任务。 文本摘要目前大致可以分为抽取式与生成式两种类型：
就在最近，中国香港中文大学贾佳亚团队联合MIT宣布了一项新研究，一举打破如此僵局：
机器之心报道 编辑：赵阳 Unlimiformer 可以被注入到任何现有的编码器 - 解码器 transformer 中，能够处理长度不限的输入。 Transformer 是时下最强大的 seq2seq 架构。预训练 transformer 通常具有 512（例如 BERT）或 1024 个（例如 BART）token 的个上下文窗口，这对于目前许多文本摘要数据集（XSum、CNN/DM）来说是足够长的。 但 16384 并不是生成所需上下文长度的上限：涉及长篇叙事的任务，如书籍摘要（Krys-´cinsk
每天给你送来NLP技术干货！ ---- 来自：CS的陋室 短文本理解，无论是分类、实体识别还是语义相似度，其实在日常应用中都是挺多的，例如搜索和对话场景下用户输入的内容，基本都是短文本的处理，今天来给大家分享一下短文本视角下的常见问题以及难点吧。 当然了，这里的概念比较笼统，就是短文本理解，在任务上是比较泛的，下面的思路其实可以套用到各种理解类的问题里，就是上面说的分类、序列标注、语义相似度这种问题里。 短文本理解的概念 所谓的理解，其实就是对文本进行理解或者说信息抽取，相信这个大家都好懂，常见的就是分类、
具体办法就是建一个临时Lora模块，让它仅在长文本生成过程中“流式更新”，也就是用先前生成的内容不断作为输入来充当训练数据，以此保证知识被存进模型参数中。
前言 自BERT出现以来，nlp领域已经进入了大模型的时代，大模型虽然效果好，但是毕竟不是人人都有着丰富的GPU资源，在训练时往往就捉襟见肘，出现显存out of memory的问题，或者训练时间非常非常的久，因此，这篇文章主要解决的问题就是如何在GPU资源受限的情况下训练transformers库上面的大模型。 这篇文章源自Vadim Irtlach大佬在kaggle的开源notebook，感谢原作者的分享，本nlp小白觉得受益良多，因此搬运到知乎分享给大家，已取得作者授权，大部分内容是照搬翻译过来的，小
最重磅的一项更新，是上下文的增加——原来的10万token直接翻倍，来到了20万。
其中备受关注的应该就是新的函数调用能力，GPT-4和GPT-3.5-Turbo两个模型的升级，以及各种降成本。
知乎链接：https://zhuanlan.zhihu.com/p/54934304
NLP全称Neuro Linguistic Programming，一般翻译为自然语言处理，是一门研究计算机处理人类语言的技术，简单的说就是帮助计算机理解人类语言。常见的NLP类问题包括命名实体识别、文本分类、机器翻译、信息检索、语音识别、问答系统等等，种类繁多，应用领域也很广泛，是近些年来非常火的研究领域。
压缩基本上是一种高效表示数据的方法。预测模型的目标是从历史数据中预测未来的数据或输出。如果一个模型能够准确地预测数据，那么这意味着它已经学会了数据的某种结构或模式。知道这些结构或模式可以使我们更有效地表示或编码数据，从而实现压缩。
本文讲述了一种基于自然语言处理的文本分类系统，通过使用朴素贝叶斯、规则引擎、主题模型等算法，实现对互联网文本的快速分类。系统具有良好的扩展性，支持快速更新，可以应用在多种场景中。
机器之心专栏 作者：蚂蚁集团-大安全-机器智能 来自蚂蚁集团 - 大安全 - 机器智能和上海交通大学的研究者提出了一种多模态文档理解新模型 XYLayoutLM。 近年来，多模态文档理解在各类场景得到了广泛的应用。它要求我们结合图像，文本和布局信息对扫描件或者 pdf 文件进行理解。在常见的表单理解的任务中，多模态数据如图 1 所示。 图 1：多模态文档理解数据示例（来自 XFUN 数据集） 除此之外，多模态的模型还被应用于文档自动处理，文本关系提取和网页分类定性等等一系列应用。然而，需要强调的是，这个问
测试用例的编写需要按照一定的思路进行，而不是想到哪写到哪，一般测试机制成熟的公司都会有公司自己自定义的测试用例模板，以及一整套的测试流程关注点，当然我们自己在测试生涯中也应当积累一套自己的测试框架，所有功能性的测试都可以依据框架的思路来进行，达到事半功倍的效果。
LLMs 在现实应用中的计算成本主要由服务成本所主导，但是传统的批处理策略存在低效性。在这篇文章中，我们将告诉你，为什么 Continuous Batching 连续批处理成为了解决这一问题的新方法，而不再把 LLMs 视为“黑匣子”。这个技术如何利用内存，而不是计算能力，来实现 10 倍以上的性能提升，将改变AI领域的游戏规则。
序列标注是NLP中一项重要的任务，它主要包括分词，词性标注，命名实体识别等子任务。通过对预训练后的BERT模型进 行finetune，并与CRF进行结合，可以很好地解决序列标注问题。上篇文章对BERT官方源码进行了介绍，本篇文章将介绍 如何通过BERT解决序列标注问题。同时本篇文章将BERT+CRF模型与其他模型进行了对比，并且对BERT在序列标注上任务上存在的问题进行了分析。
ChatGPT发布后，文本生成技术得到飞速发展，大量NLP任务都面临被完全攻克的窘境，尤其是对于缺乏标准答案的「文本摘要」任务来说更是如此。
机器翻译是一项具有挑战性的任务，包含一些使用高度复杂的语言知识开发的大型统计模型。 神经机器翻译的工作原理是——利用深层神经网络来解决机器翻译问题。 在本教程中，你将了解如何开发一个神经机器翻译系统，
最近，华中科技大学和金山的研究人员在多模态大模型 Monkey [1]（Li et al., CVPR2024）工作的基础上提出 TextMonkey。在多个场景文本和文档的测试基准中，TextMonkey 处于国际领先地位，有潜力带来办公自动化、智慧教育、智慧金融等行业应用领域的技术变革。
自从 Transformers 问世以来，LLM （大型语言模型）以及更广泛的生成式人工智能技术呈现出爆炸式的增长趋势。同时，随着 ChatGPT 等免费版本的推出，世界各地的企业和科技爱好者开始意识到生成式人工智能的巨大潜力。
无符号：表示存储的数据在当前字段中，没有负数(只有正数，例如 tinyint 区间为 0～255)
Vaswani等人在2017年引入的Transformers是LLM和许多其他机器学习任务的基石。它成功的主要原因之一是自注意力机制。但是随着模型的扩大这种机制成为计算瓶颈，特别是对于长序列。
大语言模型如 ChatGPT 和 GPT-4 在各个领域对人们的生产和生活带来便利，但其误用也引发了关于虚假新闻、恶意产品评论和剽窃等问题的担忧。本文提出了一种新的文本检测方法 ——Fast-DetectGPT，无需训练，直接使用开源小语言模型检测各种大语言模型生成的文本内容。
不久前，Google基于Attention机制的机器翻译研究“Attention is All You Need”赚足了眼球。它放弃了机器翻译上常用的CNN、RNN架构，仅采用Attention机制就拿到了业界BLEU评分上的最佳成绩，且训练过程仅需3天半就能完成。当然，这是用了8颗P100 GPU的结果。 于是，人们不免好奇，Attention到底是个什么鬼？它相对于传统LSTM的技术优势在哪里？它所注意的是什么，究竟能解决CNN、RNN所解决不了的什么难题？要知道，Facebook此前刚用CNN
领取专属 10元无门槛券
手把手带您无忧上云
