在现代自然语言处理（NLP）领域，语言模型和变换器模型占据了重要位置。这些模型使得计算机能够理解和生成人类语言。我们将探讨它们的工作原理、应用场景以及主要区别。
截至 2023 年 11 月，人类创造的人工智能工具已经取得了长足的进步，在自然语言处理、机器翻译、问答系统等领域取得了显著成果。当前走到了大语言模型阶段。
什么是语言模型？通俗的来讲是判断一句话是否符合人说话的模型，如可以说”猫有四条腿“，却不能说”四条腿有猫“。因为”四条腿有猫“这样的表述不符合人们的正常语言规范。在语言模型的发展过程中，分别出现了专家语法规则模型，统计语言模型，神经网络语言模型三个阶段。其中，专家语法规则模型出现在语言模型的初始阶段，我们知道，每一种语言都有其特定的语法规则，因此在早期，人们设法通过归纳出的语法规则来对语言建模；统计语言模型则是对句子的概率分布建模，通过对大量语料的统计发现，符合人们正常语言规范的句子出现的概率要大于不符合语言规范的句子，如上述的“猫有四条腿”出现的概率要大于“四条腿有猫”的概率；神经网络语言模型是在统计语言模型的基础上，通过神经网络模型对句子的概率分布建模的方法。下面将从统计语言模型开始讲起。
前天我们翻译了微软关于NLP（自然语言处理）的PPT的概览部分，今天我们为大家带来了这份PPT的第二部分：同上次一样，我们将翻译内容放在图里的同时也写在了下面，大家可点开大图，也可按需自行查阅底部文字
在字符上使用 CNN 或 LSTM 以获得基于字符的词表示的做法现在相当普遍，特别是对于形态信息重要或有许多未知单词的丰富的语言和任务，效果更加明显。据我所知，序列标签使用基于字符的表示（Lample 等人，2016；普兰克等人，2016），可以减轻在计算成本增加的情况下必须处理固定词汇表的需要，并支持完全基于字符的 NMT （Ling 等人， 2016；Lee 等人，2017）。
2022年底，ChatGPT(Generative Pre-trained Transformer)横空出世，迅速火遍大江南北，与过往传统的聊天机器人不同，ChatGPT拥有更为出色的自然语言理解与生成能力，能够为用户提供更为高效、准确、愉悦的交互体验，刷新了人们对于人工智能(Artificial Intelligence，简称AI)的认识，引起了全社会广泛的讨论。那么，ChatGPT为何能做到如此智能呢？本文将以最通俗、最浅显的的语言从0到1带你了解ChatGPT背后的工作原理。
【导读】复旦大学副教授、博士生导师、开源自然语言处理工具FudanNLP的主要开发者邱锡鹏（http://nlp.fudan.edu.cn/xpqiu/）老师撰写的《神经网络与深度学习》书册，是国内为数不多的深度学习中文基础教程之一，每一章都是干货，非常精炼。邱老师在今年中国中文信息学会《前沿技术讲习班》做了题为《深度学习基础》的精彩报告，报告非常精彩，深入浅出地介绍了神经网络与深度学习的一系列相关知识，基本上围绕着邱老师的《神经网络与深度学习》一书进行讲解。专知希望把如此精华知识资料分发给更多AI从业者，
首先，简要回顾一下神经网络的构成，即神经元、多层网络和反向传播算法。如果还想更详细深入了解这些基本概念可以参考其他资源，如 CS231n 课程笔记 （https://cs231n.github.io/）。
学习大型语言模型需要一定的数学和编程基础，如线性代数、微积分、Python编程等。同时，还需要不断地阅读相关文献和实践项目，以便深入理解大型语言模型的原理和应用。
选自arXiv 机器之心编译 参与：路雪、蒋思源 基于神经网络的语言模型能够学习不同的自然语言特征，性能也正在持续提升。萨尔大学在 ICASSP 2017 发表的论文中提出一种神经混合模型（NMM），
在自然语言处理领域，Transformer模型已经成为了主流的深度学习架构。凭借其强大的处理能力和高效的性能，Transformer在许多NLP任务中都取得了显著的成果。而在Transformer模型中，Attention机制起到了至关重要的作用。
神经网络是一种由多个神经元按照一定的拓扑结构相互连接而成的计算模型。其灵感来自于人类大脑中神经元之间的相互作用。
机器之心专栏 本专栏由机器之心SOTA！模型资源站出品，每周日于机器之心公众号持续更新。 本专栏将逐一盘点自然语言处理、计算机视觉等领域下的常见任务，并对在这些任务上取得过 SOTA 的经典模型逐一详解。前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型实现代码、预训练模型及 API 等资源。 本文将分 3 期进行连载，共介绍 17 个在语音识别任务上曾取得 SOTA 的经典模型。 第 1 期：NNLM、RNNLM、LSTM-RNNLM、Bi-lstm、Bi-RN
导读： 这篇文章中作者尝试将 15 年的自然语言处理技术发展史浓缩为 8 个高度相关的里程碑事件，不过它有些偏向于选择与当前比较流行的神经网络技术相关的方向。我们需要关注的是，本文中介绍的许多神经网络模型都建立在同时代的非神经网络技术之上。在文章的最后，作者强调了这些有影响力的技术成果，它们为以后的 NLP 方法发展奠定了基础。
导读：这篇文章中作者尝试将 15 年的自然语言处理技术发展史浓缩为 8 个高度相关的里程碑事件，不过它有些偏向于选择与当前比较流行的神经网络技术相关的方向。我们需要关注的是，本文中介绍的许多神经网络模型都建立在同时代的非神经网络技术之上。在文章的最后，作者强调了这些有影响力的技术成果，它们为以后的 NLP 方法发展奠定了基础。
预训练属于迁移学习的范畴。现有的神经网络在进行训练时，一般基于反向传播（Back Propagation，BP）算法，先对网络中的参数进行随机初始化，再利用随机梯度下降（Stochastic Gradient Descent，SGD）等优化算法不断优化模型参数。而预训练的思想是，模型参数不再是随机初始化的，而是通过一些任务进行预先训练，得到一套模型参数，然后用这套参数对模型进行初始化，再进行训练。
如果是自定义模式，则需要调用上面的方法（方法很多，未完全列出来），其核心就是通过正则去匹配，所以这种自定义模式必须要传入一个Pattern值。
本文提出了两种新的模型架构，用于计算来自非常大的数据集的单词的连续向量表示。新的模型架构在低得多的计算成本下，准确率有了很大的提高，从16亿个单词数据集中学习高质量的单词向量只需不到一天的时间。
语言模型（LM）是很多自然语言处理（NLP）任务的基础。早期的 NLP 系统主要是基于手动编写的规则构建的，既费时又费力，而且并不能涵盖多种语言学现象。直到 20 世纪 80 年代，人们提出了统计语言模型，从而为由 N 个单词构成的序列 s 分配概率，即：
【新智元导读】 台大李宏毅老师的深度学习课程以其深入浅出和全面性而受到大家的欢迎。是不可多得的、较为全面的系统的深度学习中文教材。目前，他们在网上贴出了2017年的最新课程《机器学习及其深层与结构化》，包括 TensorFlow 介绍、深度学习模型的基础架构、用于反向传播的计算图、深度学习语言模型、深度学习芯片等等。我们第一时间带来课程设置和相关资源。 2017年台大李宏毅中文深度学习课程来了。课程名称是“机器学习及其深层与结构化（NTUEE Machine Learning and having it D
在这篇博文中，我们来探讨循环网络模型和前馈模型之间的取舍。前馈模型可以提高训练稳定性和速度，而循环模型表达能力更胜一筹。有趣的是，额外的表现力似乎并没有提高循环模型的性能。
在过去的几年里，神经架构搜索领域取得了极大进展。通过强化学习和进化得到的模型已经被证明可以超越人类设计的模型（Real et al., 2019; Zoph et al., 2018）。这些进展大多聚焦于改善图像模型，但也有一些研究致力于改善序列模型（Zoph & Le, 2017; Pham et al., 2018）。但在这些研究中，研究者一直致力于改良循环神经网络（RNN），该网络长期以来一直用于解决序列问题（Sutskever et al., 2014; Bahdanau et al., 2015）。
Mistral上周末丢出的磁力链接震惊了开源圈子，这个7B×8E的开源MoE大模型性能已经到达了LLaMA2 70B的级别！
AI 科技评论按，近日，复旦大学计算机科学学院副教授邱锡鹏发布了一本《神经网络与深度学习》教材，这份学习资源一经发布就广受好评。目前，该资源在 github 上已经斩获 5000+ star。
选自machine learning mastery 机器之心编译 参与：刘晓坤、蒋思源 深度学习正在给自然语言处理带来巨大的变革。但是，作为一个初学者，要从哪里起步才好呢？深度学习和自然语言处理都是很宽泛的领域。哪些方面才是最重要的，还有，深度学习又是从哪个层面深刻影响了 NLP 呢？ 看完这篇文章之后，你将会知道： 给自然语言处理领域带来最深刻影响的神经网络结构； 深度学习可以对自然语言处理的各个层面制定学习任务； 密集词汇表示的重要性和学习表示的方法。 让我们开始吧。 概览 这篇文章将分成 12
两篇最佳论文分别来自Mila/加拿大蒙特利尔大学、微软蒙特利尔研究院和MIT CSAIL，主题分别集中在NLP深度学习模型和神经网络压缩。
近年来，以机器学习、知识图谱为代表的人工智能技术逐渐变得普及。从车牌识别、人脸识别、语音识别、智能问答、推荐系统到自动驾驶，人们在日常生活中都可能有意无意地使用到了人工智能技术。越来越多的人开始关注这一个“崭新”的研究领域：深度学习。
传统的机器学习研究模式是：获取特定任务的大型数据集，然后用这个数据集从头开始训练模型。很明显，这和人类利用以往经验，仅仅通过少量样本就迅速完成学习的情况相差甚远。
云从表示，这已是云从在近半年以来第二次宣布刷新世界纪录。今年 4 月，云从科技跨镜追踪技术（ReID）技术在 Market-1501，DukeMTMC-reID，CUHK03 三个数据集刷新了世界纪录，其中最高在 Market-1501 上的首位命中率（Rank-1 Accuracy）达到 96.6%，让跨镜追踪技术（ReID）技术在准确率上首次达到商用水平。
本文基于《生成式人工智能》一书阅读摘要。感兴趣的可以去看看原文。 可以说，Transformer已经成为深度学习和深度神经网络技术进步的最亮眼成果之一。Transformer能够催生出像ChatGPT这样的最新人工智能应用成果。
【新智元导读】CMU 语言技术研究所助理教授 Graham Neubig 将有关神经机器翻译和 seq2seq 各种模型的概要、重点以及部署技巧整理为一篇长达65页的教程发表于 arxiv，内容由浅入深，兼具实用性与启发性，值得收藏研读。 论文题目：神经机器翻译与 sequence-to-sequence 模型：一个教程 （Neural Machine Translation and Sequence-to-sequence Models: A Tutorial ） 论文下载地址：https://arxiv
深度学习是计算机领域中目前非常火的话题，不仅在学术界有很多论文，在业界也有很多实际运用。本篇博客主要介绍了三种基本的深度学习的架构，并对深度学习的原理作了简单的描述。本篇文章翻译自Medium上一篇入门介绍。
选自arXiv 作者：Graham Neubig 机器之心编译 参与：李泽南、蒋思源 本文是一篇有关机器翻译的详细教程，适用于计算机科学本科背景的读者。据 Paper Weekly（ID：paperweekly）介绍，本论文来自 CMU LTI，内容包括了 Seq2Seq 方法的各个基础知识，包括 N-gram Language Model、Log Linear Language Model、NNLM、RNNLM、encoder-decoder、attention，是一本高质量教程，适合初学者学习。读者可以
大型模型在许多任务上都产生了令人印象深刻的结果，但是训练和微调的成本很高，而且解码速度过慢，以至于研究和使用难度提升。华沙大学，谷歌研究和OpenAI的学者们通过利用稀疏性来解决这个问题。他们研究了模型中所有层级的稀疏变量，并提出了下一代Transformer模型族-Scaling Transformers。 作者｜郑宇宏 编辑｜陈彩娴 1 Scaling Transformers： 让大型语言模型更易于管理 近年来，基于Transformer架构的大型神经网络，自然语言处理领域取得了巨大的进步。前几年在R
论文名称：ZoomNet: Part-Aware Adaptive Zooming Neural Network for 3D Object Detection
之前我们已经学过了许多的前馈网络. 所谓前馈网络, 就是网络中不会保存状态. 然而有时 这并不是我们想要的效果. 在自然语言处理 (NLP, Natural Language Processing) 中, 序列模型是一个核心的概念. 所谓序列模型, 即输入依赖于时间信息的模型. 一个典型的序列模型是隐马尔科夫模型 (HMM, Hidden Markov Model). 另一个序列模型的例子是条件随机场 (CRF, Conditional Random Field).
原文： On word embeddings 作者： Sebastian Ruder 译者： KK4SBB 审校：王艺 责编： 王艺，关注人工智能，投稿请联系 wangyi@csdn.net
选自Medium 作者：Thomas Wolf 机器之心编译 参与：Tianci LIU、路 本文介绍了元学习，一个解决「学习如何学习」的问题。 元学习是目前机器学习领域一个令人振奋的研究趋势，它解决的是学习如何学习的问题。 传统的机器学习研究模式是：获取特定任务的大型数据集，然后用这个数据集从头开始训练模型。很明显，这和人类利用以往经验，仅仅通过少量样本就迅速完成学习的情况相差甚远。 因为人类学习了「如何学习」。 在这篇文章中，我将从一个非常直观的元学习简介入手，从它最早的起源一直谈到如今的元学习研究现状
冯 · 诺伊曼的《计算机和人脑》是人类历史上第一部将计算机和人脑相提并论的著作。这位科学巨人希望比较计算机和人脑的计算机制，为未来建立统一的计算理论打下基础。事实上，建立计算机和人脑的统一计算理论是冯 · 诺伊曼晚年研究的主要课题。他所关注的统一计算理论应该也是人工智能领域的核心问题。站在人工智能的角度，人脑是智能系统的代表，应该从人脑的计算机制得到启发，开发出未来的智能计算理论和方法。
接着，文章详细阐述了训练过程，分为预训练和微调两个阶段。在预训练阶段，模型学习理解文本数据，包括词汇、语法、事实等；在微调阶段，模型使用具有限制性任务的数据集来调整，以获得更准确的输出。作者还提到了训练数据的来源，强调了在大量网络文本数据中获取知识的重要性。
---- 新智元报道 编辑：Aeneas 好困 【新智元导读】AI模型一定是越大越好吗？Nature采访了几位专家，反驳了这一理论。 现在，生成式人工智能模型变得越来越大了，所以更大就意味着更好吗？ 非也。现在，一些科学家提议，应该采用更精简、更节能的系统。 文章地址：https://www.nature.com/articles/d41586-023-00641-w 搞不定数学的语言模型 最近技术行业的宠儿ChatGPT，在面对需要推理才能回答的数学问题时，表现往往不佳。 比如这个问题「平行于
随着语音识别技术越来越热，声学模型的训练方法也越来越多，各种组合和变化也是层出不穷，而随着深度学习的兴起，使用了接近30年的语音识别声学模型HMM（隐马尔科夫模型）逐渐被DNN（深度神经网络）所替代，模型精度也有了突飞猛进的变化，其中声学模型模型结构经历了从经典的GMM-HMM，到DNN-HMM，再到DNN+CTC的转变，本文列出了其中的常见模型，权当是一篇导读性质的文章，供大家学习时参考。
转换器，一种将输入序列转换或更改为输出序列的神经网络架构。它们通过学习上下文和跟踪序列组件之间的关系来做到这一点。例如，请考虑以下输入序列：“天空是什么颜色的？” 转换器模型会使用内部数学表示法来识别颜色、天空和蓝色这三个词之间的相关性和关系。利用这些知识，它会生成输出：“天空是蓝色的。”
2018年的10月11日，Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。
【导读】我们之前介绍了一系列卡耐基梅隆大学的课程，今天，我们又带来了CMU 2018春季最新的课程“Neural Networks for NLP”介绍，该课程是CMU语言技术学院和计算机学院联合开课，主要内容是教学生如何用神经网络做自然语言处理。本文中，我们梳理了该课程的主要内容：神经网络、词向量、语言模型、CNNs和RNNs在NLP中的应用等等，课程涉及几乎全部NLP问题，内容非常全面，强烈推荐给从事NLP研究的读者。 专知内容组附上上一次CMU2018和CMU2017年课程：深度学习的内容： 1. C
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
