萧箫 发自 凹非寺 量子位 | 公众号 QbitAI 比Codex还会写C语言的AI代码生成模型，现在开源了！ 这段时间，用AI写代码可以说是大火，其中最著名的要属OpenAI的Codex和DeepMind的AlphaCode。 △基于Codex的Copilot 然而，这两个AI模型，全都没有开源： 其中AlphaCode只给出了一些测试样例，而Codex只开放了API。 为此，来自CMU的几个研究人员，用GPT-2搞出了一个名叫PolyCoder的AI代码生成模型，而且还是开源的。 据研究人员表示，虽
梦晨 发自 凹非寺 量子位 报道 | 公众号 QbitAI 有的人能把代码写成推理小说。 需要一个临时变量的时候就叫temp，需要多个就叫var1，var2。 甚至用拼音缩写当函数名，比如查询订单就叫cxdd。 要想看懂这样的代码，得联系上下文反复推敲，还原每个部分的真实作用。 这个过程叫做反混淆(Deobfuscation)。 麻烦，着实麻烦。就没有省事儿点的办法吗？ 让AI来啊！ 最近，Facebook就出了这样一个语言模型DOBF，专治代码混淆。 像下图这种，所有不影响运行的变量名、函数名、类名，都被
最近有关人工智能的热门话题冲上热榜，如火如荼的开展着，已经渗透到每个人的学习、工作、生活及娱乐之中。早在去年OpenAI发布的ChatGPT-3生成式AI模型。一经横空问世，便吸粉无数，就有人称其为【全知全能的神】，再到后来微软、谷歌等国外厂商争相发布了自家产品，如谷歌的Bard、微软的New bing，再次掀起了火热浪潮。接着，OpenAI发布了GPT-3.5模型，随后也公开了openai.api_key，让全球开发者们可以接入OpenAI，采用GPT人工智能模型去训练开发相关应用场景。相继而来的是，微软也开放了申请体验Azure Open AI 的链接。近来，在百度文心一言发布前夕，OpenAI发布了多模态大模型GPT-4，百度顶住压力，随之发布了【文心一言】人工智能语言模型。接下来，就带领大家体验一下【文心一言】的具体表现情况。
很少有人知道，SUNO一开始是nanoGPT的一个分支。（Suno创业团队首款产品Bark受到了nanoGPT的启发）
近几年来，AI 代码生成器十分流行，从OpenAI的Codex再到DeepMind的AlphaCode。DeepMind甚至表示，AlphaCode在Codeforces（一个编程竞赛平台）举办的编程竞赛（有5000多名参赛者）中，取得了平均排名前54.3%的成绩，并且声称它是首批可与人类程序员竞争的代码生成系统之一。但无论是Codex还是AlphaCode，截止目前都还没有对外开源。
作者是OpenAI创始成员Andrej Karpathy，他把这个项目叫做Baby LLaMA 2（羊驼宝宝）。
论文题目： Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models
本系列主要介绍Rust与AI的那些天作之合（开源项目），我们会以开源项目代码阅读的方式推进，以Rust为主，同时科普AI相关知识，目的是让更多非算法、非Rust的程序员进一步学习Rust和AI相关知识。当然，很显然地，我们也希望Rust程序员和AI算法工程师能从中有所收获。前者可以关注AI算法的设计和优化，后者可以关注Rust如何助力AI算法。
---- 新智元报道 编辑：编辑部 【新智元导读】Stability AI也有大语言模型了，现在已有3B和7B的版本。大语言模型的Stable Diffusion时刻，是真来了。 大语言模型之战，Stability AI也下场了。 近日， Stability AI宣布推出他们的第一个大语言模型——StableLM。划重点：它是开源的，在GitHub上已经可用。 模型从3B和7B参数开始，随后会有15B到65B的版本。 并且， Stability AI还发布了用于研究的RLHF微调模型。 项目地址
金磊 发自 凹非寺 量子位 | 公众号 QbitAI 万万没想到，以文生图著名的Stable Diffusion，也入局了大语言模型（LLM）之战。 它背后的公司Stability AI，正式推出类ChatGPT产品——StableLM。 △由Stable Diffusion XL生成 据了解，这个模型目前处于Alpha版本，拥有的参数量分别为30亿和70亿；后续还将推出150亿到650亿参数模型。 而且不到一天时间，在GitHub上开源的项目便已经揽获了超4K颗星，火爆程度可见一斑。 原本大语言模
---- 新智元报道 编辑：袁榭 【新智元导读】现在宣布某模型是AGI几乎成了公众娱乐项目：2022年6月19日，《大西洋月刊》宣布谷歌的PaLM模型也「活了」。 「通用人工智能」现在几乎已经成了2020年代的「水变油」科技，差不多每半个月都会有人宣布发现/确信某个大模型的表现是已经觉醒了人性、AI「活过来」了。 最近此类消息闹得最凶的是谷歌。广为人知的是前研究员Blake Lemoine说大语言模型LaMDA「活了」，这位老哥不出所料地进入了被离职流程。 其实几乎与之同时的，还有《大西洋月刊》
GitHub作为全球最大的开源社区,每周都会涌现出无数高质量的开源项目。作为开发者,关注GitHub周热门项目可以让我们充分了解当前的技术趋势和发展方向。下面我们就重点挑选介绍本周GitHub上几个特别热门的新项目。
软件供应链安全指的是确保软件供应链中的各个环节和组件不受恶意攻击或未经授权的篡改，以保证软件交付的完整性、可信性和可靠性。软件供应链是指涉及开发、测试、集成、部署等多个环节的软件开发和交付过程，其中包括了供应商、开发者、第三方库、依赖组件、工具和用户等各种参与者。
作者 ｜ 核子可乐、罗燕珊 去年 9 月，微软宣布获得了 OpenAI 的 GPT-3 语言模型的独家授权。而在近日举办的 Build 2021 开发者大会上，微软正式公布了收购之后的第一个商业用例：在 Microsoft Power Apps 中集成 GPT-3 的能力，可将自然语言直接转换为现成代码。 虽然目前这项功能使用范围有限，只支持在微软 Power Fx 中生成公式（Power Fx 是一种由微软 Excel 公式衍生而来的低代码编程语言），但却已经显示出机器学习作为代码自动生成工具、帮助新手程
语言模型 (LM) 通常用于自然语言文献中，以将概率分配给标记序列。LM 最近在用编程语言编写的源代码建模方面表现出出色的性能。这些模型特别擅长代码完成和从自然语言描述生成代码等工作。对于基于 AI 的编程支持，当前最先进的代码大语言模型已显示出巨大的改进。其中最大的模型之一 Codex 已被实现为 IDE 内的开发人员助手，可根据用户的上下文在真实世界的生产工具 GitHub Copilot 中自动编写代码。
💥通常，大语言模型 (LLM) 是指包含数千亿 (或更多) 参数的语言模型(目前定义参数量超过10B的模型为大语言模型)，这些参数是在大量文本数据上训练的，例如模型 GPT-3、ChatGPT、PaLM、BLOOM和 LLaMA等.
🍹大语言模型 (Large Language Model) 是一种人工智能模型, 它们通常包含数千亿甚至更多的参数，并在大规模数据集上进行训练。大语言模型可以处理多种自然语言任务，如文本分类、问答、翻译、对话等等。
👆关注“博文视点Broadview”，获取更多书讯 近年来，在深度学习和大数据的支撑下，自然语言处理技术迅猛发展。 而预训练语言模型把自然语言处理带入了一个新的阶段，也得到了工业界的广泛关注。 通过大数据预训练加小数据微调，自然语言处理任务的解决，无须再依赖大量的人工调参。 借助预训练语言模型，自然语言处理模型进入了可以大规模复制的工业化时代。 那到底什么是预训练？为什么需要预训练呢？ 以下内容节选自《预训练语言模型》一书！ ---- --正文-- 01 预训练 预训练属于迁移学习的范畴。 现有的
来源 | 博文视点 头图 | 下载于视觉中国 近年来，在深度学习和大数据的支撑下，自然语言处理技术迅猛发展。而预训练语言模型把自然语言处理带入了一个新的阶段，也得到了工业界的广泛关注。 通过大数据预训练加小数据微调，自然语言处理任务的解决，无须再依赖大量的人工调参。借助预训练语言模型，自然语言处理模型进入了可以大规模复制的工业化时代。 那到底什么是预训练？为什么需要预训练呢？ 预训练 预训练属于迁移学习的范畴。 现有的神经网络在进行训练时，一般基于后向传播（Back Propagation，BP）算法，
原文：LLMs and Programming in the first days of 2024
现有的神经网络在进行训练时，一般基于后向传播（Back Propagation，BP）算法，先对网络中的参数进行随机初始化，再利用随机梯度下降（Stochastic Gradient Descent，SGD）等优化算法不断优化模型参数。
选自arXiv 作者：Timo Schick等 机器之心编译 编辑：袁铭怿、小舟 单一的大型语言模型或许无法实现 AGI，但如果它学会使用其他工具呢？ 在自然语言处理任务中，大型语言模型在零样本和少样本学习方面取得了令人印象深刻的结果。然而，所有模型都存在固有的局限性，往往只能通过进一步扩展来部分解决。具体来讲，模型的局限性包括无法访问最新信息、会对事实产生「信息幻觉」、低资源语言理解困难、缺乏进行精确计算的数学技能等等。 解决这些问题的一种简单方法就是给模型配备外部工具，如搜索引擎、计算器或日历。然而，现
ShowMeAI为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》课程的全部课件，做了中文翻译和注释，并制作成了GIF动图！
大语言模型（LLM）是一种利用机器学习技术来理解和生成人类语言的人工智能模型。 对于希望从各个方面增强通信和数据处理并实现自动化的企业和机构而言，LLM 具有极高的价值。 LLM 使用基于神经网络的模型，通常运用自然语言处理（NLP）技术来处理和计算其输出。
本文则针对中文拼写纠错进行一个简要的概述，主要分享基于n-gram语言模型和困惑集来做中文拼写纠错的方法。
视觉推理是一项至关重要的任务，它要求模型不仅要理解和解释视觉信息，还要应用高级认知来得出逻辑解决方案。该领域因其实现广泛智能应用的潜力而收到机器学习社区的极大关注，例如智能辅导系统、自动图像字幕和虚拟助手。为了有效地进行视觉推理，模型必须同时具备视觉感知能力和强大的逻辑推理能力。
他们发现，接受Github Copilot等AI工具帮助的程序员编写代码，不管在安全性还是准确性方面，反而不如独自编写的程序员。
〇、序 之前一段时间，在结合深度学习做 NLP 的时候一直有思考一些问题，其中有一个问题算是最核心一个：究竟深度网络是怎么做到让各种 NLP 任务解决地如何完美呢？到底我的数据在 NN 中发什么了什么呢？ 并且，不少的 terms like： 词向量、word embedding、分布式表示、word2vec、glove 等等，这一锅粥的名词术语分别代表什么，他们具体的关系是什么，他们是否处于平级关系？ 出于对知识结构追求完整梳理的强迫症的老毛病，于是不停地查资料、思考、keep revolving……
图是一种普遍的数据结构，建模了节点之间的结构关系。在现实生活中，许多节点包含丰富的文本特征，这种图被称为文本图 (text-attributed graph [2])。例如，论文引用网络中包含了论文的文本和论文之间的引用关系；社交网络中包含了用户的文本描述和用户直接的交互关系。在文本图上的表示学习模型，可以应用于节点分类、链路预测等任务中，具有广泛的应用价值。
即在询问模型答案之前，让模型认真思考等prompt，输出结果真的就要好。 这里有一个问题点：不同的模型神奇咒语是不一样的，怎么针对一个新的模型搜索出神奇咒语呢，如果有少量样本，怎么在few-shot上效果更好呢？见还在手写Prompt，自动Prompt搜索超越人类水平
今天为大家介绍的是来自斯坦福大学研究团队的一篇利用语言模型模拟人类抗体自然演化的论文。自然进化必须探索广阔的可能序列空间，以寻找稀有但理想的突变，这表明从自然进化策略中学习可以指导人工进化。在这里，作者报告了一种利用通用蛋白质语言模型能够高效演化人类抗体的方法，该方法通过提出在进化上是合理的突变来改进抗体，尽管该模型没有提供关于目标抗原、结合特异性或蛋白质结构的任何信息。作者进行了七种抗体的语言模型引导提高亲和力实验，每种抗体仅经历两轮实验进化，筛选了每种抗体的20个或更少的变种。结果显示，作者成功将四种临床相关、高度成熟的抗体的结合亲和力提高了多达七倍，将三种未成熟抗体的结合亲和力提高了多达160倍。此外，许多设计还展示出良好的热稳定性和对埃博拉病毒和严重急性呼吸综合征冠状病毒2（SARS-CoV-2）假病毒的中和活性。改善抗体结合的相同模型还可以指导不同蛋白质家族和选择压力下的高效进化，包括抗生素抗性和酶活性，这表明这些结果适用于许多情境。
LLaMA (Large Language Model Meta AI)是Meta公司发布的大型语言模型系列，近日LLaMA种子文件被合并到了GitHub 上，同时一些项目维护者给予了批准，目前该项目在 GitHub 已收获 7k+ 个星。Meta 宣称LLaMA 规模仅为竞争对手 ChatGPT 的“十分之一”，但性能却优于 OpenAI 的 GPT-3 模型。
每天给你送来NLP技术干货！ ---- 来自：NLP日志 提纲 1 简介 2 模型架构 3 实验设计 3.1 损失函数 3.2 预训练任务 3.3 Efficient retriever fine-tuning 4 实验结论 5 分析 5.1 可解释性 5.2 可更新性 6 总结 参考文献 1 简介 之前写过若干篇retrieval augmentation的文章，对几种当下较为火热的retrieval augmentation的方法做了详细介绍，进而清晰
语言模型通俗的将就是判断一句话是不是正常人说出来的。统计语言模型是所有 NLP的基础，被广泛应用与语音识别、机器翻译、分词、词性标注和信息检索等任务。传统的统计语言模型是表示语言基本单位（一般为句子）的概率分布函数，这个概率分布也是该语言的生成模型。通俗的讲，如果一句话没有在语料库中出现，可以模拟句子的生成的方式，生成句子在语料库中的概率。一般语言模型可以使用各个词语条件概率的形式表示：
自然语言处理在大语言模型（Large Language Model, LLM）被提出之后，再次取得重大突破：
机器之心报道 编辑：杜伟 CMU 对现有开源和未开源的 AI 代码生成模型进行了全面深入的系统性评估，并分析了它们在 C、C++、Python 等 12 中不同编程语言中的代码自动完成表现。 最近，语言模型（Language Model, LM）在建模编程语言源代码方面展现出了令人印象深刻的性能。这些模型擅长代码自动生成以及从自然语言描述中生成代码等下游任务。当前 SOTA 大规模语言代码模型（如 Austin et al. (2021)）在基于 AI 的编程辅助领域已经取得了重大进展。此外，OpenAI
前几天，Facebook发了一个百种语言互译的模型M2M-100，这边谷歌着急了，翻译可是我的老本行啊。
在本文中，我们试图改进对LSTMs的科学理解，特别是语言模型和LSTM中存在的字形模型之间的相互作用。 我们称这种内部语言模型为隐式语言模型（隐式LM）。 本文的贡献：1）在受控条件下建立隐式LM的存在; 2）通过找出它使用的上下文有多少个字符来描述隐式LM的本质。 我们所描述的隐式LM与上面讨论的文献19、20中的语言模型有所不同，因为学习语言模型的背景和要求不同：OCR明确要求学习字形模型而不是语言模型。最近的关于使用LSTM进行OCR的基准文件22并没有涉及这一点，而且据我们所知，文献中也没有涉及。
这两天看到了一个论文Large Language Models Understand and Can Be Enhanced by Emotional Stimuli 翻译过来叫做 大型语言模型理解并能够通过情感刺激进行增强，听着是一个prompt的论文。
2022年6月7日，来自多伦多大学计算机科学系的Daniel Flam-Shepherd等人在Nat Commun发表研究工作，研究为分子的深度生成模型引入了三个复杂的建模任务来测试化学语言模型的能力，结果显示语言模型是可以学习任何复杂分子分布的非常强大的生成模型。
在这个信息爆炸的时代，你是否曾幻想过与机器流畅交谈，或是让AI助你笔下生花，创作出惊艳的文章？这一切，都离不开大语言模型的神奇魔力。今天，让我们一起揭开这层神秘的面纱，走进大语言模型的科普奇幻之旅！
摘要：近年来，预训练模型的出现将自然语言处理带入了一个新的时代。本文概述了面向自然语言处理领域的预训练模型技术。我们首先概述了预训练模型及其发展历史。并详细介绍自然语言处理领域的经典预训练模型，包括最经典的预训练模型技术和现在一系列新式的有启发意义的预训练模型。然后梳理了这些预训练模型在自然语言处理领域的优势和预训练模型的两种主流分类。最后，对预训练技术的未来发展趋势进行了展望。
据其创作者表示，一种新的 Python 超集编程语言使开发者能够从大型语言模型中提取更多价值。
原文： On word embeddings 作者： Sebastian Ruder 译者： KK4SBB 审校：王艺 责编： 王艺，关注人工智能，投稿请联系 wangyi@csdn.net
来源：机器之心本文约2400字，建议阅读5分钟CMU 对现有开源和未开源的 AI 代码生成模型进行了全面深入的系统性评估，并分析了它们在 C、C++、Python 等 12 中不同编程语言中的代码自动完成表现。 最近，语言模型（Language Model, LM）在建模编程语言源代码方面展现出了令人印象深刻的性能。这些模型擅长代码自动生成以及从自然语言描述中生成代码等下游任务。当前 SOTA 大规模语言代码模型（如 Austin et al. (2021)）在基于 AI 的编程辅助领域已经取得了重大进展。
本文介绍由加拿大多伦多大学的Daniel Flam-Shepherd和Alán Aspuru-Guzik共同通讯发表在Nature Communications的研究成果：作者研究了语言模型学习复杂的分子分布的能力。通过编译更大、更复杂的分子分布，作者引入几个挑战性的分子生成任务评估语言模型的学习能力。结果表明，语言模型具有强大的生成能力，能够学习复杂的分子分布。语言模型可以准确生成：ZINC15数据集中惩罚 LogP得分最高分子的分布、PubChem数据集中多模态分子及最大分子的分布。
基于联结时序分类(CTC)的声学模型不再需要对训练的音频序列和文本序列进行强制对齐，实际上已经初步具备了端到端的声学模型建模能力。但是CTC模型进行声学建模存在着两个严重的瓶颈，一是缺乏语言模型建模能力，不能整合语言模型进行联合优化，二是不能建模模型输出之间的依赖关系。RNN-Transducer针对CTC的不足，进行了改进，使得模型具有了端到端联合优化、具有语言建模能力、便于实现Online语音识别等突出的优点, 更加适合语音任务，值得引起大家的重视。
与往年不同的是，当全国考生奔赴考场的同时，还有一些大语言模型也成为了这场角逐中的特殊选手。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
