腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

SimpleAI

专栏作者

104

文章

139066

阅读量

36

订阅数

OpenAI是如何“魔鬼调教” GPT的？——InstructGPT论文解读

ChatGPT的论文尚未放出，也不知道会不会有论文放出，但是根据公开资料显示，其训练方式，跟OpenAI之前的一个工作——InstructGPT基本无异，主要是训练数据上有小的差异，因此我们可以从InstructGPT的论文中，窥探ChatGPT强大的秘密。本文主要（粗略）解读一下InstructGPT的论文——Training language models to follow instructions with human feedback.

2023-02-13

2.4K0

作为普通NLP科研人员对ChatGPT的一些思考

根据媒体报道，ChatGPT全球用户数已经突破了一百万，早早火出了圈。我朋友圈里的做金融的、做健身教练的、做英语培训的，都玩起了ChatGPT，我一个做NLP的，却迟迟没有去体验，主要是因为有一种疲惫感，热点太多了跟不上了。昨天终于觉得，如果再不体验一下，就真的落伍了，无奈国内无法注册，于是找了人在美国刚下飞机的好哥们要了一个手机号，终于顺利注册。

2023-02-13

7400

好久不见，介绍一下，这位是GENIUS：一个基于“草稿”进行文本生成、数据增强的“小天才”模型

https 网络安全 NLP 服务

前言：朋友们好啊，好久不见。最近半年比较忙，因此好久没有更新了。今年3月份，我开始了在MSRA NLC组的研究实习，如今转眼已经过去了9个月。这也是我读博士以来目前压力最大的一段时光，中间也有很多故事，这里暂不赘述，等日后有闲心了再详细分享给大家。今天想跟大家简单介绍一下我这过去9个月“养”出的一个模型——GENIUS。非常感激MSRA的老师们和我们上财AI实验室的导师们在这期间给予的指导和鼓励，感谢老婆在封城期间操劳家里的一切柴米油盐让我全身心科研，当然还有很多同学给予的帮助，这里就不一一列举啦。

2022-12-01

5130

盘点Controllable Text Generation(CTG)的进展

NLP 服务 linux

A Survey of Controllable Text Generation using Transformer-based Pre-trained Language Models，一篇2022年1月上传到Arxiv上的一篇综述文章，作者团队里面有周明和宋大为两个大佬。（比较奇怪的是论文使用的是ACM Journal的模板，还有DOI号，但是搜索DOI却发现是另外一篇无关的文章，所以不知道这个文章到底发表在哪里、有无发表。但不管怎么，这依然是一篇很好的综述，对可控制的文本生成这个领域的工作做了很好的梳理和总结，值得一读。）

2022-04-19

7080

LAMBADA——用GPT-2来做文本数据增强

NLP 服务深度学习

本文提出的方法称为language-model-based data augmentation（LAMBADA）。

2022-04-19

8290

XLNet发表在NeurIPS-19上，是BERT之后相当有名的一个工作，这里简单总结一下它的要点。

2022-04-19

3220

「课代表来了」跟李沐读论文之——BERT

NLP 服务日志服务

BERT：Pre-trainingof Deep Bidirectional Transformers for Language Understanding

2022-01-04

7140

Huggingface🤗NLP笔记8：使用PyTorch来微调模型「初级教程完结撒花ヽ(°▽°)ノ」

pytorch 批量计算 https NLP 服务网络安全

在Huggingface官方教程里提到，在使用pytorch的dataloader之前，我们需要做一些事情：

2021-10-20

1.7K0

Huggingface🤗NLP笔记7：使用Trainer API来微调模型

NLP 服务 https 网络安全 css html

不得不说，这个Huggingface很贴心，这里的warning写的很清楚。这里我们使用的是带ForSequenceClassification这个Head的模型，但是我们的bert-baed-cased虽然它本身也有自身的Head，但跟我们这里的二分类任务不匹配，所以可以看到，它的Head被移除了，使用了一个随机初始化的ForSequenceClassificationHead。

2021-10-08

7.2K0

Huggingface🤗NLP笔记6：数据集预处理，使用dynamic padding构造batch

NLP 服务批量计算 https 网络安全 linux

从这一集，我们就正式开始使用Transformer来训练模型了。今天的部分是关于数据集预处理。

2021-10-08

4.3K2

Huggingface🤗NLP笔记5：attention_mask在处理多个序列时的作用

NLP 服务 https 网络安全

现在我们训练和预测基本都是批量化处理的，而前面展示的例子很多都是单条数据。单条数据跟多条数据有一些需要注意的地方。

2021-10-08

5.4K0

Huggingface🤗NLP笔记4：Models，Tokenizers，以及如何做Subword tokenization

https css 网络安全编程算法 NLP 服务

前面都是使用的AutoModel，这是一个智能的wrapper，可以根据你给定的checkpoint名字，自动去寻找对应的网络结构，故名Auto。

2021-10-08

1.9K0

Huggingface🤗NLP笔记3：Pipeline端到端的背后发生了什么

NLP 服务 https 网络安全 css html

「Huggingface🤗NLP笔记系列-第3集」最近跟着Huggingface上的NLP tutorial走了一遍，惊叹居然有如此好的讲解Transformers系列的NLP教程，于是决定记录一下学

2021-10-08

2K0

Huggingface🤗NLP笔记2：一文看清Transformer大家族的三股势力

NLP 服务编程算法 https 网络安全

Transformer结构最初就是在大2017年名鼎鼎的《Attention Is All You Need》论文中提出的，最开始是用于机器翻译任务。

2021-10-08

3.4K0

Huggingface🤗NLP笔记1：直接使用pipeline，是个人就能玩NLP

https 网络安全 NLP 服务

Pipeline是Huggingface的一个基本工具，可以理解为一个端到端(end-to-end)的一键调用Transformer模型的工具。它具备了数据预处理、模型处理、模型输出后处理等步骤，可以直接输入原始数据，然后给出预测结果，十分方便。

2021-10-08

3.9K0

一种巧妙且简单的数据增强方法 - MixUp 小综述

https 网络安全 NLP 服务 serverless

Mixup 是⼀种简单且有效的数据增强⽅法，⾃2018年MIT和facebook提出之后，⽆论在业界还是在学术界都有了很强的地位，成为⼤家的⼀种标配。下⾯就从开⼭之作逐步简单的介绍下如何在NLP领域使⽤的吧。

2021-09-15

2.2K0

还在用[CLS]？从BERT得到最强句子Embedding的打开方式！

你有尝试从 BERT 提取编码后的 sentence embedding 吗？很多小伙伴的第一反应是：不就是直接取顶层的[CLS] token的embedding作为句子表示嘛，难道还有其他套路不成？

2021-01-12

3K0

【Hello NLP】CS224n笔记[7]:机器翻译和seq2seq

机器翻译 NLP 服务

相比于计算机视觉，NLP可能看起来没有那么有趣，这里没有酷炫的图像识别、AI作画、自动驾驶，我们要面对的，几乎都是枯燥的文本、语言、文字。但是，对于人工智能的征途来说，NLP才是皇冠上的那颗珍珠，它美丽却又难以摘取，当NLP的问题解决了，机器才真正具备了理解、思考的能力，我们才敢说实现了真正的“智能”。

2020-06-12

7920

【Hello NLP】CS224n笔记[5]:语言模型（LM）和循环神经网络（RNNs）

机器学习深度学习人工智能 NLP 服务神经网络

相比于计算机视觉，NLP可能看起来没有那么有趣，这里没有酷炫的图像识别、AI作画、自动驾驶，我们要面对的，几乎都是枯燥的文本、语言、文字。但是，对于人工智能的征途来说，NLP才是皇冠上的那颗珍珠，它美丽却又难以摘取，当NLP的问题解决了，机器才真正具备了理解、思考的能力，我们才敢说实现了真正的“智能”。

2020-05-25

8140

【Hello NLP】CS224n笔记[4]:自然语言中的依存分析(Dependency Parsing)

编程算法 NLP 服务 linux 机器学习神经网络

SimpleAI 【HelloNLP】系列笔记，主要参考各知名网课（Stanford CS224n、DeepLearning.ai、李宏毅机器学习等等），并配合NLP的经典论文和研究成果、我的个人项目实践经验总结而成。希望能和各位NLP爱好者一起探索这颗AI皇冠的明珠！

2020-03-25

9010

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战，赢鹅厂证书、公仔好礼！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态