腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
SimpleAI
专栏成员
举报
104
文章
156926
阅读量
37
订阅数
订阅专栏
申请加入专栏
全部文章(104)
NLP 服务(27)
其他(21)
深度学习(18)
网络安全(18)
https(18)
机器学习(17)
神经网络(17)
编程算法(17)
人工智能(12)
模型(9)
数据(7)
批量计算(5)
python(4)
linux(4)
pytorch(4)
css(3)
html(3)
git(3)
开源(3)
论文(3)
node.js(2)
github(2)
腾讯云测试服务(2)
numpy(2)
决策树(2)
keras(2)
数据结构(2)
chatgpt(2)
data(2)
distribution(2)
embedding(2)
label(2)
lm(2)
model(2)
测试(2)
基础(2)
LoRa(2)
LLM(2)
数据挖掘(1)
tensorflow(1)
java(1)
go(1)
ide(1)
api(1)
搜索引擎(1)
容器镜像服务(1)
日志服务(1)
访问管理(1)
机器翻译(1)
短信(1)
企业(1)
容器(1)
serverless(1)
强化学习(1)
kernel(1)
模式识别(1)
微信(1)
windows(1)
特征工程(1)
jupyter notebook(1)
background(1)
detection(1)
event(1)
events(1)
global(1)
gpt(1)
input(1)
ld(1)
local(1)
lstm(1)
matrix(1)
mnist(1)
target(1)
zero(1)
函数(1)
互联网(1)
开发(1)
框架(1)
设计(1)
实践(1)
数学(1)
搜索(1)
统计(1)
性能(1)
异常(1)
搜索文章
搜索
搜索
关闭
OpenAI是如何“魔鬼调教” GPT的?——InstructGPT论文解读
api
NLP 服务
ChatGPT的论文尚未放出,也不知道会不会有论文放出,但是根据公开资料显示,其训练方式,跟OpenAI之前的一个工作——InstructGPT基本无异,主要是训练数据上有小的差异,因此我们可以从InstructGPT的论文中,窥探ChatGPT强大的秘密。本文主要(粗略)解读一下InstructGPT的论文——Training language models to follow instructions with human feedback.
beyondGuo
2023-02-13
2.8K
0
作为普通NLP科研人员对ChatGPT的一些思考
NLP 服务
根据媒体报道,ChatGPT全球用户数已经突破了一百万,早早火出了圈。我朋友圈里的做金融的、做健身教练的、做英语培训的,都玩起了ChatGPT,我一个做NLP的,却迟迟没有去体验,主要是因为有一种疲惫感,热点太多了跟不上了。昨天终于觉得,如果再不体验一下,就真的落伍了,无奈国内无法注册,于是找了人在美国刚下飞机的好哥们要了一个手机号,终于顺利注册。
beyondGuo
2023-02-13
779
0
好久不见,介绍一下,这位是GENIUS:一个基于“草稿”进行文本生成、数据增强的“小天才”模型
https
网络安全
NLP 服务
前言: 朋友们好啊,好久不见。最近半年比较忙,因此好久没有更新了。今年3月份,我开始了在MSRA NLC组的研究实习,如今转眼已经过去了9个月。这也是我读博士以来目前压力最大的一段时光,中间也有很多故事,这里暂不赘述,等日后有闲心了再详细分享给大家。 今天想跟大家简单介绍一下我这过去9个月“养”出的一个模型——GENIUS。非常感激MSRA的老师们和我们上财AI实验室的导师们在这期间给予的指导和鼓励,感谢老婆在封城期间操劳家里的一切柴米油盐让我全身心科研,当然还有很多同学给予的帮助,这里就不一一列举啦。
beyondGuo
2022-12-01
560
0
盘点Controllable Text Generation(CTG)的进展
NLP 服务
linux
A Survey of Controllable Text Generation using Transformer-based Pre-trained Language Models,一篇2022年1月上传到Arxiv上的一篇综述文章,作者团队里面有周明和宋大为两个大佬。(比较奇怪的是论文使用的是ACM Journal的模板,还有DOI号,但是搜索DOI却发现是另外一篇无关的文章,所以不知道这个文章到底发表在哪里、有无发表。但不管怎么,这依然是一篇很好的综述,对可控制的文本生成这个领域的工作做了很好的梳理和总结,值得一读。)
beyondGuo
2022-04-19
813
0
LAMBADA——用GPT-2来做文本数据增强
NLP 服务
深度学习
本文提出的方法称为language-model-based data augmentation(LAMBADA)。
beyondGuo
2022-04-19
954
0
XLNet简读
NLP 服务
XLNet发表在NeurIPS-19上,是BERT之后相当有名的一个工作,这里简单总结一下它的要点。
beyondGuo
2022-04-19
381
0
「课代表来了」跟李沐读论文之——BERT
NLP 服务
日志服务
BERT:Pre-trainingof Deep Bidirectional Transformers for Language Understanding
beyondGuo
2022-01-04
795
0
Huggingface🤗NLP笔记8:使用PyTorch来微调模型「初级教程完结撒花ヽ(°▽°)ノ」
pytorch
批量计算
https
NLP 服务
网络安全
在Huggingface官方教程里提到,在使用pytorch的dataloader之前,我们需要做一些事情:
beyondGuo
2021-10-20
2K
0
Huggingface🤗NLP笔记7:使用Trainer API来微调模型
NLP 服务
https
网络安全
css
html
不得不说,这个Huggingface很贴心,这里的warning写的很清楚。这里我们使用的是带ForSequenceClassification这个Head的模型,但是我们的bert-baed-cased虽然它本身也有自身的Head,但跟我们这里的二分类任务不匹配,所以可以看到,它的Head被移除了,使用了一个随机初始化的ForSequenceClassificationHead。
beyondGuo
2021-10-08
8.2K
0
Huggingface🤗NLP笔记6:数据集预处理,使用dynamic padding构造batch
NLP 服务
批量计算
https
网络安全
linux
从这一集,我们就正式开始使用Transformer来训练模型了。今天的部分是关于数据集预处理。
beyondGuo
2021-10-08
4.7K
2
Huggingface🤗NLP笔记5:attention_mask在处理多个序列时的作用
NLP 服务
https
网络安全
现在我们训练和预测基本都是批量化处理的,而前面展示的例子很多都是单条数据。单条数据跟多条数据有一些需要注意的地方。
beyondGuo
2021-10-08
6.4K
0
Huggingface🤗NLP笔记4:Models,Tokenizers,以及如何做Subword tokenization
https
css
网络安全
编程算法
NLP 服务
前面都是使用的AutoModel,这是一个智能的wrapper,可以根据你给定的checkpoint名字,自动去寻找对应的网络结构,故名Auto。
beyondGuo
2021-10-08
2.1K
0
Huggingface🤗NLP笔记3:Pipeline端到端的背后发生了什么
NLP 服务
https
网络安全
css
html
「Huggingface🤗NLP笔记系列-第3集」最近跟着Huggingface上的NLP tutorial走了一遍,惊叹居然有如此好的讲解Transformers系列的NLP教程,于是决定记录一下学
beyondGuo
2021-10-08
2.2K
0
Huggingface🤗NLP笔记2:一文看清Transformer大家族的三股势力
NLP 服务
编程算法
https
网络安全
Transformer结构最初就是在大2017年名鼎鼎的《Attention Is All You Need》论文中提出的,最开始是用于机器翻译任务。
beyondGuo
2021-10-08
4.1K
0
Huggingface🤗NLP笔记1:直接使用pipeline,是个人就能玩NLP
https
网络安全
NLP 服务
Pipeline是Huggingface的一个基本工具,可以理解为一个端到端(end-to-end)的一键调用Transformer模型的工具。它具备了数据预处理、模型处理、模型输出后处理等步骤,可以直接输入原始数据,然后给出预测结果,十分方便。
beyondGuo
2021-10-08
4.7K
0
一种巧妙且简单的数据增强方法 - MixUp 小综述
https
网络安全
NLP 服务
serverless
Mixup 是⼀种简单且有效的数据增强⽅法,⾃2018年MIT和facebook提出之后,⽆论在业界还是在学术界都有了很强的地位,成为⼤家的⼀种标配。下⾯就从开⼭之作逐步简单的介绍下如何在NLP领域使⽤的吧。
beyondGuo
2021-09-15
2.5K
0
还在用[CLS]?从BERT得到最强句子Embedding的打开方式!
NLP 服务
你有尝试从 BERT 提取编码后的 sentence embedding 吗?很多小伙伴的第一反应是:不就是直接取顶层的[CLS] token的embedding作为句子表示嘛,难道还有其他套路不成?
beyondGuo
2021-01-12
3.3K
0
【Hello NLP】CS224n笔记[7]:机器翻译和seq2seq
机器翻译
NLP 服务
相比于计算机视觉,NLP可能看起来没有那么有趣,这里没有酷炫的图像识别、AI作画、自动驾驶,我们要面对的,几乎都是枯燥的文本、语言、文字。但是,对于人工智能的征途来说,NLP才是皇冠上的那颗珍珠,它美丽却又难以摘取,当NLP的问题解决了,机器才真正具备了理解、思考的能力,我们才敢说实现了真正的“智能”。
beyondGuo
2020-06-12
862
0
【Hello NLP】CS224n笔记[5]:语言模型(LM)和循环神经网络(RNNs)
机器学习
深度学习
人工智能
NLP 服务
神经网络
相比于计算机视觉,NLP可能看起来没有那么有趣,这里没有酷炫的图像识别、AI作画、自动驾驶,我们要面对的,几乎都是枯燥的文本、语言、文字。但是,对于人工智能的征途来说,NLP才是皇冠上的那颗珍珠,它美丽却又难以摘取,当NLP的问题解决了,机器才真正具备了理解、思考的能力,我们才敢说实现了真正的“智能”。
beyondGuo
2020-05-25
853
0
【Hello NLP】CS224n笔记[4]:自然语言中的依存分析(Dependency Parsing)
编程算法
NLP 服务
linux
机器学习
神经网络
SimpleAI 【HelloNLP】系列笔记,主要参考各知名网课(Stanford CS224n、DeepLearning.ai、李宏毅机器学习等等),并配合NLP的经典论文和研究成果、我的个人项目实践经验总结而成。希望能和各位NLP爱好者一起探索这颗AI皇冠的明珠!
beyondGuo
2020-03-25
982
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档