腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
深度学习自然语言处理
专栏成员
举报
1035
文章
1348225
阅读量
164
订阅数
订阅专栏
申请加入专栏
全部文章(999+)
NLP 服务(293)
深度学习(232)
神经网络(222)
机器学习(207)
模型(190)
编程算法(181)
人工智能(135)
数据(128)
https(122)
网络安全(96)
论文(84)
性能(83)
其他(60)
python(43)
开源(43)
LLM(39)
测试(37)
linux(36)
github(34)
机器翻译(33)
腾讯云开发者社区(31)
知识图谱(29)
监督学习(28)
框架(28)
批量计算(26)
git(24)
强化学习(23)
数据结构(23)
优化(22)
系统(21)
pytorch(20)
http(19)
卷积神经网络(19)
tcp/ip(19)
css(18)
工作(18)
决策树(17)
图像处理(15)
数据分析(15)
ide(14)
迁移学习(14)
设计(14)
大数据(13)
nlp(13)
基础(12)
架构(12)
内存(12)
微信(11)
chatgpt(11)
token(11)
数学(11)
html(10)
图像识别(10)
学习方法(10)
gpt(10)
函数(10)
算法(10)
腾讯云测试服务(9)
LoRa(9)
云直播(8)
游戏(8)
编码(8)
代理(8)
工具(8)
tensorflow(7)
数据库(7)
网站(7)
推荐系统(7)
无监督学习(7)
机器人(7)
量化(7)
搜索(7)
网络(7)
效率(7)
sql(6)
缓存(6)
正则表达式(6)
教育(6)
agent(6)
视频(6)
语音识别(5)
数据挖掘(5)
go(5)
node.js(5)
apache(5)
文件存储(5)
processing(5)
meta(5)
openai(5)
word(5)
区块链(4)
bash(4)
api(4)
unix(4)
医疗(4)
存储(4)
nat(4)
nest(4)
data(4)
embedding(4)
function(4)
prompt(4)
self(4)
部署(4)
排序(4)
压缩(4)
自然语言处理(4)
java(3)
.net(3)
硬件开发(3)
搜索引擎(3)
bash 指令(3)
电商(3)
分布式(3)
自动化(3)
shell(3)
spark(3)
gui(3)
线性回归(3)
keras(3)
grep(3)
安全(3)
数据处理(3)
windows(3)
架构设计(3)
迁移(3)
联邦学习(3)
ls(3)
lstm(3)
memory(3)
model(3)
程序(3)
翻译(3)
华为(3)
解决方案(3)
路由(3)
苹果(3)
索引(3)
图表(3)
语法(3)
人脸识别(2)
官方文档(2)
数字货币(2)
自动驾驶(2)
javascript(2)
jquery ui(2)
android(2)
NAT 网关(2)
大数据处理套件 TBDS(2)
企业(2)
爬虫(2)
无人驾驶(2)
numpy(2)
信息流(2)
云计算(2)
对话机器人(2)
特征工程(2)
聚类算法(2)
隐私计算(2)
智能客服机器人(2)
entity(2)
error(2)
label(2)
mean(2)
network(2)
object(2)
sample(2)
sequence(2)
target(2)
tree(2)
变量(2)
服务(2)
集合(2)
技巧(2)
入门(2)
实践(2)
事件(2)
统计(2)
音频(2)
费用中心(1)
云点播(1)
对象存储(1)
负载均衡(1)
腾讯云学堂(1)
c 语言(1)
c++(1)
perl(1)
lua(1)
scala(1)
r 语言(1)
react(1)
json(1)
ajax(1)
oracle(1)
打包(1)
matlab(1)
中文分词(1)
apt-get(1)
mapreduce(1)
黑石物理服务器(1)
短视频(1)
访问管理(1)
SSL 证书(1)
数据加密服务(1)
文字识别(1)
内容理解(1)
金融(1)
kubernetes(1)
ssh(1)
面向对象编程(1)
opencv(1)
unity(1)
自动化测试(1)
二叉树(1)
单元测试(1)
kernel(1)
scikit-learn(1)
模式识别(1)
物联网(1)
微服务(1)
raft(1)
云课堂(1)
智能音乐(1)
基础教育(1)
alarm(1)
analysis(1)
apple(1)
bat(1)
behavior(1)
bit(1)
blender(1)
branch(1)
cat(1)
chat(1)
com(1)
decode(1)
distance(1)
dst(1)
encoding(1)
eval(1)
fixed(1)
glm(1)
google(1)
graph(1)
hidden(1)
history(1)
input(1)
it(1)
jupyter(1)
kaggle(1)
layer(1)
lift(1)
lisp(1)
lm(1)
marker(1)
microsoft(1)
modeling(1)
models(1)
next(1)
pdf(1)
perfect(1)
pivot(1)
plot(1)
position(1)
prediction(1)
ps(1)
random(1)
ssm(1)
state(1)
table(1)
tabular(1)
text(1)
title(1)
torch(1)
translation(1)
twitter(1)
video(1)
vr(1)
youtube(1)
编程(1)
表格(1)
并发(1)
程序设计(1)
创业(1)
动画(1)
二维码(1)
工程师(1)
公众号(1)
工作流(1)
行业(1)
集群(1)
兼容性(1)
接口(1)
开发(1)
开发者(1)
科技(1)
可视化(1)
连接(1)
漏洞(1)
面试(1)
配置(1)
数据存储(1)
数据科学(1)
思维导图(1)
通信(1)
协议(1)
研发(1)
异常(1)
语音(1)
重构(1)
城市交通(1)
搜索文章
搜索
搜索
关闭
微软提出:多模态视觉语言理解和视觉定位的大一统
图像识别
批量计算
a、 A Unified VL Formulation and Architecture GLIPv2的关键是classification-to-matching技巧,它将任何task-specific fixed-vocab分类问题重新表述为task-agnostic open-vocabulary视觉语言匹配问题,例如CLIP中将图像分类重新表述为图像-文本匹配,使模型可以直接从原始的大量的图像-文本对数据中学习,实现了强大的zero-shot效果。在GLIPv2中,将传统视觉模型中的语义分类线性层替换为视觉语言匹配点积层。 如图1,GLIPv2由一个双编码器
zenRRan
2023-03-03
1.1K
0
DataParallel里为什么会显存不均匀以及如何解决
https
网络安全
批量计算
pytorch
github
鉴于网上此类教程有不少模糊不清,对原理不得其法,代码也难跑通,故而花了几天细究了一下相关原理和实现,欢迎批评指正!
zenRRan
2023-03-03
1.2K
0
深入理解Pytorch中的分布式训练
https
网络安全
深度学习
mapreduce
批量计算
作者:台运鹏 (正在寻找internship...) 主页:https://yunpengtai.top
zenRRan
2023-01-12
1.2K
0
即插即用!Batch Transformer
批量计算
腾讯云测试服务
最近在知乎看到一个非常有意思的问题,『为什么没有做batch attention的?』今天就分享一篇相关的顶会论文~
zenRRan
2023-01-07
495
0
ESimCSE:无监督句子表示对比学习的增强样本构建方法
批量计算
NLP 服务
每天给你送来NLP技术干货! ---- 作者 | 高超尘 来源 | 开放知识图谱 排版 | PaperWeekly 论文标题: ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding 论文链接: https://arxiv.org/pdf/2109.04380.pdf 代码链接: https://github.com/caskcsg/ESimCSE 动机 对
zenRRan
2022-10-08
1.5K
0
COLING'22 | ESimCSE:无监督句子表示对比学习的增强样本构建方法
批量计算
NLP 服务
每天给你送来NLP技术干货! ---- ©作者 | 高超尘 单位 | 中国科学院信息工程研究所 来源 | 开放知识图谱 来自 | PaperWeekly 论文标题: ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding 论文链接: https://arxiv.org/pdf/2109.04380.pdf 代码链接: https://github.com/ca
zenRRan
2022-09-27
1K
0
Bert/Transformer 被忽视的细节
https
网络安全
批量计算
深度学习
NLP 服务
作者:阎覃 链接:https://zhuanlan.zhihu.com/p/559495068 引言 自从 “Attention is All You Need” 提出 Transformer 以来,该模型在 NLP 的各种任务上取代了 RNN / CNN,成为了 NLP 的一种新架构。该论文最初的目的是在翻译任务上提升质量,后来由于出色的表现,被应用于各种语言模型和下游任务。除了 NLP 之外,在视觉领域甚至也取得了很好的效果。 这篇论文写作比较简洁清晰,不过由于篇幅限制,每句话包含的信息量非常大,很多
zenRRan
2022-09-06
565
0
NLP实践 | 用自己的语料进行MLM预训练
批量计算
css
NLP 服务
编程算法
每天给你送来NLP技术干货! ---- 编辑:AI算法小喵 1. 关于MLM 1.1 背景 作为 Bert 预训练的两大任务之一,MLM 和 NSP 大家应该并不陌生。其中,NSP 任务在后续的一些预训练任务中经常被嫌弃,例如 Roberta 中将 NSP 任务直接放弃,Albert 中将 NSP 替换成了句子顺序预测。 这主要是因为 NSP 作为一个分类任务过于简单,对模型的学习并没有太大的帮助,而 MLM 则被多数预训练模型保留下来。由 Roberta的实验结果也可以证明,Bert 的主要能力应该是来自
zenRRan
2022-08-26
2.5K
0
NER | 商品标题属性识别探索与实践
批量计算
每天给你送来NLP技术干货! ---- ©作者 | 康洪雨 单位 | 有赞科技 研究方向 | NLP/推荐算法 来自 | PaperWeekly 最近一段时间在做商品理解的工作,主要内容是从商品标题里识别出商品的一些属性标签,包括不限于品牌、颜色、领型、适用人群、尺码等等。这类任务可以抽象成命名实体识别(Named Entity Recognition, NER)工作,一般用序列标注(Sequence Tagging)的方式来做,是比较成熟的方向。 ▲ 商品理解示例,品牌:佳丰;口味:蒜香味 本文主要记录
zenRRan
2022-07-27
2.1K
0
天池竞赛 | 中医药领域的问题生成冠军方案
批量计算
NLP 服务
每天给你送来NLP技术干货! ---- 排版:炼丹笔记 来源:数据派THU 问题生成任务需要我们根据篇章及对应的答案自动生成相应的问题,即“篇章+答案→问题”这样的流程。 训练集由三个字段(篇章、问题、答案)构成,测试集由两个字段(篇章、答案)构成,其中的问题字段需要我们生成。 根据以上分析,我们可以采用Seq2Seq模型来端到端地实现问题生成,而模型的输入为篇章和答案,输出为问题。 文本长度分布 篇章文本长度在100以下的数据较少,长度区间400-500的数据占比较大。 问题文本长度主要集中
zenRRan
2022-07-12
529
0
ESimCSE:无监督语义新SOTA,引入动量对比学习扩展负样本,效果远超SimCSE
批量计算
从论文标题中可以看出,应该是对4月份丹琦女神发表的新作SimCSE的增强版(Enhance),并且也用到了对比学习来构建正负样本,那么效果是否优于SimCSE呢?
zenRRan
2021-10-08
1K
0
【实践】Pytorch nn.Transformer的mask理解
批量计算
编程算法
css
pytorch
pytorch也自己实现了transformer的模型,不同于huggingface或者其他地方,pytorch的mask参数要更难理解一些(即便是有文档的情况下),这里做一些补充和说明。(顺带提一句,这里的transformer是需要自己实现position embedding的,别乐呵乐呵的就直接去跑数据了)
zenRRan
2021-04-08
4.3K
0
使用Batch Normalization折叠来加速模型推理
批量计算
神经网络
Batch Normalization是将各层的输入进行归一化,使训练过程更快、更稳定的一种技术。在实践中,它是一个额外的层,我们通常添加在计算层之后,在非线性之前。它包括两个步骤:
zenRRan
2020-11-19
1.1K
0
pytorch的余弦退火学习率
批量计算
pytorch
官方文档
最近深入了解了下pytorch下面余弦退火学习率的使用.网络上大部分教程都是翻译的pytorch官方文档,并未给出一个很详细的介绍,由于官方文档也只是给了一个数学公式,对参数虽然有解释,但是解释得不够明了,这样一来导致我们在调参过程中不能合理的根据自己的数据设置合适的参数.这里作一个笔记,并且给出一些定性和定量的解释和结论.说到pytorch自带的余弦学习率调整方法,通常指下面这两个
zenRRan
2020-11-19
3.8K
0
【深度学习】神经网络为何非激活函数不可?
批量计算
神经网络
卷积神经网络
激活函数是神经网络中一个至关重要的概念,决定了某个神经元是否被激活,判断该神经元获得的信息是否有用,并决定该保留还是该去掉此神经元。
zenRRan
2020-02-18
1.1K
0
【ERNIE】深度剖析知识增强语义表示模型——ERNIE
NLP 服务
深度学习
神经网络
批量计算
无监督文本的深度神经网络的出现,nlp领域又火了起来,深度神经网络大大提升了nlp任务的效果。虽然早期的网络也是基于上下文进行的向量建模,但是由于单向信息流的弊端,效果上始终难以大幅度提升。Transformer中的多层self-attention的出现,推进了深度网络的发展。Google提出的BERT模型,通过掩盖的term,利用多层的self-attention的双向建模能力,横扫了NLP比赛的各大排行榜。
zenRRan
2019-12-23
2.1K
0
调参心得:超参数优化之旅
批量计算
keras
只需采用正确的过程,为给定的预测任务找到顶尖的超参数配置并非难事。超参数优化主要有三种方法:手工、机器辅助、基于算法。本文主要关注机器辅助这一方法。本文将介绍我是如何优化超参数的,如何证实方法是有效的,理解为何起效。我把简单性作为主要原则。
zenRRan
2019-11-20
916
0
step-by-step: 夕小瑶版神经网络调参指南
深度学习
批量计算
闭关几个月后,其实早有继续码文章的打算,先后写了一下核函数与神经网络的一些思考、文本预处理tricks、不均衡文本分类问题、多标签分类问题、tensorflow常用tricks、噪声对比估算与负采样等文章,结果全都半途而废,写了一半然后各种原因丢掉了就不想再接着写。结果电脑里稿子攒了好多,却让订阅号空了这么久。今天终于下定决心必须要码一篇了,下午临时决定写一篇神经网络调参的文章,嗯,就是这一篇啦。
zenRRan
2019-11-19
1K
0
NLP入门竞赛,搜狗新闻文本分类
批量计算
编程算法
该数据集来自若干新闻站点2012年6月—7月期间国内,国际,体育,社会,娱乐等18个频道的新闻数据。
zenRRan
2019-11-14
547
0
【Pytorch】谈谈我在PyTorch踩过的12坑
pytorch
python
批量计算
1. nn.Module.cuda() 和 Tensor.cuda() 的作用效果差异
zenRRan
2019-11-14
1.8K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档