腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
mathor
专栏作者
举报
446
文章
585103
阅读量
50
订阅数
订阅专栏
申请加入专栏
全部文章
其他
编程算法
神经网络
人工智能
机器学习
深度学习
java
ios
NLP 服务
c++
批量计算
存储
pytorch
alpha
sum
text
serverless
linux
容器
jsp
html
游戏
windows
数据结构
token
语音识别
matlab
语音合成
腾讯云测试服务
http
卷积神经网络
安全
https
embedding
max
size
word2vec
对象存储
python
git
spring
jdk
erp
面向对象编程
数据分析
int
key
nlp
php
css
文件存储
日志服务
网站
网络安全
二叉树
data
google
gpu
hidden
rank
self
tensor
vector
word
编码
bash
node.js
打包
ide
eclipse
github
开源
缓存
shell
正则表达式
gui
numpy
hashmap
数据处理
nat
腾讯云开发者社区
error
layer
mask
model
partial
random
事件
数据
网络
免费套餐
官方文档
数据挖掘
tensorflow
c 语言
.net
r 语言
bootstrap
汇编语言
嵌入式
数据库
oracle
api
tomcat
搜索引擎
bash 指令
云直播
时序数据库 CTSDB
海外加速
机器翻译
企业
运维
黑客
jvm
wordpress
hive
yum
监督学习
线性回归
asp
cdn
kernel
iis
网站建设
特征工程
功能测试
性能测试
黑盒测试
es
汽车
architecture
autoencoder
block
channel
clone
combine
dagger
dataset
device
dfs
distance
distribution
document
encoding
epoch
equation
fixed
fork
for循环
function
gan
global
hashtable
identity
input
label
lambda
list
load
local
ls
min
mnist
module
nan
normalization
object
pandas
pear
pool
position
precision
prediction
profiling
reshape
rows
sample
search
sequence
sign
spa
src
steam
subset
target
testing
time
torch
txt
virtual
web
window
zero
动态规划
二进制
技巧
解决方案
开发
可视化
论文
数组
搜索
统计
优化
语音
搜索文章
搜索
搜索
关闭
AWS教程—解决网站加载缓慢的难题
cdn
wordpress
网站建设
免费套餐
性能测试
谁不喜欢免费的东西?谁不想网站访问更快呢?让我们试一试。借助亚马逊云技术的CloudFront CDN服务提供的免费套餐,通过简单的配置,加速你的WordPress网站。
mathor
2023-03-11
1.2K
0
我的秋招经历
编程算法
网站
企业
首先介绍一下我的背景,我本科就读于一所双非软件工程专业,后考研到了末流211的计算机科学与技术专业
mathor
2023-01-30
4.4K
1
未闻Prompt名
机器学习
神经网络
深度学习
人工智能
个人觉得2021年NLP最火的两个idea,一个是对比学习(Contrastive Learning),另一个就是Prompt
mathor
2021-12-24
2.1K
0
文本数据扩增时,哪些单词(不)应该被选择?
text
word2vec
统计
文本扩增(Text Augmentation)现在大部分人都在用,因为它可以帮助提升文本分类的效果,具体来说常用的方法包括但不限于:替换、删除、增加。一般来说文本扩增都会使得最终的性能更好,少部分情况下会更差。你或许可能想过是因为诸如删除、替换等方法将句子中一些重要的词给抹去了,但是到底句子中那些词是重要的词呢?哪些词可以进行扩增,哪些词最好不要扩增?
mathor
2021-12-21
1K
0
$\mathcal{Y}$-Tuning: 通过对标签表征进行微调的深度学习新范式
编程算法
ACL2022有一篇名为《\mathcal{Y}-Tuning: An Efficient Tuning Paradigm for Large-Scale Pre-Trained Models via Label Representation Learning》的投稿,从标题上就吸引了我的注意,不同于Fine-Tuning、Adapter-Tuning、Prompt-Tuning,这篇文章的创新之处在于,不调整输入文本特征与大规模预训练模型的参数,仅通过学习标签的特征,以往很少见到论文去学习标签的特征。虽然最终效果可能仍无法与微调相比,但它在节省计算成本方面有很大的优势,并有可能通过后续研究进一步提高性能
mathor
2021-12-14
637
0
LLD: 内部数据指导的标签去噪方法
对象存储
很多数据集中的标签都存在错误,即便它们是由人来标注的,错误标签的存在会给模型训练带来某些负面影响。目前缓解这种影响有诸如删除错误标签、降低其权重等方法。ACL2022有一篇名为《A Light Label Denoising Method with the Internal Data Guidance》的投稿提出了一种基于样本内部指导的方法解决这个问题
mathor
2021-12-13
941
0
Flooding-X: 超参数无关的Flooding方法
批量计算
ICML2020的论文《Do We Need Zero Training Loss After Achieving Zero Training Error?》提出了一种Flooding方法,用于缓解模
mathor
2021-12-10
667
0
长尾分布的多标签文本分类平衡方法
NLP 服务
长尾分布各位肯定并不陌生,指的是少数几个类别却有大量样本,而大部分类别都只有少量样本的情况,如下图所示
mathor
2021-11-22
3K
0
训练一个专门捣乱的模型
编程算法
三位韩国人在EMNLP 2021 Findings上发表了一篇论文,名为Devil’s Advocate: Novel Boosting Ensemble Method from Psychological Findings for Text Classification,其中Devil's Advocate有一部同名电影,翻译过来叫「魔鬼代言人」,他们主要挑战的是传统模型融合的方法,例如硬投票(Hard-Voting)、软投票(Soft Voting)、Bagging等。源码在HwiyeolJo/DevilsAdvocate
mathor
2021-11-19
528
0
基于去噪Transformer的无监督句子编码
css
linux
EMNLP2021 Findings上有一篇名为TSDAE: Using Transformer-based Sequential Denoising Auto-Encoder for Unsupervised Sentence Embedding Learning的论文,利用Transformer结构无监督训练句子编码,网络架构如下所示
mathor
2021-11-18
811
0
跨语言对比学习
编程算法
猿辅导在EMNLP2021上的一篇论文Aligning Cross-lingual Sentence Representations with Dual Momentum Contrast提出基于双Momentum网络的对比学习方法。对比学习最近非常火,尤其是以SimCES为首所提出的利用Dropout作为正样本的无监督学习方法。猿辅导的这篇论文和SimCES却不一样,它主要是从网络整体架构入手,基于Momentum网络提出了一种有监督的跨语言句子相似度计算方法
mathor
2021-11-17
522
0
从零训练一个超越预训练的NLP模型
编程算法
NLP 服务
本文基于Arxiv上的一篇论文NLP From Scratch Without Large-Scale Pretraining: A Simple and Efficient Framework,清华的几位研究者提出一种任务驱动的语言模型TLM(Task-driven Language Modeling)。不需要大规模的预训练,从零训练一个大模型也能取得SOTA的效果,源码在yaoxingcheng/TLM
mathor
2021-11-17
1.2K
0
Virtual Data Augmentation: 虚拟数据扩增技术
data
embedding
mask
token
virtual
听说过数据扩增(Data Augmentation),也听说过虚拟对抗训练(Virtual Adversarial Traning),但是我没想到会有人将其结合,谓之虚拟数据扩增(Virtual Data Augmentation)。这篇文章主要讲解EMNLP2021上的一篇论文Virtual Data Augmentation: A Robust and General Framework for Fine-tuning Pre-trained Models,该论文提出了一种鲁棒且通用的数据扩增方法,论文源码在https://github.com/RUCAIBox/VDA
mathor
2021-11-15
639
0
Gumbel-Softmax完全解析
gan
max
sum
本文对大部分人来说可能仅仅起到科普的作用,因为Gumbel-Max仅在部分领域会用到,例如GAN、VAE等。笔者是在研究EMNLP上的一篇论文时,看到其中有用Gumbel-Softmax公式解决对一个概率分布进行采样无法求导的问题,故想到对Gumbel-Softmax做一个总结,由此写下本文
mathor
2021-11-15
2.4K
0
基于梯度的NLP对抗攻击方法
embedding
lambda
max
text
token
Facebook提出了一种NLP通用的攻击方法,而且可以通过梯度优化,论文发表在EMNLP2021,名为Gradient-based Adversarial Attacks against Text Transformers,源码在facebookresearch/text-adversarial-attack
mathor
2021-11-15
1K
0
简单到令人沮丧的替代MLM的预训练任务?
NLP 服务
编程算法
EMNLP2021有一篇论文标题名为Frustratingly Simple Pretraining Alternatives to Masked Language Modeling,翻译过来就是「简单到令人沮丧的替代MLM的预训练任务」。但我给它加了个问号,因为我觉得首先作者提出的这些方法,对于模型来说太难了,即便是让我去做他所提出的这些预训练任务,我都不一定做得出来。其次是从结果来看效果似乎一般般
mathor
2021-11-12
1K
0
Child Tuning: 反向传播版的Dropout
编程算法
这篇文章主要是对EMNLP2021上的论文Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning进行讲解。论文标题有些抽象,但是用作者的话来说,这篇论文的思想可以归结为两个词:Child Tuning
mathor
2021-11-10
1.2K
0
深度学习「黑话」解释
distribution
size
最近在和研一学弟学妹交流的时候,发现它们对深度学习中一些非常基础的概念不是很理解,于是我想做一个汇总,大家有认为不太好理解的概念,可以在评论区提出,我会逐渐添加到这篇文章中
mathor
2021-11-03
401
0
CAN:借助数据分布提升分类性能
数据分析
本文将介绍一种用于分类问题的后处理技巧(Trick),出自EMNLP 2021 Findings的一篇论文《When in Doubt: Improving Classification Performance with Alternating Normalization》。经过实测,CAN(Classification with Alternating Normalization)确实多数情况下能提升多分类问题的效果(CV、NLP通用),而且几乎没有增加预测成本,因为它仅仅只是对预测结果的重新归一化操作
mathor
2021-10-29
673
0
最强的数据扩增方法竟然是添加标点符号?
github
data
fork
text
论文
今天的这篇文章源自于EMNLP 2021 Findings,论文标题为《AEDA: An Easier Data Augmentation Technique for Text Classification》。实际上用一句话即可总结全文:对于文本分类任务来说,在句子中插入一些标点符号是最强的数据扩增方法
mathor
2021-09-08
884
0
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档