学习
实践
活动
工具
TVP
写文章

mathor

LV1
举报
发表了文章

未闻Prompt名

个人觉得2021年NLP最火的两个idea,一个是对比学习(Contrastive Learning),另一个就是Prompt

mathor
机器学习神经网络深度学习AI 人工智能
发表了文章

文本数据扩增时,哪些单词(不)应该被选择?

文本扩增(Text Augmentation)现在大部分人都在用,因为它可以帮助提升文本分类的效果,具体来说常用的方法包括但不限于:替换、删除、增加。一般来说文...

mathor
发表了文章

$\mathcal{Y}$-Tuning: 通过对标签表征进行微调的深度学习新范式

ACL2022有一篇名为《\mathcal{Y}-Tuning: An Efficient Tuning Paradigm for Large-Scale Pr...

mathor
编程算法
发表了文章

LLD: 内部数据指导的标签去噪方法

很多数据集中的标签都存在错误,即便它们是由人来标注的,错误标签的存在会给模型训练带来某些负面影响。目前缓解这种影响有诸如删除错误标签、降低其权重等方法。ACL2...

mathor
对象存储
发表了文章

Flooding-X: 超参数无关的Flooding方法

ICML2020的论文《Do We Need Zero Training Loss After Achieving Zero Training Error?》提...

mathor
批量计算
发表了文章

长尾分布的多标签文本分类平衡方法

长尾分布各位肯定并不陌生,指的是少数几个类别却有大量样本,而大部分类别都只有少量样本的情况,如下图所示

mathor
自然语言处理
发表了文章

训练一个专门捣乱的模型

三位韩国人在EMNLP 2021 Findings上发表了一篇论文,名为Devil’s Advocate: Novel Boosting Ensemble Me...

mathor
编程算法
发表了文章

基于去噪Transformer的无监督句子编码

EMNLP2021 Findings上有一篇名为TSDAE: Using Transformer-based Sequential Denoising Auto...

mathor
CSSLinux
发表了文章

跨语言对比学习

猿辅导在EMNLP2021上的一篇论文Aligning Cross-lingual Sentence Representations with Dual Mom...

mathor
编程算法
发表了文章

从零训练一个超越预训练的NLP模型

本文基于Arxiv上的一篇论文NLP From Scratch Without Large-Scale Pretraining: A Simple and Ef...

mathor
编程算法自然语言处理
发表了文章

Virtual Data Augmentation: 虚拟数据扩增技术

听说过数据扩增(Data Augmentation),也听说过虚拟对抗训练(Virtual Adversarial Traning),但是我没想到会有人将其结合...

mathor
发表了文章

Gumbel-Softmax完全解析

本文对大部分人来说可能仅仅起到科普的作用,因为Gumbel-Max仅在部分领域会用到,例如GAN、VAE等。笔者是在研究EMNLP上的一篇论文时,看到其中有用G...

mathor
发表了文章

基于梯度的NLP对抗攻击方法

Facebook提出了一种NLP通用的攻击方法,而且可以通过梯度优化,论文发表在EMNLP2021,名为Gradient-based Adversarial A...

mathor
发表了文章

简单到令人沮丧的替代MLM的预训练任务?

EMNLP2021有一篇论文标题名为Frustratingly Simple Pretraining Alternatives to Masked Langua...

mathor
自然语言处理编程算法
发表了文章

Child Tuning: 反向传播版的Dropout

这篇文章主要是对EMNLP2021上的论文Raise a Child in Large Language Model: Towards Effective an...

mathor
编程算法
发表了文章

深度学习「黑话」解释

最近在和研一学弟学妹交流的时候,发现它们对深度学习中一些非常基础的概念不是很理解,于是我想做一个汇总,大家有认为不太好理解的概念,可以在评论区提出,我会逐渐添加...

mathor
发表了文章

CAN:借助数据分布提升分类性能

本文将介绍一种用于分类问题的后处理技巧(Trick),出自EMNLP 2021 Findings的一篇论文《When in Doubt: Improving C...

mathor
数据分析
发表了文章

最强的数据扩增方法竟然是添加标点符号?

今天的这篇文章源自于EMNLP 2021 Findings,论文标题为《AEDA: An Easier Data Augmentation Technique ...

mathor
发表了文章

使用分词增强Typecho的搜索功能

本博客是使用Typecho搭建的,侧边提供了搜索功能,然而Typecho内置的搜索功能仅仅只是基于字符串的全匹配查找,功能非常鸡肋,很多合理的查询都没法得到结果...

mathor
腾讯云开发者社区PythonHTTPHive
发表了文章

PyTorch中的梯度累积

我们在训练神经网络的时候,超参数batch_size的大小会对模型最终效果产生很大的影响,通常的经验是,batch_size越小效果越差;batch_size越...

mathor
pytorch批量计算神经网络

个人简介

个人成就

扫码关注腾讯云开发者

领取腾讯云代金券