学习
实践
活动
专区
工具
TVP
写文章

风雨中的小七

LV0
举报
发表了文章

小样本利器5. 半监督集各家所长:MixMatch,MixText,UDA,FixMatch

在前面的几个章节中,我们介绍了几种基于不同半监督假设的模型优化方案,包括Mean Teacher等一致性正则约束,FGM等对抗训练,min Entropy等最小...

风雨中的小七
pytorchGitHub自然语言处理
发表了文章

聊聊损失函数1. 噪声鲁棒损失函数简析 & 代码实现

今天来聊聊非常规的损失函数。在常用的分类交叉熵,以及回归均方误差之外,针对训练样本可能存在的数据长尾,标签噪声,数据不均衡等问题,我们来聊聊适用不同场景有针对性...

风雨中的小七
httpsBootstrap网络安全pytorch
发表了文章

NLP手札1. 金融信息负面及主体判定方案梳理&代码实现

这个系列会针对NLP比赛,经典问题的解决方案进行梳理并给出代码复现~也算是找个理由把代码从TF搬运到torch。Chapter1是CCF BDC2019的赛题:...

风雨中的小七
发表了文章

NLP手札1. 金融信息负面及主体判定方案梳理&代码实现

这个系列会针对NLP比赛,经典问题的解决方案进行梳理并给出代码复现~也算是找个理由把代码从TF搬运到torch。Chapter1是CCF BDC2019的赛题:...

风雨中的小七
自然语言处理pytorch
发表了文章

模型优化4. 正则化+数据增强 Mixup Family代码实现

前三章我们陆续介绍了半监督和对抗训练的方案来提高模型在样本外的泛化能力,这一章我们介绍一种嵌入模型的数据增强方案。之前没太重视这种方案,实在是方法过于朴实。。。...

风雨中的小七
Serverless编程算法正则表达式自然语言处理
发表了文章

Bert不完全手册9. 长文本建模 BigBird & Longformer & Reformer & Performer

这一章我们来唠唠如何优化BERT对文本长度的限制。BERT使用的Transformer结构核心在于注意力机制强大的交互和记忆能力。不过Attention本身O(...

风雨中的小七
发表了文章

Bert不完全手册9. 长文本建模 BigBird & Longformer & Reformer & Performer

这一章我们来唠唠如何优化BERT对文本长度的限制。BERT使用的Transformer结构核心在于注意力机制强大的交互和记忆能力。不过Attention本身O(...

风雨中的小七
GitHubGit开源编程算法https
发表了文章

Bert不完全手册8. 预训练不要停!Continue Pretraining

论文针对预训练语料和领域分布,以及任务分布之间的差异,提出了DAPT领域适应预训练(domain-adaptive pretraining)和TAPT任务适应预...

风雨中的小七
apt-get
发表了文章

Bert不完全手册8. 预训练不要停!Continue Pretraining

论文针对预训练语料和领域分布,以及任务分布之间的差异,提出了DAPT领域适应预训练(domain-adaptive pretraining)和TAPT任务适应预...

风雨中的小七
自然语言处理自然语言
发表了文章

小样本利器3. 半监督最小熵正则 MinEnt & PseudoLabel代码实现

在前两章中我们已经聊过对抗学习FGM,一致性正则Temporal等方案,主要通过约束模型对细微的样本扰动给出一致性的预测,推动决策边界更加平滑。这一章我们主要针...

风雨中的小七
自然语言处理
发表了文章

Bert不完全手册7. 为Bert注入知识的力量 Baidu-ERNIE & THU-ERNIE & KBert

借着ACL2022一篇知识增强Tutorial的东风,我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇...

风雨中的小七
自然语言处理
发表了文章

Bert不完全手册6. Bert在中文领域的尝试 Bert-WWM & MacBert & ChineseBert

这一章我们来聊聊在中文领域都有哪些预训练模型的改良方案。Bert-WWM,MacBert,ChineseBert主要从3个方向在预训练中补充中文文本的信息:词粒...

风雨中的小七
自然语言处理
发表了文章

小样本利器2.文本对抗+半监督 FGSM & VAT & FGM代码实现

上一章我们聊了聊通过一致性正则的半监督方案,使用大量的未标注样本来提升小样本模型的泛化能力。这一章我们结合FGSM,FGM,VAT看下如何使用对抗训练,以及对抗...

风雨中的小七
自然语言处理TensorFlow
发表了文章

小样本利器1.半监督一致性正则 Temporal Ensemble & Mean Teacher代码实现

这个系列我们用现实中经常碰到的小样本问题来串联半监督,文本对抗,文本增强等模型优化方案。小样本的核心在于如何在有限的标注样本上,最大化模型的泛化能力,让模型对u...

风雨中的小七
自然语言处理TensorFlow
发表了文章

Bert不完全手册5. 推理提速?训练提速!内存压缩!Albert

Albert是A Lite Bert的缩写,确实Albert通过词向量矩阵分解,以及transformer block的参数共享,大大降低了Bert的参数量级。...

风雨中的小七
自然语言处理TensorFlow
发表了文章

Bert不完全手册4. 绕开BERT的MASK策略?XLNET & ELECTRA

基于随机token MASK是Bert能实现双向上下文信息编码的核心。但是MASK策略本身存在一些问题

风雨中的小七
自然语言处理TensorFlow
发表了文章

CMD Markdown basic & Math Cheatsheet

I am using CMD Markdown both at work and for study.You can use it to take notes,...

风雨中的小七
Markdown命令行工具Python
发表了文章

Bert不完全手册3. Bert训练策略优化!RoBERTa & SpanBERT

之前看过一条评论说Bert提出了很好的双向语言模型的预训练以及下游迁移的框架,但是它提出的各种训练方式槽点较多,或多或少都有优化的空间。这一章就训练方案的改良,...

风雨中的小七
自然语言处理TensorFlow自然语言
发表了文章

Bert不完全手册2. Bert不能做NLG?MASS/UNILM/BART

Bert通过双向LM处理语言理解问题,GPT则通过单向LM解决生成问题,那如果既想拥有BERT的双向理解能力,又想做生成嘞?成年人才不要做选择!这类需求,主要包...

风雨中的小七
自然语言处理
发表了文章

Bert不完全手册1. Bert推理太慢?模型蒸馏

模型蒸馏的目标主要用于模型的线上部署,解决Bert太大,推理太慢的问题。因此用一个小模型去逼近大模型的效果,实现的方式一般是Teacher-Stuent框架,先...

风雨中的小七
自然语言处理

个人简介

个人成就

扫码关注腾讯云开发者

领取腾讯云代金券