beyondGuo

LV1
发表了文章

Huggingface🤗NLP笔记8:使用PyTorch来微调模型「初级教程完结撒花ヽ(°▽°)ノ」

在Huggingface官方教程里提到,在使用pytorch的dataloader之前,我们需要做一些事情:

beyondGuo
发表了文章

Huggingface🤗NLP笔记7:使用Trainer API来微调模型

不得不说,这个Huggingface很贴心,这里的warning写的很清楚。这里我们使用的是带ForSequenceClassification这个Head的模...

beyondGuo
发表了文章

Huggingface🤗NLP笔记6:数据集预处理,使用dynamic padding构造batch

从这一集,我们就正式开始使用Transformer来训练模型了。今天的部分是关于数据集预处理。

beyondGuo
发表了文章

Huggingface🤗NLP笔记5:attention_mask在处理多个序列时的作用

现在我们训练和预测基本都是批量化处理的,而前面展示的例子很多都是单条数据。单条数据跟多条数据有一些需要注意的地方。

beyondGuo
发表了文章

Huggingface🤗NLP笔记4:Models,Tokenizers,以及如何做Subword tokenization

前面都是使用的AutoModel,这是一个智能的wrapper,可以根据你给定的checkpoint名字,自动去寻找对应的网络结构,故名Auto。

beyondGuo
发表了文章

Huggingface🤗NLP笔记3:Pipeline端到端的背后发生了什么

在第1集中(Huggingface?NLP笔记1:直接使用pipeline,是个人就能玩NLP),我们介绍了直接使用Huggingface的pipeline来轻...

beyondGuo
发表了文章

Huggingface🤗NLP笔记2:一文看清Transformer大家族的三股势力

Transformer结构最初就是在大2017年名鼎鼎的《Attention Is All You Need》论文中提出的,最开始是用于机器翻译任务。

beyondGuo
发表了文章

Huggingface🤗NLP笔记1:直接使用pipeline,是个人就能玩NLP

Pipeline是Huggingface的一个基本工具,可以理解为一个端到端(end-to-end)的一键调用Transformer模型的工具。它具备了数据预处...

beyondGuo
发表了文章

一种巧妙且简单的数据增强方法 - MixUp 小综述

Mixup 是⼀种简单且有效的数据增强⽅法,⾃2018年MIT和facebook提出之后,⽆论在业界还是在学术界都有了很强的地位,成为⼤家的⼀种标配。下⾯就从开...

beyondGuo
发表了文章

利用标签与样本之间的统计信息改善文本分类中的embedding表示

基于文本Embedding表示的文本分类已经非常常见了,基本是文本分类的基本选择之一。然而,传统的embedding方式,都是直接使用预训练好的embeddin...

beyondGuo
发表了文章

LIME:我可以解释任何一个分类模型的预测结果

Local Interpretable Model-agnostic Explanations (LIME)

beyondGuo
发表了文章

张俊林:对比学习「Contrastive Learning」研究进展精要

作者简介: 张俊林,现任新浪微博机器学习团队AI Lab的负责人,主要推动业界先进技术在微博的信息流推荐业务落地。博士毕业于中科院软件所,主要的专业兴趣集中在自...

beyondGuo
发表了文章

一个小问题:深度学习模型如何处理大小可变的输入

前几天在学习花书的时候,和小伙伴们讨论了“CNN如何处理可变大小的输入”这个问题。进一步引申到“对于大小可变的输入,深度学习模型如何处理?”这个更大的问题。因为...

beyondGuo
发表了文章

如何在只有词典的情况下提升NER落地效果

今天介绍一个论文autoner[1],主要是为了探索如何在只有词典的情况下,提升NER实际落地效果;

beyondGuo
发表了文章

损失函数的“噪音免疫力”

如果一个损失函数,在有噪音的情况下,其风险最小化的模型(minimizer)跟没有噪音时是相同的,就称这个损失函数是抗噪的(noise-tolerant)。换言...

beyondGuo
发表了文章

用模型“想象”出来的target来训练,可以提高分类的效果!

本文主要是从文本分类的角度出发的,但文本分类和图像分类实际上在训练模式上是类似的,基本都遵循这样的一个流程:

beyondGuo
发表了文章

样本混进了噪声怎么办?通过Loss分布把它们揪出来!

当训练样本中混有噪音,就很容易让模型过拟合,学习到错误的信息,因此必须加以干涉,来控制噪音带来的影响。这方面的研究,主要集中于“损失修正”方法,即loss co...

beyondGuo
发表了文章

“神奇的”标签增强技术(Label Enhancement)

标签分布学习(Label Distribution Learning,LDL)的任务是让模型去学习一个样本的标签分布(Label Distribution),即...

beyondGuo
发表了文章

还在用[CLS]?从BERT得到最强句子Embedding的打开方式!

你有尝试从 BERT 提取编码后的 sentence embedding 吗?很多小伙伴的第一反应是:不就是直接取顶层的[CLS] token的embeddin...

beyondGuo
发表了文章

【Embedding】fastText:极快的文本分类工具

今天我们来看 Mikolov 大佬 2016 年的另一大巨作——fastText。2013 年大佬在 Google 开源了 Word2Vec,2016 年刚就职...

beyondGuo

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券