腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

小七的各种胡思乱想

专栏作者

92

文章

161742

阅读量

40

订阅数

小样本利器2.文本对抗+半监督 FGSM & VAT & FGM代码实现

NLP 服务 tensorflow

上一章我们聊了聊通过一致性正则的半监督方案，使用大量的未标注样本来提升小样本模型的泛化能力。这一章我们结合FGSM，FGM，VAT看下如何使用对抗训练，以及对抗训练结合半监督来提升模型的鲁棒性。本章我们会混着CV和NLP一起来说，VAT的两篇是CV领域的论文，而FGM是CV迁移到NLP的实现方案，一作都是同一位作者大大。FGM的tensorflow实现详见Github-SimpleClassification

风雨中的小七

2022-06-30

1.1K1

小样本利器1.半监督一致性正则 Temporal Ensemble & Mean Teacher代码实现

NLP 服务 tensorflow

这个系列我们用现实中经常碰到的小样本问题来串联半监督，文本对抗，文本增强等模型优化方案。小样本的核心在于如何在有限的标注样本上，最大化模型的泛化能力，让模型对unseen的样本拥有很好的预测效果。之前在NER系列中我们已经介绍过Data Augmentation，不熟悉的童鞋看过来中文NER的那些事儿4. 数据增强在NER的尝试。样本增强是通过提高标注样本的丰富度来提升模型泛化性，另一个方向半监督方案则是通过利用大量的相同领域未标注数据来提升模型的样本外预测能力。这一章我们来聊聊半监督方案中的一致性正则～

风雨中的小七

2022-06-06

8790

Bert不完全手册5. 推理提速？训练提速!内存压缩！Albert

NLP 服务 tensorflow

Albert是A Lite Bert的缩写，确实Albert通过词向量矩阵分解，以及transformer block的参数共享，大大降低了Bert的参数量级。在我读Albert论文之前，因为Albert和蒸馏，剪枝一起被归在模型压缩方案，导致我一直以为Albert也是为了优化Bert的推理速度，但其实Albert更多用在模型参数（内存）压缩，以及训练速度优化，在推理速度上并没有提升。如果说蒸馏任务是把Bert变矮瘦，那Albert就是把Bert变得矮胖。正在施工中的文本分类库里也加入了Albert预训练模型，有在chinanews上已经微调好可以开箱即用的模型，同时支持领域迁移对抗，半监督，降噪，蒸馏等其他模型优化项，感兴趣戳这里>> SimpleClassification

风雨中的小七

2022-05-14

1K1

Bert不完全手册4. 绕开BERT的MASK策略？XLNET & ELECTRA

NLP 服务 tensorflow

基于随机token MASK是Bert能实现双向上下文信息编码的核心。但是MASK策略本身存在一些问题

风雨中的小七

2022-05-11

9510

Bert不完全手册3. Bert训练策略优化！RoBERTa & SpanBERT

NLP 服务 tensorflow

之前看过一条评论说Bert提出了很好的双向语言模型的预训练以及下游迁移的框架，但是它提出的各种训练方式槽点较多，或多或少都有优化的空间。这一章就训练方案的改良，我们来聊聊RoBERTa和SpanBERT给出的方案，看作者这两篇paper是一个组的作品，所以彼此之间也有一些共同点。正在施工中的代码库也接入了Roberta预训练模型，同时支持半监督，领域迁移，降噪loss，蒸馏等模型优化项，感兴趣的戳这里>>SimpleClassification

风雨中的小七

2022-03-23

9860

tensorflow踩坑合集2. TF Serving & gRPC 踩坑

tensorflow 深度学习

这一章我们借着之前的NER的模型聊聊tensorflow serving，以及gRPC调用要注意的点。以下代码为了方便理解做了简化，完整代码详见Github-ChineseNER ，里面提供了训练好的包括bert_bilstm_crf, bilstm_crf_softlexcion，和CWS+NER多任务在内的4个模型，可以开箱即用。这里tensorflow模型用的是estimator框架，整个推理环节主要分成：模型export，warmup，serving, client request四步

风雨中的小七

2021-08-10

2.4K0

无所不能的Embedding5 - skip-thought的兄弟们[Trim/CNN-LSTM/quick-thought]

tensorflow 深度学习 NLP 服务

这一章我们来聊聊skip-thought的三兄弟，它们在解决skip-thought遗留问题上做出了不同的尝试【Ref1～4】, 以下paper可能没有给出最优的解决方案(对不同的NLP任务其实没有最优只有最合适）但它们提供了另一种思路和可能性。上一章的skip-thought有以下几个值得进一步探讨的点

风雨中的小七

2020-12-08

4840

无所不能的Embedding4 - Doc2vec第二弹[skip-thought & tf-Seq2Seq源码解析]

深度学习 tensorflow NLP 服务

前一章Doc2Vec里提到，其实Doc2Vec只是通过加入Doc_id捕捉了文本的主题信息，并没有真正考虑语序以及上下文语义，n-gram只能在局部解决这一问题，那么还有别的解决方案么？依旧是通用文本向量，skip-thought尝试应用encoder-decoder来学习包含上下文信息和语序的句子向量。魔改后的实现可以看这里( ´▽｀) github-DSXiangLi-Embedding-skip_thought

风雨中的小七

2020-11-24

7100

无所不能的Embedding 2. FastText词向量&文本分类

tensorflow NLP 服务

Fasttext是FaceBook开源的文本分类和词向量训练库。最初看其他教程看的我十分迷惑，咋的一会ngram是字符一会ngram又变成了单词，最后发现其实是两个模型，一个是文本分类模型[Ref2]，表现不是最好的但胜在结构简单高效，另一个用于词向量训练[Ref1]，创新在于把单词分解成字符结构，可以infer训练集外的单词。这里拿quora的词分类数据集尝试了下Fasttext在文本分类的效果, 代码详见 https://github.com/DSXiangLi/Embedding

风雨中的小七

2020-09-08

1.5K0

CTR学习笔记&代码实现6-深度ctr模型后浪 xDeepFM/FiBiNET

推荐系统深度学习 tensorflow

xDeepFM用改良的DCN替代了DeepFM的FM部分来学习组合特征信息，而FiBiNET则是应用SENET加入了特征权重比NFM，AFM更进了一步。在看两个model前建议对DeepFM, Deep&Cross, AFM，NFM都有简单了解，不熟悉的可以看下文章最后其他model的博客链接。

风雨中的小七

2020-06-02

1.6K0

tensorflow feature_column踩坑合集

tensorflow 机器学习

feature_column输入可以是原始特征的列名,或者是feature_column。初上手感觉feature_column设计的有点奇怪，不过熟悉了逻辑后用起来还是很方便的。几个需要习惯一下的点：

风雨中的小七

2020-03-19

2.4K2

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态