首页
学习
活动
专区
工具
TVP
发布

SimpleAI

专栏作者
103
文章
137808
阅读量
36
订阅数
LAMBADA——用GPT-2来做文本数据增强
本文提出的方法称为language-model-based data augmentation(LAMBADA)。
beyondGuo
2022-04-19
8190
​通俗科普文:贝叶斯优化与SMBO、高斯过程回归、TPE
AutoML, Bayesian Optimization (BO), Sequential Model Based Optimisation (SMBO), Gaussian Process Regression (GPR), Tree Parzen Estimator (TPE).
beyondGuo
2022-03-28
1.7K0
「课代表来了」跟李沐读论文之——Transformer
背景是机器翻译、encoder-decoder框架,而且一般都会在中间使用Attention机制。
beyondGuo
2021-12-21
6930
什么是Inductive bias(归纳偏置)?
文章比较长,也不是我熟悉的领域,所以我只是随便瞅了瞅,里面有一段话和一个表,对inductive bias做了很详细清楚的解释:
beyondGuo
2021-12-15
2.3K0
张俊林:对比学习「Contrastive Learning」研究进展精要
作者简介: 张俊林,现任新浪微博机器学习团队AI Lab的负责人,主要推动业界先进技术在微博的信息流推荐业务落地。博士毕业于中科院软件所,主要的专业兴趣集中在自然语言处理及推荐搜索等方向,喜欢新技术并乐于做技术分享,著有《这就是搜索引擎》,《大数据日知录》,广受读者好评。
beyondGuo
2021-07-23
4.6K0
一个小问题:深度学习模型如何处理大小可变的输入
前几天在学习花书的时候,和小伙伴们讨论了“CNN如何处理可变大小的输入”这个问题。进一步引申到“对于大小可变的输入,深度学习模型如何处理?”这个更大的问题。因为这里面涉及到一些概念,我们经常搞混淆,比如RNN单元明明可以接受不同长度的输入,但我们却在实际训练时习惯于使用padding来补齐;再比如CNN无法直接处理大小不同的输入,但是去掉全连接层之后又可以;再比如Transformer这种结构,为何也可以接受长度不同的输入。因此,这里我想总结一下这个问题:
beyondGuo
2021-06-29
2.3K0
如何在只有词典的情况下提升NER落地效果
今天介绍一个论文autoner[1],主要是为了探索如何在只有词典的情况下,提升NER实际落地效果;
beyondGuo
2021-02-19
1.4K0
【Embedding】fastText:极快的文本分类工具
今天我们来看 Mikolov 大佬 2016 年的另一大巨作——fastText。2013 年大佬在 Google 开源了 Word2Vec,2016 年刚就职于 FaceBook 就开源了 fastText,全都掀起了轩然大波。
beyondGuo
2020-06-12
1.4K0
CS224n笔记[6]:更好的我们,更好的RNNs
相比于计算机视觉,NLP可能看起来没有那么有趣,这里没有酷炫的图像识别、AI作画、自动驾驶,我们要面对的,几乎都是枯燥的文本、语言、文字。但是,对于人工智能的征途来说,NLP才是皇冠上的那颗珍珠,它美丽却又难以摘取,当NLP的问题解决了,机器才真正具备了理解、思考的能力,我们才敢说实现了真正的“智能”。
beyondGuo
2020-06-02
8490
【Hello NLP】CS224n笔记[5]:语言模型(LM)和循环神经网络(RNNs)
相比于计算机视觉,NLP可能看起来没有那么有趣,这里没有酷炫的图像识别、AI作画、自动驾驶,我们要面对的,几乎都是枯燥的文本、语言、文字。但是,对于人工智能的征途来说,NLP才是皇冠上的那颗珍珠,它美丽却又难以摘取,当NLP的问题解决了,机器才真正具备了理解、思考的能力,我们才敢说实现了真正的“智能”。
beyondGuo
2020-05-25
8100
【Hello NLP】CS224n学习笔记[1]:词向量从而何来
相比于计算机视觉,NLP可能看起来没有那么有趣,这里没有酷炫的图像识别、AI作画、自动驾驶,我们要面对的,几乎都是枯燥的文本、语言、文字。但是,对于人工智能的征途来说,NLP才是皇冠上的那颗珍珠,它美丽却又难以摘取,当NLP的问题解决了,机器才真正具备了理解、思考的能力,我们才敢说实现了真正的“智能”。
beyondGuo
2020-02-25
6351
机器学习算法复习手册——SVM
本手册整理自机器学习各相关书籍、网络资料、个人的理解与实践。总体编写宗旨: ①一看就懂; ②用20%的文字,涵盖80%的内容。 至于剩下的20%,一般属于比较偏、难的部分,建议自行查询相关书籍资料学习。而只用20%的文字,则代表手册里面几乎没有废话,也只有极少数必要的例子。
beyondGuo
2019-12-27
4790
机器学习算法Code Show——决策树
上一篇文章机器学习算法复习手册——决策树在复习完基本概念之后,我给自己挖了一个坑:用python写一个决策树出来(注意,不是sklearn调包)。虽然说这个东西在几年前我写过一次,但又写一次,发现很多地方还有挺折磨我的。今天,就来填这个坑,分享一下我写的很垃圾的ID3决策树算法。
beyondGuo
2019-11-01
5130
最小熵原理之——无监督学习的原理
SimpleAI推荐语:剑林大神的博客是我见过的将复杂知识讲解的最通俗易懂又鞭辟入里的博客,而且他的文字功底也十分了得,让人读罢大呼过瘾。这篇文章,从“熵”的角度,剖析了NLP许多基础技术背后的基本原理,十分值得一读。
beyondGuo
2019-10-29
1.3K0
何时能懂你的心——图卷积神经网络(GCN)
深度学习一直都是被几大经典模型给统治着,如CNN、RNN等等,它们无论再CV还是NLP领域都取得了优异的效果,那这个GCN是怎么跑出来的?是因为我们发现了很多CNN、RNN无法解决或者效果不好的问题——图结构的数据。
beyondGuo
2019-07-07
2.6K1
ON-LSTM:能表示语言层次的LSTM
LSTM作为序列模型一直是自然语言处理的最佳选择之一,即使transformer出现了也依然无法撼动LSTM在NLP界的江湖地位。
beyondGuo
2019-07-07
1.2K0
PyTorch简明笔记[3]-神经网络的基本组件(Layers、functions)
PyTorch的torch.nn中包含了各种神经网络层、激活函数、损失函数等等的类。我们通过torch.nn来创建对象,搭建网络。 PyTorch中还有torch.nn.functional,让我们可以通过调用函数的方式,来直接搭建网络,而不用像torch.nn一样要先创建对象。
beyondGuo
2019-01-09
7560
PyTorch简明笔记[2]-Tensor的自动求导(AoutoGrad)
构建深度学习模型的基本流程就是:搭建计算图,求得损失函数,然后计算损失函数对模型参数的导数,再利用梯度下降法等方法来更新参数。
beyondGuo
2019-01-09
2.6K1
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档