腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

SimpleAI

专栏作者

104

文章

139015

阅读量

36

订阅数

通俗科普文：贝叶斯优化与SMBO、高斯过程回归、TPE

机器学习神经网络深度学习人工智能

AutoML, Bayesian Optimization (BO), Sequential Model Based Optimisation (SMBO), Gaussian Process Regression (GPR), Tree Parzen Estimator (TPE).

2022-03-28

1.7K0

「课代表来了」跟李沐读论文之——Transformer

机器学习神经网络深度学习人工智能编程算法

背景是机器翻译、encoder-decoder框架，而且一般都会在中间使用Attention机制。

2021-12-21

6970

什么是Inductive bias（归纳偏置）？

机器学习深度学习人工智能编程算法神经网络

文章比较长，也不是我熟悉的领域，所以我只是随便瞅了瞅，里面有一段话和一个表，对inductive bias做了很详细清楚的解释：

2021-12-15

2.3K0

张俊林：对比学习「Contrastive Learning」研究进展精要

机器学习神经网络人工智能深度学习批量计算

作者简介：张俊林，现任新浪微博机器学习团队AI Lab的负责人，主要推动业界先进技术在微博的信息流推荐业务落地。博士毕业于中科院软件所，主要的专业兴趣集中在自然语言处理及推荐搜索等方向，喜欢新技术并乐于做技术分享，著有《这就是搜索引擎》，《大数据日知录》，广受读者好评。

2021-07-23

4.7K0

一个小问题：深度学习模型如何处理大小可变的输入

机器学习神经网络深度学习人工智能 keras

前几天在学习花书的时候，和小伙伴们讨论了“CNN如何处理可变大小的输入”这个问题。进一步引申到“对于大小可变的输入，深度学习模型如何处理？”这个更大的问题。因为这里面涉及到一些概念，我们经常搞混淆，比如RNN单元明明可以接受不同长度的输入，但我们却在实际训练时习惯于使用padding来补齐；再比如CNN无法直接处理大小不同的输入，但是去掉全连接层之后又可以；再比如Transformer这种结构，为何也可以接受长度不同的输入。因此，这里我想总结一下这个问题：

2021-06-29

2.3K0

如何在只有词典的情况下提升NER落地效果

机器学习神经网络深度学习人工智能

今天介绍一个论文autoner[1]，主要是为了探索如何在只有词典的情况下，提升NER实际落地效果；

2021-02-19

1.4K0

【Embedding】fastText：极快的文本分类工具

机器学习神经网络深度学习人工智能编程算法

今天我们来看 Mikolov 大佬 2016 年的另一大巨作——fastText。2013 年大佬在 Google 开源了 Word2Vec，2016 年刚就职于 FaceBook 就开源了 fastText，全都掀起了轩然大波。

2020-06-12

1.5K0

CS224n笔记[6]:更好的我们，更好的RNNs

机器学习神经网络深度学习人工智能

相比于计算机视觉，NLP可能看起来没有那么有趣，这里没有酷炫的图像识别、AI作画、自动驾驶，我们要面对的，几乎都是枯燥的文本、语言、文字。但是，对于人工智能的征途来说，NLP才是皇冠上的那颗珍珠，它美丽却又难以摘取，当NLP的问题解决了，机器才真正具备了理解、思考的能力，我们才敢说实现了真正的“智能”。

2020-06-02

8550

【Hello NLP】CS224n笔记[5]:语言模型（LM）和循环神经网络（RNNs）

机器学习深度学习人工智能 NLP 服务神经网络

相比于计算机视觉，NLP可能看起来没有那么有趣，这里没有酷炫的图像识别、AI作画、自动驾驶，我们要面对的，几乎都是枯燥的文本、语言、文字。但是，对于人工智能的征途来说，NLP才是皇冠上的那颗珍珠，它美丽却又难以摘取，当NLP的问题解决了，机器才真正具备了理解、思考的能力，我们才敢说实现了真正的“智能”。

2020-05-25

8140

【Hello NLP】CS224n笔记[4]:自然语言中的依存分析(Dependency Parsing)

编程算法 NLP 服务 linux 机器学习神经网络

SimpleAI 【HelloNLP】系列笔记，主要参考各知名网课（Stanford CS224n、DeepLearning.ai、李宏毅机器学习等等），并配合NLP的经典论文和研究成果、我的个人项目实践经验总结而成。希望能和各位NLP爱好者一起探索这颗AI皇冠的明珠！

2020-03-25

9010

【DL笔记2】矢量化技巧&Logistic Regression算法解析

机器学习 python numpy 编程算法

为啥呢，因为深度学习中的数据量往往巨大，用for循环去跑的话效率会非常低下，相比之下，矩阵运算就会快得多。而python的矩阵“传播机制（broadcasting）”和专门用于矩阵计算的numpy包更是给了我们使用矩阵运算的理由。

2020-03-11

6260

机器学习算法复习手册——SVM

编程算法机器学习神经网络深度学习

本手册整理自机器学习各相关书籍、网络资料、个人的理解与实践。总体编写宗旨： ①一看就懂； ②用20%的文字，涵盖80%的内容。至于剩下的20%，一般属于比较偏、难的部分，建议自行查询相关书籍资料学习。而只用20%的文字，则代表手册里面几乎没有废话，也只有极少数必要的例子。

2019-12-27

4870

机器学习算法Code Show——决策树

决策树机器学习神经网络深度学习人工智能

上一篇文章机器学习算法复习手册——决策树在复习完基本概念之后，我给自己挖了一个坑：用python写一个决策树出来（注意，不是sklearn调包）。虽然说这个东西在几年前我写过一次，但又写一次，发现很多地方还有挺折磨我的。今天，就来填这个坑，分享一下我写的很垃圾的ID3决策树算法。

2019-11-01

5150

何时能懂你的心——图卷积神经网络（GCN）

node.js 机器学习深度学习人工智能数据结构

深度学习一直都是被几大经典模型给统治着，如CNN、RNN等等，它们无论再CV还是NLP领域都取得了优异的效果，那这个GCN是怎么跑出来的？是因为我们发现了很多CNN、RNN无法解决或者效果不好的问题——图结构的数据。

2019-07-07

2.6K1

ON-LSTM:能表示语言层次的LSTM

机器学习神经网络深度学习人工智能

LSTM作为序列模型一直是自然语言处理的最佳选择之一，即使transformer出现了也依然无法撼动LSTM在NLP界的江湖地位。

2019-07-07

1.2K0

放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较

在辞旧迎新的时刻，大家都在忙着回顾过去一年的成绩（或者在灶台前含泪数锅），并对2019做着规划，当然也有不少朋友执行力和工作效率比较高，直接把2018年初制定的计划拷贝一下，就能在3秒钟内完成2019年计划的制定，在此表示祝贺。2018年从经济角度讲，对于所有人可能都是比较难过的一年，而对于自然语言处理领域来说，2018年无疑是个收获颇丰的年头，而诸多技术进展如果只能选择一项来讲的话，那么当之无愧的应该就是Bert模型了。在知乎上一篇介绍Bert的文章“从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史”里，我曾大言不惭地宣称如下两个个人判断：一个是Bert这种两阶段的模式（预训练+Finetuning）必将成为NLP领域研究和工业应用的流行方法；第二个是从NLP领域的特征抽取器角度来说，Transformer会逐步取代RNN成为最主流的的特征抽取器。关于特征抽取器方面的判断，上面文章限于篇幅，只是给了一个结论，并未给出具备诱惑力的说明，看过我文章的人都知道我不是一个随便下结论的人（那位正在补充下一句：“你随便起来不是……”的同学请住口，请不要泄露国家机密，你可以继续睡觉，吵到其它同学也没有关系，哈哈），但是为什么当时我会下这个结论呢？本文可以看做是上文的一个外传，会给出比较详实的证据来支撑之前给出的结论。

2019-01-23

7190

数据结构机器学习 python java 编程算法

对于计算机，一开始我是抗拒的，高考填志愿，第一志愿是金融，第二志愿是国际金融，第三志愿想来想去填了一个管理科学。。。以我高出录取线两分的成绩，我理所当然地被分到第三志愿——管理科学。鬼知道这玩意居然在信息学院！居然是学计算机！居然课程表里都是C++、面向对象程序设计、数据结构...让人心碎啊！

2018-10-25

4010

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态