腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

ml

专栏作者

664

文章

633286

阅读量

64

订阅数

Hierarchical softmax(分层softmax)简单描述.

最近在做分布式模型实现时,使用到了这个函数. 可以说非常体验非常的好. 速度非常快，效果和softmax差不多. 我们知道softmax在求解的时候，它的时间复杂度和我们的词表总量V一样O(V),是性线性的，从它的函数方程式中，我们也可以很容易得出: softmax: f(x) = e^x / sum( e^x_i ) ; 它的需要对所有的词 e^x 求和; 所以当V非常大的时候，哪怕时间复杂度是O(V),这个求解的过程耗时也比较“严重”；设想一下,当我们在训练模型时, 我们知道目标词x，但是我们却需要去求解所有的词，并求和。当然，有很多去研究如何优化这一过程，提出过各种各样的设想，其中 Hierarchical softmax 就是其中璀璨的一种。

2019-01-24

5.8K0

flume介绍与原理(一)

1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级

2018-03-27

2.3K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态