专栏首页mlHierarchical softmax(分层softmax)简单描述.

Hierarchical softmax(分层softmax)简单描述.

最近在做分布式模型实现时,使用到了这个函数. 可以说非常体验非常的好. 速度非常快,效果和softmax差不多. 我们知道softmax在求解的时候,它的时间复杂度和我们的词表总量V一样O(V),是性线性的,从它的函数方程式中,我们也可以很容易得出: softmax: f(x) = e^x / sum( e^x_i ) ; 它的需要对所有的词 e^x 求和; 所以当V非常大的时候,哪怕时间复杂度是O(V),这个求解的过程耗时也比较“严重”; 设想一下,当我们在训练模型时, 我们知道目标词x,但是我们却需要去求解所有的词,并求和。 当然,有很多去研究如何优化这一过程,提出过各种各样的设想,其中 Hierarchical softmax 就是其中璀璨的一种。

那么说道这,什么是 Hierarchical softmax ?

形如:

我们去构造一棵这样的树,这不是一般的二叉树,是依据训练样本数据中的单词出现的频率,构建起来的一棵Huffman tree ,频率越高, 节点越短. 当我们构造了这样之后,如下:

我们发现对于每一个节点,都是一个二分类[0,1],也就是我们可以使用sigmod来处理节点信息; sigmod函数如下:

, 此时,当我们知道了目标单词x,之后,我们只需要计算root节点,到该词的路径累乘,即可. 不需要去遍历所有的节点信息,时间复杂度变为O(log2(V))

【参考资料】: 1. https://towardsdatascience.com/hierarchical-softmax-and-negative-sampling-short-notes-worth-telling-2672010dbe08 2.http://building-babylon.net/2017/08/01/hierarchical-softmax/

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Uva-------(11462) Age Sort(计数排序)

    B Age Sort Input: Standard Input Output: Standard Output You a...

    Gxjun
  • HDUOJ----(1031)Design T-Shirt

    Design T-Shirt Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/327...

    Gxjun
  • HDUOJ----2489 Minimal Ratio Tree

    Minimal Ratio Tree Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768...

    Gxjun
  • 使用WebRTC构建新一代实时流解决方案

    本文来自Streaming Media 20221的演讲,由Streaming Media的工程师Ryan Jespersen带来,主要介绍了新一代的WebRT...

    用户1324186
  • pygame系列_mouse鼠标事件

    E | hongtenzone@foxmail.com  B | http://www.cnblogs.com/hongten

    Hongten
  • ThreeJS学习|创建第一个三维场景

    由于自己需要学点ThreeJS相关的东西,因此就用推文的形式记录自己所学。乐忠于寻求一起学习的朋友

    啤酒单恋小龙虾
  • t-SNE:可视化效果最好的降维算法

    1D,2D和3D数据可以可视化。但是在数据科学领域并不总是能够处理一个小于或等于3维的数据集,我们肯定会遇到使用高维数据的情况。对于数据科学专业人员来说,有必要...

    deephub
  • BufferedIo

    mathor
  • HTTP2和HTTPS来不来了解一下?

    试想一下:请求一张图片,新开一个连接,请求一个CSS文件,新开一个连接,请求一个JS文件,新开一个连接。HTTP协议是基于TCP的,TCP每次都要经过三次握...

    Java3y
  • PCL_common模块api代码解析

    上周点云公众号开启了学习模式,由博主分配任务,半个月甚至一个月参与学习小伙伴的反馈给群主,并在微信交流群中进行学术交流,加强大家的阅读文献能力,并提高公众号的分...

    点云PCL博主

扫码关注云+社区

领取腾讯云代金券

,,