Hello NLP(2)——关于word2vec你想知道的一切

好久没写笔记了，我为数不多的粉丝们一定想我了吧。

一个寒假没有学习，回来之后发现word2vec的很多细节都忘记了……原来脑子真的跟铁一样，长期不用会锈的！于是回来这两天，重读word2vec相关论文，把各个细节再次推导一遍，正好也把NLP系列的word2vec的内容补上。最近刚刚入手iPad，决定试试apple pencil怎么样，结果真是“不用错过一个亿，一用解放生产力”啊！我写笔记，一定要生动，活泼，自由，一定要有丰富的配图，俗话说“没图说个xx”。好了，废话太多了！

今天正值元宵佳节，谨以此精美的手绘笔记献给大家，祝大家元宵节快乐！

相比于计算机视觉，NLP可能看起来没有那么有趣，这里没有酷炫的图像识别、AI作画、自动驾驶，我们要面对的，几乎都是枯燥的文本、语言、文字。但是，对于人工智能的征途来说，NLP才是皇冠上的那颗珍珠，NLP是AI完全问题，当NLP的问题解决了，机器才真正具备了理解、思考的能力，我们才敢说实现了真正的“智能”。

SimpleAI 的【HelloNLP】系列笔记，主要参考Stanford cs224n课程和Andrew Ng的deeplearning.ai课程的内容，并配合NLP的经典论文和研究成果、我的个人项目实践经验总结而成。希望能和各位NLP爱好者一起探索这颗AI皇冠的明珠！

本文主要内容：

一、Word2vec的训练方法和推导过程

• skip-gram前向传播过程
• 梯度下降，参数更新过程
• 从“一对一”到“一对多”

二、原模型的问题和训练过程的优化

• Hierarchical Softmax
• Negative Sampling

笔记到此结束，字丑请多见谅！

点击“阅读原文”，来知乎吐槽本文吧！