专栏首页SimpleAIHello NLP(2)——关于word2vec你想知道的一切

Hello NLP(2)——关于word2vec你想知道的一切

好久没写笔记了,我为数不多的粉丝们一定想我了吧。

一个寒假没有学习,回来之后发现word2vec的很多细节都忘记了……原来脑子真的跟铁一样,长期不用会锈的!于是回来这两天,重读word2vec相关论文,把各个细节再次推导一遍,正好也把NLP系列的word2vec的内容补上。最近刚刚入手iPad,决定试试apple pencil怎么样,结果真是“不用错过一个亿,一用解放生产力”啊!我写笔记,一定要生动,活泼,自由,一定要有丰富的配图,俗话说“没图说个xx”。好了,废话太多了!

今天正值元宵佳节,谨以此精美的手绘笔记献给大家,祝大家元宵节快乐!

相比于计算机视觉,NLP可能看起来没有那么有趣,这里没有酷炫的图像识别、AI作画、自动驾驶,我们要面对的,几乎都是枯燥的文本、语言、文字。但是,对于人工智能的征途来说,NLP才是皇冠上的那颗珍珠,NLP是AI完全问题,当NLP的问题解决了,机器才真正具备了理解、思考的能力,我们才敢说实现了真正的“智能”。

SimpleAI 的【HelloNLP】系列笔记,主要参考Stanford cs224n课程和Andrew Ng的deeplearning.ai课程的内容,并配合NLP的经典论文和研究成果、我的个人项目实践经验总结而成。希望能和各位NLP爱好者一起探索这颗AI皇冠的明珠!

本文主要内容:

一、Word2vec的训练方法和推导过程

  • skip-gram前向传播过程
  • 梯度下降,参数更新过程
  • 从“一对一”到“一对多”

二、原模型的问题和训练过程的优化

  • Hierarchical Softmax
  • Negative Sampling

笔记到此结束,字丑请多见谅!

点击“阅读原文”,来知乎吐槽本文吧!

本文分享自微信公众号 - SimpleAI(SimpleAI_1)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-02-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CDC最新7万病例统计报告:首次描绘流行曲线、整体病死率2.3%,湖北比省外高7倍

    这就是中国疾病预防控制中心(CDC)刚刚发布的疫情统计报告:截止2月11日的数据,迄今最大规模的病例分析。

    beyondGuo
  • 【DL碎片5】一只蚊子告诉你,什么是正则化(Regularization)

    从【DL笔记1】到【DL笔记N】以及【DL碎片】系列,是我学习深度学习一路上的点点滴滴的记录,是从Coursera网课、各大博客、论文的学习以及自己的实践中总结...

    beyondGuo
  • Hello NLP(1)——词向量Why&How

    相比于计算机视觉,NLP可能看起来没有那么有趣,这里没有酷炫的图像识别、AI作画、自动驾驶,我们要面对的,几乎都是枯燥的文本、语言、文字。但是,对于人工智能的征...

    beyondGuo
  • 自然语言处理简明教程自然语言处理简介Natural Language Tool Kit (NLTK)正则表达式文本清理文本分类分类器示例 饭店评论

    现在,让我们先从介绍自然语言处理(NLP)开始吧。众所周知,语言是人们日常生 活的核心部分,任何与语言问题相关的工作都会显得非常有意思。希望这本书能带你领略 到...

    iOSDevLog
  • 自然语言处理全球市场报告:未来3年迎来爆发点,交互式应用是关键

    【新智元导读】这份全球自然语言处理市场报告从类型、技术、终端用户、应用和地域五个方面全方位分析了NLP市场的机会,并对2020年之前NLP的应用发展进行了预测。...

    新智元
  • YC 孵化器新兴技术系列(一):如何进入自然语言处理领域

    【AI100 导读】本系列的每一篇文章都会为大家介绍一种新兴的技术,并且教大家如何入门相关的技术领域。本篇文章是为想进入 NLP 领域的人准备的。 我们很高兴能...

    AI科技大本营
  • 帮AI摆脱“智障”之名,NLP这条路还有多远?

    自然语言处理(NLP)是人工智能(AI)的一个分支,其目标是让计算机能够像人类一样理解、处理和生成自然语言。自然语言,又称人类语言,一般以文字或文本的形式存在于...

    AI科技大本营
  • 这份NLP研究进展汇总请收好,GitHub连续3天最火的都是它

    量子位
  • NLP前路何在?Bengio等27位NLP顶级研究者有话说

    Sebastian Ruder 近日公布了这次采访的谈话实录,以及大会演讲的 PPT,对整个采访进行了总结。

    机器之心
  • 一步步搭建Stanford NLP工具包

    今天看视频看到的Stanford NLP,这里按照视频的讲解,简单做个笔记。Stanford NLP是少有的支持中文语料的工具,Stanford NLP提供了一...

    触摸壹缕阳光

扫码关注云+社区

领取腾讯云代金券