专栏首页企鹅号快讯人工智能难点之——自然语言处理

人工智能难点之——自然语言处理

写在前面

如果单从NLP缩写包含很多方面:

有数学的非线性规划(Non-linear programming)

医学的无光感(No light perception)

心理学的神经语音规划(Neuro-linguistic programming)

计算机科学与语言学转换的领域(natural language processing)

这里指的是计算机科学与语言学转换的领域。(NLP)是人工智能和语言学领域的分支学科。(人工智能主要包含以下几个方面:自动推理-计算语言学-计算机视觉-进化计算-专家系统-自然语言处理-机器人学自然语言处理(NLP)是信息时代最重要的技术之一。理解复杂的语言也是人工智能的重要组成部分。NLP的应用无处不在,因为人们用语言进行大部分沟通:网络搜索,广告,电子邮件,客户服务,语言翻译,发布学报告等等。NLP应用背后有大量的基础任务和机器学习模型。

什么是自然语言处理

NLP是计算机以一种聪明而有用的方式分析,理解和从人类语言中获取意义的一种方式。通过利用NLP,开发者可以组织和构建知识来执行自动摘要,翻译,命名实体识别,关系提取,情感分析,语音识别和话题分割等任务。

自然语言处理如何工作

目前NLP的方法是基于深度学习,这是一种AI,它检查和使用数据中的模式来改善程序的理解。深度学习模型需要大量的标记数据来训练和识别相关的相关性,汇集这种大数据集是当前NLP的主要障碍之一。早期的NLP方法涉及更基于规则的方法,在这种方法中,简单的机器学习算法被告知要在文本中查找哪些单词和短语,并在这些短语出现时给出特定的响应。但深度学习是一个更灵活,直观的方法,在这个方法中,算法学会从许多例子中识别说话者的意图,就像孩子如何学习人类语言一样。

自然语言应用

NLP算法通常基于机器学习算法。NLP可以依靠机器学习来自动学习这些规则,而不是手工编码大量的规则集,通过分析一系列的例子(如,一个大的数据库,像一本书,直到一堆句子的集合),并且做一个静态的推论。一般来说,分析的数据越多,模型越精确。社交媒体分析是NLP使用的一个很好的例子。品牌在线跟踪对话以了解客户的意见,并洞悉用户行为。

开源的NLP库

Apache OpenNLP:一种机器学习工具包,提供标记器,句子分段,词性标注,命名实体提取,分块,解析,共参考解析等等。

自然语言工具包(NLTK):提供用于处理文本,分类,标记化,词法分析,标记,解析等模块的Python库。

斯坦福的NLP:一套NLP工具,提供词性标注,命名实体识别器,共识解析系统,情感分析等等。

视频资料查找

斯坦福大学NLP - Dan Jurafsky&Chris Manning教授

自然语言处理- 密歇根大学 (IIT Bombay计算机科学与工程系Pushpak Bhattacharyya教授的自然语言处理)

自然语言理解:基础和艺术西蒙斯学院

自然语言处理导论- 剑桥编码学院

处理的主要范畴

文本朗读(Text to speech)/语音合成(Speech synthesis)

语音识别(Speech recognition)

中文自动分词(Chinese word segmentation)

词性标注(Part-of-speech tagging)

句法分析(Parsing)

自然语言生成(Natural language generation)

文本分类(Text categorization)

信息检索(Information retrieval)

信息抽取(Information extraction)

文字校对(Text-proofing)

问答系统(Question answering)

机器翻译(Machine translation)

自动摘要(Automatic summarization)

文字蕴涵(Textual entailment)

使用NLP构建您自己的RSS阅读器

可以使用以下算法在30分钟内构建机器学习RSS阅读器:

ScrapeRSS从RSS提要中获取标题和内容;

Html2Text保留重要的文本,但从文档中去除所有的HTML;

AutoTag使用潜在的Dirichlet分配来识别文本中的相关关键字;

情感分析然后用来确定文章是积极的,消极的还是中立的;

Summarizer终于被用来识别关键句子。

本文参考资料

Wikipedia

The Stanford NLP Group

Coursera

Matt Kiser

Margaret Rouse

本文来自企鹅号 - 大大里媒体

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 自然语言处理如何快速理解?有这篇文章就够了!

    原文来源:codeburst.io 作者:Pramod Chandrayan 「雷克世界」编译:嗯~阿童木呀、我是卡布达 现如今,在更多情况下,我们是以比特和字...

    企鹅号小编
  • Python自然语言处理实战书籍和代码《Natural Language Processing in Action》

    【导读】 自然语言处理资深专家Hobson Lane最新撰写的自然语言处理实战书籍(预计2018年夏季出版)《Natural Language Processi...

    企鹅号小编
  • 谷歌AI新升级,装备审美功能给照片评分

    腾讯数码讯(邱明慧)情人眼里出西施,对于我们这些平凡的用户来讲,这句话往往是正确的。总有人偏爱自己的拍摄出的图片,因为其中有自己的爱人、宠物和见闻。但往往拍摄某...

    企鹅号小编
  • NLP 迎来了黄金时代

    那一年,我以机器翻译方向的博士毕业,到几家单位应聘。当年,毕业的博士还很少。因此,应聘单位对我似乎还是网开一面,这导致我经历的应聘过程都十分轻松短暂。几个单位基...

    二月春风似剪刀
  • 【眼界】NLP 迎来了黄金时代

    那一年,我以机器翻译方向的博士毕业,到几家单位应聘。当年,毕业的博士还很少。因此,应聘单位对我似乎还是网开一面,这导致我经历的应聘过程都十分轻松短暂。几个单位基...

    zenRRan
  • 从语言学到深度学习NLP,一文概述自然语言处理

    本文从两篇论文出发先简要介绍了自然语言处理的基本分类和基本概念,再向读者展示了深度学习中的 NLP。这两篇论文都是很好的综述性入门论文,希望详细了解自然语言处理...

    小莹莹
  • 从语言学到深度学习NLP,一文概述自然语言处理

    选自arXiv 机器之心编译 参与:李亚洲、蒋思源 本文从两篇论文出发先简要介绍了自然语言处理的基本分类和基本概念,再向读者展示了深度学习中的 NLP。这两篇论...

    机器之心
  • NLP前路何在?Bengio等27位NLP顶级研究者有话说

    Sebastian Ruder 近日公布了这次采访的谈话实录,以及大会演讲的 PPT,对整个采访进行了总结。

    机器之心
  • 自然语言处理全球市场报告:未来3年迎来爆发点,交互式应用是关键

    【新智元导读】这份全球自然语言处理市场报告从类型、技术、终端用户、应用和地域五个方面全方位分析了NLP市场的机会,并对2020年之前NLP的应用发展进行了预测。...

    新智元
  • YC 孵化器新兴技术系列(一):如何进入自然语言处理领域

    【AI100 导读】本系列的每一篇文章都会为大家介绍一种新兴的技术,并且教大家如何入门相关的技术领域。本篇文章是为想进入 NLP 领域的人准备的。 我们很高兴能...

    AI科技大本营

扫码关注云+社区

领取腾讯云代金券