“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注。
梅西(Lionel Messi)无需介绍,甚至不喜欢足球的人都听说过，最伟大的球员之一为这项运动增光添彩。这是他的维基百科页面：
在自然语言处理（NLP，Natural Language Processing）领域，“词”构成了语言的基础单位。与此同时，它们也是构建高级语义和语法结构的基石。在解决各种NLP问题，如机器翻译、情感分析、问答系统等方面，对“词”的全面了解不仅有助于我们设计更高效的算法，还能加深我们对语言本质的认识。
计算机非常擅长使用结构化数据，例如电子表格和数据库表。但是我们人类通常用文字交流，而不是使用电子表格来交流。这对计算机来说不是一件好事。
作者 | Dipanjan (DJ) Sarkar 编译 | 姗姗 出品 | 人工智能头条（公众号ID：AI_Thinker） 【人工智能头条导读】在研究和处理自然语言处理的很多问题时，除了关注各种各样基础的数据，高级的深度学习模型、算法外，其实中间还涉及了很多处理技术，比如：词干提取、词形还原、句法分析、语义分析等，虽然不同的语言特征不同，但是这其中大部分步骤都是存在于大多数NLP领域任务中的。今天特别为大家准备了一篇包含NLP重要技术概念学习和实践的文章，希望无论是基础数据、技术理论还是代码实践大家都可
人类经过漫长的历史发展，在世界各地形成了很多不同的语言分支，其中汉藏语系和印欧语系是使用人数最多的两支。英语是印欧语系的代表，而汉语则是汉藏语系的代表。中英文语言的差异十分鲜明，英语以表音（字音）构成，汉语以表义（字形）构成，印欧和汉藏两大语系有很大的区别。
原文地址点这里！https://towardsdatascience.com/introduction-to-nlp-5bff2b2a7170 自然语言处理（NLP）是计算机科学和人工智能的一个研究领域，它的主要关注点就是人和计算机之间对于自然语言的理解。NLP的终极目标就是能够让计算机对自然语言的理解能力和人一样。这些研究推动了很多项目，诸如虚拟助手，语音识别，情感分析，自动摘要，机器翻译等等一些内容。在本文中，你将学到自然语言处理的基础内容，探索它的技术，并了解前沿科技深度学习是如何对NLP起到助力作用的。
更具体的任务有，在解析一段工作经历长文本的时候，我们希望提取其中的动宾组合来表示该应聘者之于此段工作经历的主要工作内容。以“ 了解市场情况 , 进行一些项目的商务谈判 ”为例，HanLP分词器的结果为“ 了解市场情况 , 进行一些项目的商务谈判 ”，此时可以提取的粗动宾组合有“了解- 情况 ”和“ 进行 - 谈判 ”，而我们更希望得到更加完整且意义更加丰富的宾语，因此需要将“市场 情况”合并为“市场情况”，将“商务 谈判”合并为“商务谈判”。因此，我们需要一个能够准确提取名词短语（Noun Pharse）的序列标注模型来克服NP字典召回不足的问题。
本文将介绍大连理工大学都健教授团队近期在AIChE期刊上发表的论文“De novo drug design framework based on mathematical programming method and deep learning model”,其团队开发了一个深度学习模型用于识别具有高结合亲和力的靶标-配体复合物，并将其与数学规划模型进行集成，实现了高通量反向优化设计小分子药物目标，进一步以治疗心血管疾病的利伐沙班替代药设计和治疗肿瘤疾病的阿昔替尼替代药设计为例，证明了本文所提出的从头药物设计框架的通用性和有效性。
https://github.com/kavgan/nlp-text-mining-working-examples/tree/master/text-pre-processing
【导读】我们从日常每天都会用到的推荐系统到现在研究火热的开放性聊天、对话机器人，越来越多的产品与应用的背后都需要自然语言处理（NLP）和知识图谱的技术。也有越来越多的学者与工作人员投身于 NLP 领域的研究。为什么要研究NLP呢？如果计算机想要更好的理解人类的语言，拥有更好的人机交互体验，都离不开 NLP。那么，计算机到底是如何理解人类语言的？接下来让我们跟着作者 Adam Geitgey ，和他一起体会自然语言处理技术里那些有意思的事情。
摘要 NLP尚未解决的核心目标是，确保电脑理解文件回答理解问题。而通过机器学习系统，解决该问题的一大阻碍是：人类-注释数据的可用性有限。Hermann等人通过生成一个超过百万的实例（将CNN和日常邮件消息与他们自己总结的重点进行配对）来寻求解决方案，结果显示神经网络可以通过训练，提高在该任务方面的性能。本文中，我们对这项新的阅读理解任务进行了彻底的检测。我们的主要目标是，了解在该任务中，需要什么深度的语言理解。一方面，我们仔细的手动分析问题小的子集，另一方面进行简单的展示，在两个数据集中，细心的设计系统，就
深度学习是机器学习领域的一个分支，也可以说是该领域近些年来的最大突破之一。
介绍目前，服务提供商通常会以人工的方式编写隐私政策，告知数据被共享、存储和使用的所有方式。在这种背景下，当一个新的服务推出时，隐私政策也要做相应的调整，同时要确保符合相关法律法规。因此许多服务提供商都试图开发一个自动政策维护的系统，通过NLP的相关技术，从政策文本中提取半结构化数据，在知识图谱中表示出来。然而实际上，隐私政策在大多数用户看来都非常模糊不清、难
目前，服务提供商通常会以人工的方式编写隐私政策，告知数据被共享、存储和使用的所有方式。在这种背景下，当一个新的服务推出时，隐私政策也要做相应的调整，同时要确保符合相关法律法规。因此许多服务提供商都试图开发一个自动政策维护的系统，通过NLP的相关技术，从政策文本中提取半结构化数据，在知识图谱中表示出来。然而实际上，隐私政策在大多数用户看来都非常模糊不清、难以阅读。在这篇论文中，作者设计了一个从隐私政策中提取影响其模糊性的特征的系统，对隐私政策模糊性水平进行分类，在OPP-115隐私政策语料库中大多数都是模糊的。并且作者在这篇论文中证明了，当隐私政策文本模糊不清时，基于NLP的提取方法难以得到准确的结果。
今年一月开始，我一直在从事一个从非结构化的文本中提取信息的项目。在开始这个项目之前，我对自然语言处理（NLP）领域一无所知。当我刚开始研究这个领域时，我很快就找了一本名为「Python 自然语言处理」的书（图书查阅地址：https://www.nltk.org/book/）。这本书对于我来说过于理论化了，但其中的知识基本是正确的，因此它对我来说仍然是无价的资源。接下来，我发现了 Dipanjan Sarkar 编写的「Python 文本分析」（图书查阅地址：https://www.apress.com/gp/book/9781484243534），并从头到尾通读了此书。这本书真的太棒了，它教会了我入门 NLP 项目所需的所有技术技能。最近，此书的第二版（https://www.apress.com/gp/book/9781484243534）也面世了，对上个版本进行了大量的扩充。
大数据文摘作品 编译：傅一洋、丁慧、Aileen AI热潮中，有关神经网络的声音最大。然而，AI远远不止如此。 目前在AI技术领域中，投入资金最多的当属对神经网络的研究了。在众人眼中，神经网络技术貌似就是“程序构造的大脑”（虽然比喻很不准确）。 神经网络的概念早在20世纪40年代就被提出，但直到现在，人们对于神经元及大脑的工作方式仍然知之甚少，最近几年，科研界关于神经网络技术创新的呼声越来越强，渴望重启神经网络的热潮…… 其实，除了神经网络以外，AI领域中还包含很多更有趣、更新颖，更有前景的技术，文章中就将
从交易的角度来看，铜的定价取决于金属交易所的供需动态，尤其是伦敦金属交易所（LME）和芝加哥芝加哥商品交易所交易所（CME）。然而，铜的交易价格受到无数因素的影响，其中许多因素很难同时衡量：
作者：伏草惟存 来源：http://www.cnblogs.com/baiboy/p/nltk2.html 1 Python 的几个自然语言处理工具 NLTK:NLTK 在用 Python 处理自然语言的工具中处于领先的地位。它提供了 WordNet 这种方便处理词汇资源的借口，还有分类、分词、除茎、标注、语法分析、语义推理等类库。 Pattern:Pattern 的自然语言处理工具有词性标注工具(Part-Of-Speech Tagger)，N元搜索(n-gram search)，情感分析(senti
pyhanlp的github：https://github.com/hankcs/pyhanlp
句法分析（Syntactic Parsing）是自然语言处理（NLP）中一个关键且不可或缺的任务。如果我们把自然语言看作一个庞大的建筑，那么句法分析就好比这座建筑的蓝图。正是因为有了这份蓝图，人们才能理解语言的结构，从而更准确地进行语义分析、情感分析或者机器翻译等高级任务。
数据增强(Data Augmentation, DA)缓解了深度学习中数据不足的场景，在图像领域首先得到广泛使用，进而延伸到 NLP 领域，并在许多任务上取得效果。一个主要的方向是增加训练数据的多样性，从而提高模型泛化能力。
本文为 AI 研习社编译的技术博客，原标题 ： The Data Science Behind Natural Language Processing 作者 | John Thuma 翻译 | luyao777 校对 | Pita 审核 | 酱番梨 整理 | 立鱼王 原文链接： https://medium.com/dataseries/the-data-science-behind-natural-language-processing-69d6df06a1f
授人以鱼不如授人以渔，今天的文章由作者Adam Geitgey授权在人工智能头条翻译发布。不仅给出了具体代码，还一步步详细解析了实现原理和思路。正所谓有了思路，无论是做英语、汉语的语言处理，才算的上有了指导意义。
【新智元导读】自然语言处理是AI的一个子领域，从人们日常沟通所用的非结构化文本信息中提取结构化数据，以便计算机理解。本文用通俗易懂的语言深入浅出的介绍了自然语言处理，并用Python实现了几个非常有趣的实例。
在本文中，我列出了当今最常用的 NLP 库，并对其进行简要说明。它们在不同的用例中都有特定的优势和劣势，因此它们都可以作为专门从事 NLP 的优秀数据科学家备选方案。每个库的描述都是从它们的 GitHub 中提取的。
电网企业资金流动大，交易频繁，属于典型的资金密集型企业。目前电网企业在资金安全管理方面普遍存在资金监控信息化程度低和监督监控不完善等问题。改变现有监控系统低效、信息孤岛的现状，需要构建基于大数据的集安全监控、信息共享、数据分析、决策支撑为一体的资金智能安全防控平台，实现信息化的资金安全管理模式。这一管理模式的实现需要使用自然语言处理（Natural Language Processing, NLP）及机器学习等技术。目前NLP技术的研究主要集中于情感分析方面，多应用于互联网行业。在电力行业，尤其是资金安全管理领域应用存在较多空白。
命名实体识别（NER）是信息提取的第一步，旨在在文本中查找和分类命名实体转换为预定义的分类，例如人员名称，组织，地点，时间，数量，货币价值，百分比等。NER用于自然语言处理（NLP）的许多领域，它可以帮助回答许多现实问题，例如：
本文简要介绍Python自然语言处理(NLP)，使用Python的NLTK库。NLTK是Python的自然语言处理工具包，在NLP领域中，最常使用的一个Python库。 什么是NLP？ 简单来说，自然语言处理(NLP)就是开发能够理解人类语言的应用程序或服务。 这里讨论一些自然语言处理(NLP)的实际应用例子，如语音识别、语音翻译、理解完整的句子、理解匹配词的同义词，以及生成语法正确完整句子和段落。 这并不是NLP能做的所有事情。 NLP实现 搜索引擎: 比如谷歌，Yahoo等。谷歌搜索引擎知道你
事实上，可解释性并没有数学上的严格定义，可以简单理解其为人们能够理解模型决策原因的程度。换句话说，对机器学习模型来说，它的可解释性越高，人们就越容易理解它为什么做出某些决策或预测。
翻译自 Top 5 NLP Tools in Python for Text Analysis Applications 。
NLP（Natural Language Processing），自然语言处理，是一门融合了计算机科学、人工智能以及语言学的交叉学科。 自然语言和编程语言对比 自然语言比编程语言的词汇量丰富 自然语言是非机构化的；编程语言是结构化的。结构化指的是信息具有明确的结构关系，比如编程语言中具有类和成员、数据库中的表和字段等，都可以通过明确的机制来进行读写。 自然语言存在大量的歧义，这些歧义根据语境的不同变现为特定的义项。 自然语言容错性高，编程语言中程序员必须保证拼写、语法绝对规范。 编程语言的变化缓慢温和
作者：nlp初学者小吴 (清华大学) 已获授权 链接：https://zhuanlan.zhihu.com/p/565282216 编辑：深度学习自然语言处理 公众号 句法（Syntactic）分析是NLP的经典任务 Syntactic tasks: Word level Word level的句法分析任务有：形态分析、分词、序列标注 形态分析：Morphological analysis，指将一个词的词根（stem）和词缀（prefix & suffix）提取出来的任务 分词：Word segmentat
机器之心整理 参与：蒋思源 机器之心曾采访过语知科技的董强先生，在那一篇文章中，我们详细讨论了基于知网知识库的 NLP 解决方案。虽然我们已经了解了这种方法的潜力，但只有真正实现了调用过程，并明确体会到知网知识库的强大之处，我们才真正对这种方法有一个直观的理解。 基于知网（HowNet）知识库的方法在实践和研究中确实大大提升了 NLP 的性能。在最近的 ACL 2017 会议中，清华大学牛艺霖、谢若冰、刘知远和孙茂松等人发表了一篇名为《Improved Word Representation Learnin
BERT是google最近提出的一个自然语言处理模型，它在许多任务检测上表现非常好。如：问答、自然语言推断和释义而且它是开源的。因此在社区中非常流行。
用户画像其实就是从海量的用户数据中，建模抽象出来每个用户的属性标签体系，这些属性通常需要具有一定的商业价值。
将自然语言处理（NLP）的先进成果，从前沿研究的小世界里拿出来，送到普通的数据科学家和软件工程师手中，这已经成为一场运动。7月20日，谷歌也加入进来，发布了测试版的云自然语言API。谷歌的NLP API让用户可以利用如下三个核心的NLP特性： 情感分析——分析语言的基调，比如积极或消极； 实体识别——识别语言中不同的实体，比如人或组织； 语法分析——识别语言中的各种词性，比如句子X包含3个名词。 这些工具使用了谷歌的深度机器学习算法，这也是其API与其他自建的数据科学工具的不同之处。 NLP软件是一种构建用
在思考数据科学的时候，我们常常想起数字的统计分析。但是，各种组织机构越来越频繁地生成大量可以被量化分析的非结构文本。一些例子如社交网络评论、产品评价、电子邮件以及面试记录。
在前面我们介绍了Stanford CoreNLP， 自然语言处理之命名实体识别-tanfordcorenlp-NER(一)
信息抽取的定义为：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术
当我们提到数据科学时，我们经常想到的是针对数字的统计分析。但实际上，更为常见的是由机构所产生的大量非结构化文本数据，它们需要被量化和分析。其中的一些例子有社交网络评论，产品评价，电邮，采访稿。
在逐渐步入DT（DataTechnology）时代的今天，自然语义分析技术越发不可或缺。对于我们每天打交道的中文来说，并没有类似英文空格的边界标志。而理解句子所包含的词语，则是理解汉语语句的第一步。汉语自动分词的任务，通俗地说，就是要由机器在文本中的词与词之间自动加上空格。
在https://github.com/hankcs/HanLP/releases中下载data然后覆盖HanLP-1.3.4.zip解压后的data
雷锋网 AI 研习社按：伴随着近几年的机器学习的热潮，自然语言处理成为了目前炙手可热的研究方向，同时也是 Google、Microsoft、Facebook、Baidu、Alibaba 等各大公司投入巨额资金和高端人力努力争夺的下一个互联网流量入口（智能助手、智能音箱等）。
选自Analyticsvidhya 作者：Shivam Bansal 机器之心编译 参与：黄小天、李亚洲、Smith 近日，analyticsvidhya 上出现了一篇题为《30 Questions to test a data scientist on Natural Language Processing [Solution: Skilltest – NLP]》的文章，通过 30 道题的测试，帮助数据科学家了解其对自然语言处理的掌握水平。同时文章还附上了截至目前的分数排行榜，最高得分为 24（超过 25
从大量文本中自动提取人们谈论的主题（主题识别）是自然语言处理的基本应用之一。大型文本示例包括社交媒体订阅、消费者对酒店、电影和其他业务的评价、用户评论、新闻和客户发来的邮件。
语法分析(syntactic parsing )是自然语言处理中一个重要的任务，其目标是分析句子的语法结构并将其表示为容易理解的结构(通常是树形结构)。同时，语法分析也是所有工具性NLP任务中较为高级、较为复杂的一种任务。 通过掌握语法分析的原理、实现和应用，我们将在NLP工程师之路上跨越一道分水岭。 本章将会介绍短语结构树和依存句法树两种语法形式，并且着重介绍依存句法分析的原理和实现。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
