结构化查询语言（SQL）是数据挖掘分析行业不可或缺的一项技能，总的来说，学习这个技能是比较容易的。对于SQL来说，编写查询语句只是第一步，确保查询语句高效并且适合于你的数据库操作工作，才是最重要的。这个教程将会提供给你一些步骤，来评估你的查询语句。
本文探讨了利用余弦相似度算法实现文章自动摘要的方法，该方法通过对文章分句并计算余弦相似度，从而找出与目标文章最相似的句子作为摘要。首先介绍了余弦相似度的计算原理和实现方法，然后通过具体的示例展示了如何对给定的文章进行分句和计算余弦相似度，最后对实现过程进行了总结和展望。
根据Zend_Db_Table操作数据（也就是在models建立一个对应表的模型） 准备条件： course数据表中有cid课程号，自增，主键，cname课程名称，ccredit课程学分 在models建立Course.php编写Course类继承Zend_Db_Table 写表$_name=’course’;表主键$_primary=’cid’; 1.插入记录操作 要在表中插入一行新数据,只需要将列名:数据的关联数组作为参数,调 用insert()方法即可.(zend framework)会自
结构化查询语言（SQL）是数据挖掘分析行业不可或缺的一项技能，总的来说，学习这个技能是比较容易的。对于SQL来说，编写查询语句只是第一步，确保查询语句高效并且适合于你的数据库操作工作，才是最重要的。这个教程将会提供给你一些步骤，来评估你的查询语句。 首先，应该了解学习SQL对于数据挖掘分析这个工作的重要性; 接下来，应该先学习SQL查询语句的处理和执行过程，以便可以更好的了解到，编写高质量的查询有多重要。具体说来就是，应该了解查询是如何被解析、重写、优化和最终评估的; 掌握了上面一点之后，你不仅需要重温初学
中文分句，乍一看是一个挺简单的工作，一般我们只要找到一个【。！？】这类的典型断句符断开就可以了吗。 对于简单的文本这个做法是已经可行了（比如我看到这篇文章里有个简洁的实现方法
/usr/lib/python2.7/site-packages/pyPdf/generic.py
最近 OpenAI 的 ChatGPT 非常的火爆，子凡当然也按捺不住内心喜欢折腾的 DNA 细胞，所以也几乎后知后觉的去 OpenAI 官网去注册了一个账号，但是由于不支持我们国家地区注册，所以利用了第三方的 SMS 接码平台（https://sms-activate.org/cn），充值了 1 美元，结果还剩下很多，所以其实还是很便宜的，相比只接去买 OpenAI 的账号划算不少，感兴趣的朋友可以试试看。
In-Order Transition-based Constituent Parsinggodweiyang.com
上周看到别的实验室学姐发来的研究生毕业要求。其中 Master Degree 的要求是 3 篇会议论文或者 1 篇杂志论文。对于目前的我来说，这个要求有点高，因为我的英文水平和韩文水平都很渣。最后决定还是用英文来写论文比较好。想要提升英文写作水平，这是个长久战，是个日积月累的过程。我选择在 Coursera 上报了这门课程来辅助学习，感兴趣的可以戳这：Academic English: Writing 专项课程
一、异常基础 1、基础 try/except/else：【else是可选的】捕捉由代码中的异常并恢复，匹配except里面的错误，并执行except中定义的代码，后继续执行程序（发生异常后，由except捕捉到异常后，不会中断程序，继续执行try语句后面的程序） try首行底下的代码块代表此语句的主要动作：试着执行的程序代码。except分句定义try代码块内引发的异常处理器，而else分句（如果有）则是提供没有发生异常时候要执行的处理器。 try/finally: 无论异常是否发生，都执行清理行为 （发生异常时程序会中断程序，只不过会执行finally后的代码） raise: 手动在代码中接触发异常。 assert: 有条件地在程序代码中触发异常。 assert几乎都是用来收集用户定义的约束条件 with/as 在Python2.6和后续版本中实现环境管理器。 用户定义的异常要写成类的实例，而不是字符串、。 finally可以和except和else分句出现在相同的try语句内、 扩展 try/except/finally 可以在同一个try语句内混合except和finally分句:finally一定回执行，无论是否有异常引发，而且不也不管异常是否被except分句捕捉到。finally有没有异常都执行 try/except/else： except捕捉到对应的异常才执行。else 没有异常才执行、 也就是说except分句会捕捉try代码块执行时所有发生的任何异常，而else分句只在try代码执行没有发生异常时才执行，finally分句无法释放发生异常都执行。 2、try语句分句形式 分句形式 说明 except: 捕捉所有（其他）异常类型 except name: 只捕捉特定的异常 except name,value: 捕捉所有的异常和其额外的数据（或实例） except (name1,name2) 捕捉任何列出的异常 except (name1,name2),value: 捕捉任何列出的异常，并取得其额外数据 else: 如果没有引发异常，就运行 finally: 总是会运行此代码块，无论是否发生异常 空的except分句会捕捉任何程序执行时所引发的而未被捕捉到的异常。要取得发生的实际异常，可以从内置的 sys模块取出sys.exc_info函数的调用结果。这会返回一个元组，而元组之前两个元素会自动包含当前异常的名称， 以及相关的额外数据（如果有）。就基于类的异常而言，这两个元素分别对应的是异常的类以及引发类的实例。 sys.exc_info结果是获得最近引发的异常更好的方式。如果没有处理器正在处理，就返回包含了三个None值的元组。 否则，将会返回（type,value和traceback) *type是正在处理的异常的异常类型（一个基于类的异常的类对象） *value是异常参数（它的关联值或raise的第二个参数，如果异常类型为类对象，就一定是类实例） *traceback是一个traceback对象，代表异常最初发生时所调用的堆栈。 3、try/else分句 不要将else中的代码放入try:中。保证except处理器只会因为包装在try中代码真正的失败而执行，而不是为else中的情况行为失败而执行。 else分句，让逻辑封明确 4、try/finally分句 python先运行try: 下的代码块： 如果try代码块运行时没有异常发生，Python会跳至finally代码块。然后整个try语句后继续执行下去。 如果try代码块运行时有发生异常，Python依然会回来运行finally代码块，但是接着会把异常向上传递到较高的try语句或顶层的默认处理器。程序不会在try语句继续执行。 try: Uppercase(open('/etc/rc.conf'),output).process() finally: open('/etc/rc.conf').close 5、统一try/except/finally分句 2.5版本后可统一（包括2.5版本） try: main-action: except Exception1: hander1 except Exception2: hander2 ... else: else-block finally: finally-block 这语句中main-action代码会先执行。如果该程序代码（m
情感分析指的是对新闻报道、商品评论、电影影评等文本信息进行观点提取、主题分析、情感挖掘。情感分析常用于对某一篇新闻报道积极消极分析、淘宝商品评论情感打分、股评情感分析、电影评论情感挖掘。情感分析的内容包括:情感的持有者分析、态度持有者分析、态度类型分析（一系列类型如喜欢（like），讨厌（hate），珍视（value），渴望（desire）等；或着简单的加权极性如积极（positive），消极（negative）和中性（neutral）并可用具体的权重修饰）、态度的范围分析（包含每句话，某一段、或者全文）。因此，情感分析的目的可以分为：初级：文章的整体感情是积极/消极的；进阶：对文章的态度从1-5打分；高级：检测态度的目标，持有者和类型。
情感分析就是分析一句话说得是很主观还是客观描述，分析这句话表达的是积极的情绪还是消极的情绪。 原理 比如这么一句话：“这手机的画面极好，操作也比较流畅。不过拍照真的太烂了！系统也不好。” ① 情感词 要分析一句话是积极的还是消极的，最简单最基础的方法就是找出句子里面的情感词，积极的情感词比如：赞，好，顺手，华丽等，消极情感词比如：差，烂，坏，坑爹等。出现一个积极词就+1，出现一个消极词就-1。 里面就有“好”，“流畅”两个积极情感词，“烂”一个消极情感词。那它的情感分值就是1+1-1+1=2. 很明显这个分
TextBlob 是一款 Pythonic 的文本处理工具，用于处理文本数据，它提供了一个简单的 API，用于潜入常见的自然语言处理（NLP）任务，如词性标注、名词短语提取、情感分析、分类等
泛型代码让你能根据你所定义的要求写出可以用于任何类型的灵活的、可复用的函数。你可以编写出可复用、意图表达清晰、抽象的代码。
上节课我们介绍了基于SnowNLP快速进行评论数据情感分析的方法，本节课老shi将介绍基于情感词典的分析方法。基于情感词典的分析方法是情感挖掘分析方法中的一种，其普遍做法是：首先对文本进行情感词匹配，然后汇总情感词进行评分，最后得到文本的情感倾向。目前使用较多的情感词典主要有两种：一种是BosonNLP情感词典，另一种是知网推出的情感词典。
中文分句，乍一看是一个挺简单的工作，一般我们只要找到一个【。！？】这类的典型断句符断开就可以了吗。 对于简单的文本这个做法是已经可行了，然而当我处理小说文本时，发现了这种思路的漏洞：
一、异常基础 try/except：捕捉由代码中的异常并恢复，匹配except里面的错误，并自行except中定义的代码，后继续执行程序（发生异常后，由except捕捉到异常后，不会中断程序，继续执行try语句后面的程序） try/finally: 无论异常是否发生，都执行清理行为 （发生异常时程序会中断程序，只不过会执行finally后的代码） raise: 手动在代码中接触发异常。 assert: 有条件地在程序代码中触发异常。 with/as 在Python2.6和后续版本中实现环境管理器。 用户定义的异常要写成类的实例，而不是字符串、。 finally可以和except和else分句出现在相同的try语句内、 1、异常的角色 错误处理 事件通知 特殊情况处理：有时发生很罕见的情况，很难调整代码去处理。通常会在异常处理器中处理这些罕见的情况，从而省去编写应对特殊情况的代码 终止行为 非常规控制流程 >>> x='diege >>> def fetcher(obj,index): ... return obj[index] ... >>> fetcher(x,4) 'e' >>> fetcher(x,5) Traceback (most recent call last): File "<stdin>", line 1, in <module> File "<stdin>", line 2, in fetcher IndexError: string index out of range >>> try: ... fetcher(x,5) #尝试抓取第5个字符 ... except IndexError: #如果发生异常【指出引发的异常名称】 ... print fetcher(x,-1) #那就抓取最后一个字符 ... e >>> def catcher(): ... try: ... fetcher(x,5) ... except IndexError: ... print fetcher(x,-1) ... print "continuing" ... >>> catcher() e continuing 可以看到从异常中恢复并继续执行。 try/finally: 无论异常是否发生，都执行清理行为（发生异常时程序也会终端，只不过会执行finally后的代码） >>> try: ... fetcher(x,4) ... finally: ... print 'after fetch' ... 'e' after fetch 没有发生异常的情况,也执行finally语句中的代码 发生异常的情况下 >>> try: ... fetcher(x,5) ... finally: ... print 'after fetch' ... after fetch Traceback (most recent call last): File "<stdin>", line 2, in <module> File "<stdin>", line 2, in fetcher IndexError: string index out of range 发生异常的情况下，也执行了finally语句中的代码 实际应用镇南关，try/except的组合可用于捕捉异常并从中恢复，而try/finally的组合则很方便，可以确保无论try代码块内的 代码是否发生异常，终止行为一定会运行。如，try/except来捕捉第三方库导入的代码所引发的错误，然后以try/finally来确保 关闭文件，或者终止服务器连接等调用。 可以在同一个try语句内混合except和finally分句:finally一定回执行，无论是否有异常引发，而且不也不关异常是否被except分句捕捉到 2、try/except/else语句 try的完×××式：try/多个except/else语句 else是可选的 try首行底下的代码块代表此语句的主要动作：试着执行的程序代码。except分句定义try代码块内引发的异常处理器，而else分句（如果有）则是提供没有发生异常时候要执行的处理器。 *如果try代码块语句执行时发生了异常，Python就跳回try，执行第一个符合引发的异常的except分句下面的语句。当except代码执行后（除非 except代码块引发另一异常），控制全就会到整个try
Neural Language Modeling by Jointly Learning Syntax and Lexicongodweiyang.com
我们大概已经习惯了在看公众号文章或者阅读新闻资讯的时候，被各种广告干扰，各大公众号都有意无意地植入广告。
「论文地址：」A Span-based Linearization for Constituent Trees[1] 「代码地址：」https://github.com/AntNLP/span-linearization-parser[2] 「PPT地址：」https://godweiyang.com/2020/08/30/acl20-yangwei-parsing/ACL2020.pdf[3]
该项目实现的诗歌接龙，规则为下一句的首字与上一句的尾字的拼音（包括声调）一致。下面将分步讲述该项目的实现过程。
虽然自然语言通常以序列形式呈现，但语言的基本结构并不是严格序列化的。语言学家们一致认为，该结构由一套规则或语法控制（Sandra & Taft，2014），且规定了单词组成语句的逻辑。不管其表现形式如何，这种结构通常是树状的。虽然语言学家们已发现这一规律，但其潜在结构的真正起源却仍不得而知。某些理论认为，这可能与人类认知的内在机制相关（Chomsky & Lightfoot，2002）。由于人工神经网络的灵感来源于生物神经系统的信息处理及通讯模式，上述可能性让更多人对使用人工神经网络研究语言的潜在结构产生了兴趣。
作者： jclian，本人从事Python已一年多，是Python爱好者，喜欢算法，热爱分享，希望能结交更多志同道合的朋友，一起在学习Python的道路上走得更远！
Straight to the Tree：Constituency Parsing with Neural Syntactic Distancegodweiyang.com
导语 | 网页摘要计算，术语是 snippet computing/highlight computing。用户在输入框输入的关键词命中相关网页（ES 中的文档）后，需要根据关键词以及打分模型从网页内容筛选出 top N 的语句组成短文返回给前端手机用户，关键词红色高亮。笔者小组负责网页摘要高亮计算，本文将从模型优化及工程演变角度，还原 ES 在网页摘要技术中的应用实践。
判断两篇文章之间的语义关系对于新闻系统等应用有着重要的意义。例如，通过对新闻文章之间的关系判断，一个新闻应用可以将讲述同样的事件的文章聚类在一起，去除冗余，并形成事件发展的脉络。在图 1 中，「2016 美国总统大选」这一故事的主要信息被组织成一条故事树。其中的每个节点，代表了讲述该故事中同样的一个子事件的文章集。这种文本组织方式，在信息爆炸的时代，能给人们带来极大的便利。
导语 | 网页摘要计算，术语是 snippet computing/highlight computing。用户在输入框输入的关键词命中相关网页（ES 中的文档）后，需要根据关键词以及打分模型从网页内容筛选出 top N 的语句组成短文返回给前端手机用户，关键词红色高亮。笔者小组负责网页摘要高亮计算，本文将从模型优化及工程演变角度，还原 ES 在网页摘要技术中的应用实践。文章作者：魏征，CSIG 智慧零售数据中心大数据工程师。 一、项目背景 通用搜索引擎，细分模块包括网页搜索、图片搜索、视频搜索、新闻搜索
这几天“差评洗稿”的事情，闹得沸沸扬扬，楼主本身也是内容创作的手艺人，简单说两句。
NLP研究的是实现人与计算机之间用自然语言进行有效沟通的各种理论与方法。本文整理了NLP领域常用的16个术语，希望可以帮助大家更好地理解这门学科。
在我之前的文章中，我介绍了使用 Python 和 TFIDF 从文本中提取关键词，TFIDF 方法依赖于语料库统计来对提取的关键字进行加权，因此它的缺点之一是不能应用于单个文本。
当你扩展一个泛型类型的时候，不需要在扩展的定义中提供类型形式参数列表。原始类型定义的类型形式参数列表在扩展体里面仍然有效，并且原始类型形式参数列表名称也用于扩展类型形式参数。
如果此时我们想交换两个Double类型、或者是其他类型的值，就需要针对不同的类型写类似的方法，但是这些方法仅仅只是参数类型不同。如何解决？—— 泛型
我最近开始重新开发我的“健康笔记”应用程序。由于新版本将只支持 iOS 17 及以上版本的设备，这让我在选择技术路线上享有更大的自由。
本系列为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》的全套学习笔记，对应的课程视频可以在 这里 查看。
原文链接： What's Going On in Neural Constituency Parsers? An Analysisgodweiyang.com 论文地址：What's Going On
本文简要介绍Python自然语言处理(NLP)，使用Python的NLTK库。NLTK是Python的自然语言处理工具包，在NLP领域中，最常使用的一个Python库。 什么是NLP？ 简单来说，自然语言处理(NLP)就是开发能够理解人类语言的应用程序或服务。 这里讨论一些自然语言处理(NLP)的实际应用例子，如语音识别、语音翻译、理解完整的句子、理解匹配词的同义词，以及生成语法正确完整句子和段落。 这并不是NLP能做的所有事情。 NLP实现 搜索引擎: 比如谷歌，Yahoo等。谷歌搜索引擎知道你
这里主要总结一下在python环境下进行自然语言处理的相关包和可能会出现的相关错误，目前接触的都比较Low,但是还是想要记录下来。
本文作者：Bang Liu、Di Niu等 文章之间关系匹配是自然语言处理领域的重要问题。传统算法忽略了文本内部语义结构，而深度神经网络目前主要用于句子对之间的匹配。同时由于长文本对计算量需求较大，且目前缺乏训练数据集，因此长文本的匹配问题一直难以解决。对此，来自阿尔伯塔大学和腾讯 PCG 移动浏览器产品部的研究者提出了概念交互图（Concept Interaction Graph）算法，对比现有的文章关系匹配算法有明显的效果提升。该论文已被自然语言处理顶会 ACL 2019 接收，项目代码和数据集已
前几天在Python最强王者群有个叫【老松鼠】的粉丝问了一道关于字符串处理问题，如下图所示。
注意，下面的路径是我个人下载文件的路径，详细参见https://github.com/Lynten/stanford-corenlp
Swift 提供所有多样化的控制流语句。包括 while 循环来多次执行任务；if ， guard 和 switch 语句来基于特定的条件执行不同的代码分支；还有比如 break 和 continue 语句来传递执行流到你代码的另一个点上。相信有编程基础的小伙伴们都不陌生了，这一章节就不做过多的阐述了。
成分句法分析近年来取得了飞速的发展，特别是深度学习兴起之后，神经句法分析器的效果得到了巨大的提升。一般来说，句法分析器都可以分为编码模型和解码模型两个部分。编码模型用来获取句子中每个单词的上下文表示，随着表示学习的快速发展，编码模型也由最初的LSTM逐渐进化为了表示能力更强的Transformer （VaswaniSPUJGKP17）。而解码模型方面，也诞生了许多不同类型的解码算法，比如基于转移系统（transition-based）的解码算法（WatanabeS15, CrossH16, LiuZ17a），基于动态规划（chart-based）的解码算法（SternAK17, KleinK18）和基于序列到序列（sequence-to-sequence）的解码算法（BengioSCJLS18, Gomez-Rodriguez18）等等。
搜索不仅仅是全文本搜索：数据的很大部分是结构化的值例如日期、数字。这部分开始解释怎样以一种高效地方式结合结构化搜索和全文本搜索。
專 欄 ❈Jerry，Python中文社区专栏作者。 blog：https://my.oschina.net/jhao104/blog github：https://github.com/jhao104 ❈ 本文简要介绍Python自然语言处理(NLP)，使用Python的NLTK库。NLTK是Python的自然语言处理工具包，在NLP领域中，最常使用的一个Python库。 什么是NLP？ 简单来说，自然语言处理(NLP)就是开发能够理解人类语言的应用程序或服务。 这里讨论一些自然语言处理(NLP)
文本情感分析系统，使用Python作为开发语言，基于文本数据集，使用Word2vec对文本进行处理。通过支持向量机SVM算法训练情绪分类模型。实现对文本消极情感和文本积极情感的识别。并基于Django框架开发网页平台实现对用户的可视化操作和数据存储。
导读：目前最好的语音识别系统采用双向长短时记忆网络（LSTM，LongShort Term Memory），但是，这一系统存在训练复杂度高、解码时延高的问题，尤其在工业界的实时识别系统中很难应用。科大讯飞在今年提出了一种全新的语音识别框架——深度全序列卷积神经网络（DFCNN，Deep Fully Convolutional NeuralNetwork），更适合工业应用。本文是对科大讯飞使用DFCNN应用于语音转写技术的详细解读，其外还包含了语音转写中口语化和篇章级语言模型处理、噪声和远场识别和文本处理实时
AI 科技评论按，本文作者韦阳，本文首发于知乎专栏自然语言处理与深度学习，AI 科技评论获其授权转载。
在之前的文章里，我们介绍了词语表达的训练，使用skip-gram模型训练word2vec。既然词语能表达，那句子也同样能被分布式的向量表示。这里主要介绍几种句子的表示方法。 1. Mikolov在word2vec模型上改进，得到的paragraph vector 类似于CBOW和skip-gram的两种方法。都是基于对paragraph进行embedding表示，并进行joint-train得到。 （1）使用paragraph embedding预测句子中的每个词概率。对每个paragraph构建Matri
【新智元导读】 谷歌在机器翻译上的一项最新研究：仅使用注意力机制构建模型，不需要CNN和RNN。作者称，在机器翻译上这一模型效果超越了当下所有公开发表的机器翻译模型，在BLUE上取得创纪录的成绩。训练速度和效率上： 8 颗 P100 GPU 上3.5 天完成训练。该研究可以看成是对Facebook此前机器翻译突破的回应：不久前，Facebook发布了基于卷积神经网络的方法，取得了当时最高准确度，并且速度是谷歌基于循环神经网络(RNN)系统的9倍。 谷歌大脑、谷歌研究院和多伦多大学学者合作的一项新研究称，使用
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
