选自arXiv 作者：Peter J. Liu、Mohammad Saleh 等 机器之心编译 参与：白悦、路雪 近日，谷歌大脑发布论文，提出一种通过提取多文档摘要来生成英文维基百科文章的方法，该方法可以处理长序列。 序列到序列框架已被证明在自然语言序列转导任务（如机器翻译）中取得了成功。最近，神经技术被应用于提取新闻文章中的单文档、抽象（释义）文本摘要（Rush et al. (2015), Nallapati et al. (2016)）。之前的研究以端到端的方式训练监督模型的输入——从一篇文章的第一
今天为大家介绍的是来自Fabio Petroni团队的一篇论文。可验证性是维基百科的核心内容政策之一：所有的陈述都需要有引用来支撑。维持和提高维基百科参考资料的质量是一个重要挑战。作者展示了如何借助人工智能（AI）来应对改善参考资料的过程，这一AI系统由信息检索系统和语言模型驱动。我们称这个基于神经网络的系统为SIDE，它能够识别那些不太可能支持其声明的维基百科引用，并随后从网上推荐更好的引用。
很多人可能都听说人工智能已经可以写文章了，但是你可能不知道编辑机器人早就已经是维基百科最重要的贡献群体之一。 2001 年，维基百科引入了机器人编辑者的概念，任何用户可以为自己研发的机器人单独建立一个维基百科帐号，只要根据维基百科社区官方的规定对帐号进行标注，即可让机器人参与维基百科的编辑。 2014 年，机器人在维基百科的所有语言中完成了 15% 的编辑动作，他们识别、撤销破坏行为，锁定遭到频繁篡改的页面、识别错别字和病句、创建不同语言之间的链接、自动导入站外内容、进行数据挖掘、识别侵权的内容并为新手
最近由于项目中需要抓取维基百科,百度百科,Google News的数据，做了些研究。维基百科开放性做的好，用强大的API支持查询，不过中文的API貌似是基于繁体的，而且中文的维基信息太少了，有些关键词没有对应的词条。于是目标转向百度百科。百度百科的词条确实很丰富，一般的关键词基本都有对应的词条。不过百度百科的词条对应的html页面的连接是这样的 baike.baidu.com/view/0000.html 。0000对应的是某个词条了。要想根据URL来获取就首先需要把关键词转换成对应的数字。通过httpwa
思路一（origin:master）：从维基百科的某个分类（比如：航空母舰（key））页面开始，找出链接的title属性中包含key（航空母舰）的所有目标，加入到待抓取队列中。这样，抓一个页面的代码及其图片的同时，也获取这个网页上所有与key相关的其它网页的地址，采取一个类广度优先遍历的算法来完成此任务。 思路二（origin:cat）：按分类进行抓取。注意到，维基百科上，分类都以Category:开头，由于维基百科有很好的文档结构，很容易从任一个分类，开始，一直把其下的所有分类全都抓取下来。这个算法对分类页面，提取子分类，且并行抓取其下所有页面，速度快，可以把分类结构保存下来，但其实有很多的重复页面，不过这个可以后期写个脚本就能很容易的处理。
以下文章来源于OneFlow，作者Alan D. Thompson 半个月以来，ChatGPT这把火越烧越旺。国内很多大厂相继声称要做中文版ChatGPT，还公布了上线时间表，不少科技圈已功成名就的大佬也按捺不住，携巨资下场，要创建“中国版OpenAI”。 不过，看看过去半个月在群众眼里稍显窘迫的Meta的Galactica，以及Google紧急发布的Bard，就知道在短期内打造一个比肩甚至超越ChatGPT效果的模型没那么简单。 让很多人不免感到诧异的是，ChatGPT的核心算法Transformer最
来源：OneFlow 机器学习算法与自然语言处理 作者：Alan D. Thompson本文约9100字，建议阅读10+分钟本文帮助有志于开发“类ChatGPT”模型的团队少走一步弯路。 半个月以来，ChatGPT这把火越烧越旺。国内很多大厂相继声称要做中文版ChatGPT，还公布了上线时间表，不少科技圈已功成名就的大佬也按捺不住，携巨资下场，要创建“中国版OpenAI“。 不过，看看过去半个月在群众眼里稍显窘迫的Meta的Galactica，以及Google紧急发布的Bard，
王新民 | 编译自Gizmodo 维基百科上的人类编辑，经常由于修改意见的不同而产生冲突。一份英国的新研究表明，维基百科上的软件机器人之间，也有类似的在线冲突。 PLOS ONE上发表的一项新研究提到，维基百科的机器人经常修改和撤消对方的编辑。这些在线算法有着独特的指令和目标，多年来在内容修改上进行着毫无结果的 “战斗”。这项研究表明，即使在“愚蠢”的机器人之间，也能够产生复杂的交互行为，开发人员需要时刻关注着机器人的一举一动。这一发现不仅影响着维基百科页面的质量，也对人工智能的发展有深远影响，特别是在
本文，我们将通过几步演示如何用Pandas的read_html函数从HTML页面中抓取数据。首先，一个简单的示例，我们将用Pandas从字符串中读入HTML；然后，我们将用一些示例，说明如何从Wikipedia的页面中读取数据。
翻译校对：丁雪 吴怡雯 程序验证修改：李小帅 “我相信马塞勒斯·华莱士，我的丈夫，你的老板吩咐你带我出门做我想做的任何事。现在，我想跳舞，我要赢，我想得到那个奖杯，把舞跳好来！” 《黑色追缉令》
数据库，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据运行新增、截取、更新、删除等操作。
大数据文摘作品 作者：Peter Gleeson 编译：周佳玉、丁慧、叶一、小鱼、钱天培 今天文摘菌要教大家制作一张编程语言的关系网络图。如果不知道什么是关系网络图，可以点击下方链接先来看一下最终成果： http://programming-languages.herokuapp.com/#， 我们可以在这里看到从过去到现在的250多种编程语言之间的“设计影响”的关系，下面是该演示的截图： 接下来，就让我们一起来学做这个关系网络图吧！ 在当今的超连接世界，网络在现代生活中无处不在。举个栗子，文摘菌的周末这
维基百科作为一个开放协同式的百科网站，是全世界最受欢迎的十大网站之一。目前，维基百科已经累积了超过上百万个词条。
作者 | Yash Patel，Lluis Gomez，Raul Gomez，Marcal Rusinol，Dimosthenis Karatzas， C.V. Jawahar
前文回顾： 「Python爬虫系列讲解」一、网络数据爬取概述 「Python爬虫系列讲解」二、Python知识初学 「Python爬虫系列讲解」三、正则表达式爬虫之牛刀小试 「Python爬虫系列讲解」四、BeautifulSoup 技术 「Python爬虫系列讲解」五、用 BeautifulSoup 爬取电影信息 「Python爬虫系列讲解」六、Python 数据库知识 「Python爬虫系列讲解」七、基于数据库存储的 BeautifulSoup 招聘爬取 「Python爬虫系列讲解」八、Selenium 技术
编译|丁雪 黄念 程序注释|席雄芬 校对|姚佳灵 引言 从网页中提取信息的需求日益剧增，其重要性也越来越明显。每隔几周，我自己就想要到网页上提取一些信息。比如上周我们考虑建立一个有关各种数据科学在线课程的欢迎程度和意见的索引。我们不仅需要找出新的课程，还要抓取对课程的评论，对它们进行总结后建立一些衡量指标。这是一个问题或产品，其功效更多地取决于网页抓取和信息提取（数据集）的技术，而非以往我们使用的数据汇总技术。 网页信息提取的方式 从网页中提取信息有一些方法。使用API可能被认为是从网站提取信息的最佳方法。
引言 从网页中提取信息的需求日益剧增，其重要性也越来越明显。每隔几周，我自己就想要到网页上提取一些信息。比如上周我们考虑建立一个有关各种数据科学在线课程的欢迎程度和意见的索引。我们不仅需要找出新的课程，还要抓取对课程的评论，对它们进行总结后建立一些衡量指标。这是一个问题或产品，其功效更多地取决于网页抓取和信息提取（数据集）的技术，而非以往我们使用的数据汇总技术。 网页信息提取的方式 从网页中提取信息有一些方法。使用API可能被认为是从网站提取信息的最佳方法。几乎所有的大型网站，像Twitter、Facebo
碰见过真正难相处的人，才知道身边的伙伴们多么值得珍惜。 前端开发人员应掌握以下核心网络技术（考虑按此顺序学习）： 统一资源定位器（又名URL） 超文本传输协议（又称HTTP） 超文本标记语言（又名HT
本文是一个机器学习项目中最流行的统计假设检验的速查表，包含使用Python接口的示例。
python爬虫获取维基百科词条一、整体思路二、代码部分1.main()函数2.extract()函数
欢迎来到Python for Finance教程系列的第5讲。 在本教程和接下来的几篇文章中，我们将着手研究如何为更多公司提供大量的定价信息，以及我们如何一次处理所有这些数据。
关于维基百科你不知道的十件事是专门让那些缺乏维基百科经验的人，如记者、新编辑者或新读者，能够对维基百科有一些较深入的认知。这些内容并不会带给那些已经很有经验的维基百科编辑者什么耳目一新的地方，但是我们希望它可以帮助世界上其他人对我们的工作能有更清楚的了解。
安妮 编译自 arXiv 量子位出品 | 公众号 QbitAI 近日，谷歌团队在arXiv上发布了新论文《End-to-End Learning of Semantic Grasping》，这篇文章由
nofollow链接,网站管理员可以指示搜索引擎不要前往此网页上的链接或是不要前往此链接。nofollow属性最初是用在网页层级的中继标记里，指示搜索引擎不要前往 (也就是检索) 网页上的任何输出链接。
18年10月4日，麻省理工学院计算机科学与人工智能实验室(CSAIL)在其官网发布了一则新闻，宣称该实验室与卡塔尔计算研究所(Qatar Computing Research Institute)的研究人员合作，已经研究出一种可以鉴别信息来源准确性和个人政治偏见的AI系统，该研究成果将于本月底在比利时布鲁塞尔召开的2018自然语言处理经验方法会议(EMNLP)上正式公布。
Miriam Adelson是一位很有成就的医生，已发表了大约一百篇关于成瘾生理学和治疗的研究论文。她还在拉斯维加斯经营一家备受瞩目的药物滥用诊所。并且，她是以色列最大的报纸的出版商，还有她的丈夫谢尔顿，是一位慈善家和有影响力的共和党捐助者（亿万富翁）。
作者：Miriam Redi、Jonathan Morgan、Dario Taraborelli、Besnik Fetahu
维基百科社区以人身攻击的评论臭名昭著。这个问题非常糟糕，以至于活跃的贡献者或编辑在八年期间下降了40％。尽管没有一个解决方案可以解决这个问题，但支持维基百科的非营利组织维基媒体基金会决定使用AI来更多地了解问题，并考虑如何解决这个问题。
No.48期 众包的定义 Mr. 王：平常遇到不知道的概念或者名词，你一般会怎么办？ 小可：有维基百科啊，我去查一查就知道了。对于一个名词，维基百科能给出很多的解释，而且这些解释往往非常准确和专业。
数据库管理系统（英语：Database Management System，简称DBMS）是为管理数据库而设计的电脑软件系统，一般具有存储、截取、安全保障、备份等基础功能。数据库管理系统可以依据它所支持的数据库模型来作分类，例如关系式、XML；或依据所支持的计算机类型来作分类，例如服务器聚类、移动电话；或依据所用查询语言来作分类，例如SQL、XQuery；或依据性能冲量重点来作分类，例如最大规模、最高运行速度；亦或其他的分类方式。不论使用哪种分类方式，一些DBMS能够跨类别，例如，同时支持多种查询语言。
韩国新剧《鱿鱼游戏》风靡全球，成为全球爆款。其发行商 Netflix 宣布，“鱿鱼游戏正式拥有 1.11 亿粉丝——这是我们有史以来最大的系列发行！” 它在包括美国在内的 90 个不同国家/地区的排行榜上名列前茅，并被称为“口碑全球轰动”，在新闻和社交媒体中随处可见。
「遇事不决先谷歌」已经是现在很多人查找信息的标准起手了。如果搜索一个词条，百科网站的结果通常会被显示在最显眼的位置。这种人人皆可编辑的网站存储着海量信息，虽然可能不够严谨，但也被很多人作为重要的信息、知识来源。
选自OpenAI 作者：Jonathan Raiman 机器之心编译 参与：许迪、黄小天 本文通过让神经网络决策一个词是否属于 100 个自动发现的「类别」（非专属范畴）之一，从而建立了一个可以自动计算单词指称对象的神经网络。该方法在若干个实体消岐（entity disambiguation）数据集上实现了当前最优的提升。 通过让神经网络决策一个词是否属于 100 个自动发现的「类别」（非专属范畴）之一，我们已建立一个神经网络，可以自动计算一个词所指称的对象。比如对于语句「猎物看到美洲虎（Jaguar）穿过
夏乙 发自 凹非寺 量子位 出品 | 公众号 QbitAI 在机器阅读理解界的ImageNet——SQuAD挑战赛中，排在前几名的算法，都能拿到八十多分的成绩。 可是，为什么我们依然觉得机器不太听/看
大家平时查询资料都喜欢用什么搜索工具呢？ 也许很多人都是百度吧，但是也有一部分小伙伴习惯使用维基百科~ 维基百科（Wikipedia），又称人民的百科全书，是来自世界各地的人民用不同的语言共同创建的百科全书。 它基于wiki技术，强调自由、免费、内容开放，任何人都可以编辑百科全书中的任何条目。其宗旨是为全人类提供一个动态的、可自由访问和编辑的全球知识体。 你可以把它看作是一个纯文科类的百度百科的升级国际版，毕竟人们常说：北冥有鱼，其名为鲲。鲲之大，不知其几千里也，错了错了，拿错台词了，应该是这句，维基百科，
最近在做词向量相关工作，词向量的训练数据采用中文维基百科数据，训练之前，要对维基百科数据进行处理，这篇文章记录了一些处理过程及相关的脚本。
ARP欺骗的运作原理是由攻击者发送假的ARP数据包到网上，尤其是送到网关上。其目的是要让送至特定的IP地址的流量被错误送到攻击者所取代的地方。因此攻击者可将这些流量另行转送到真正的网关（被动式数据包嗅探，passive sniffing）或是篡改后再转送（ 中间人攻击 ，man-in-the-middle attack）-维基百科
“ 维基百科自动编辑系统，能够根据输入的新资讯，判断维基百科文章中错误的地方进行修复。”
老是容易把先验概率,后验概率,似然概率混淆，所以下面记录下来以备日后查阅。区分他们最基本的方法就是看定义，定义取自维基百科和百度百科:
维基百科会定期把各种语言的百科网页全部打包存储起来，这里我们选择其中的中文维基百科网页，这个文件可以作为中文语料库来使用。原始维基百科数据是压缩的 xml 文件，为了提取其中词条的纯文本内容，去掉众多 xml 标记，我们必须要对原始的压缩文件进行处理，提取有用信息。
问耕 编译整理 量子位 出品 | 公众号 QbitAI 今天一大早，Yann LeCun就转发了一条消息：Facebook开源了DrQA的代码。 DrQA是一个开放域问答系统。 关于DrQA，Facebook还发表了一篇论文《Reading Wikipedia to Answer Open-Domain Questions（阅读维基百科来回答开放域问题）》。这篇论文也入选了下周即将在温哥华召开的ACL 2017大会。 论文的作者为来自斯坦福的Danqi Chen（陈丹琦，之前毕业于清华姚班），以及来自Fac
几年前谁能想到，匿名贡献者们的义务工作竟创造出前所未有的巨大在线知识库？维基百科不仅是你写大学论文时最好的信息渠道，也是一个极其丰富的数据源。
2016年，知识经济很火。分答、知乎Live等平台先后入局，最近就连那个一直低调潜行的豆瓣也推出了内容付费产品：豆瓣时间，用时髦的话说内容付费俨然已成互联网风口。 一项互联网业务到了风口，就可能被315点名。 在一年一度的“公关节”315晚会上知识分享平台互动百科就被点名了，理由是因为它的付费服务：企业缴纳费用之后具有更强的编辑权限，甚至可以发布虚假信息，来龙去脉不必赘述，但“互动百科”这家百科知识平台为什么会采取“付费”模式，却值得深究。 百科是互联网最古老的内容形态之一。说到百科，人们首先会想到2001
通用知识图谱大体可以分为百科知识图谱（Encyclopedia Knowledge Graph）和常识知识图谱（Common Sense Knowledge Graph）。
###概述 这是一个网络爬虫学习的技术分享，主要通过一些实际的案例对爬虫的原理进行分析，达到对爬虫有个基本的认识，并且能够根据自己的需要爬到想要的数据。有了数据后可以做数据分析或者通过其他方式重新结构化展示。 ###什么是网络爬虫 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。via 百度百科网络爬虫 网络蜘蛛（Web spider）也叫网络爬虫（We
AI 科技评论按：语言词汇的多义性已经是一个越发让人头疼的问题。比如女生对男朋友说：「生日礼物我想要MAC」，本来心怀期待地揣测他买来的唇彩会是什么色，结果收到的可能是一台苹果笔记本电脑…… 苹果电
无论是大学期间的小论文还是令人头秃的毕业论文, 查找文献是必不可少的环节. 而这个过程说到底就两句话:
Google现在想到了一个办法能让AI来回答这个问题，他们开放了一个名叫自然问题（Natural Questions, NQ）的数据集，能够训练AI阅读维基百科，并找到各种开放领域问题的答案。
Uber 的全球用户每天会产生500万条行程，保证数据的准确性至关重要。如果所有的数据都得到有效利用，t通过元数据和聚合的数据可以快速检测平台上的滥用行为，如垃圾邮件、虚假账户和付款欺诈等。放大正确的数据信号能使检测更精确，也因此更可靠。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
