腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

数据小魔方

专栏作者

471

文章

1039488

阅读量

142

订阅数

这个包绝对值得你用心体验一次！

selenium html r 语言

这一段时间在研究R里面的数据抓取相关包，时不时的能发掘出一些惊喜。比如今天，我找到了一个自带请求器的解析包，而且还是嵌入的pantomjs无头浏览器，这样就不用你再傻乎乎的再去装个selenium驱

数据小磨坊

2018-04-12

2.1K0

XML/HTML/JSON——数据抓取过程中不得不知的几个概念

xml html json r 语言

之前写了很多网络数据数据抓取的案例，无论是关于R语言还是Python的，里面大量使用xml\html\css\ajax\json等这些概念，可是一直没有对这些概念做详细的梳理，导致很多小伙伴儿看的摸不着头脑。近期基础的网抓教程告一段落，从今天起，给大家梳理一些常用的web概念（当然是一个外行小白的视角来进行讲解，如有不当之处，还请见谅）。概念的梳理对于整体网抓思路的开拓至关重要。几天主要围绕三个核心概念来进行介绍： xml html json xml的官方解释是可扩展标记语言，主要用于数据传输，而HTM

数据小磨坊

2018-04-11

2K0

左手用R右手Python系列之——表格数据抓取之道

python r 语言 xml html

在抓取数据时，很大一部分需求是抓取网页上的关系型表格。对于表格而言，R语言和Python中都封装了表格抓取的快捷函数，R语言中XML包中的readHTMLTables函数封装了提取HTML内嵌表格的功能，rvest包的read_table()函数也可以提供快捷表格提取需求。Python中read_html同样提供直接从HTML中抽取关系表格的功能。 HTML语法中内嵌表格有两类，一类是table，这种是通常意义上所说的表格，另一类是list，这种可以理解为列表，但从浏览器渲染后的网页来看，很难区分这两种，

数据小磨坊

2018-04-11

3.3K0

左手用R右手Python系列16——XPath与网页解析库

python r 语言 html xml

最近写了不少关于网页数据抓取的内容，大多涉及的是网页请求方面的，无论是传统的RCurl还是新锐大杀器httr,这两个包是R语言中最为主流的网页请求库。但是整个数据抓取的流程中，网页请求仅仅是第一步，而请求获取到网页之后，数据是嵌套在错综复杂的html/xml文件中的，因而需要我们熟练掌握一两种网页解析语法。 RCurl包是R语言中比较传统和古老的网页请求包，其功能及其庞大，它在请求网页之后通常搭配XML解析包进行内容解析与提取，而对于初学者最为友好的rvest包，其实他谈不上一个好的请求库，rvest是内

数据小磨坊

2018-04-11

2.3K0

左手用R右手Python系列17——CSS表达式与网页解析

python r 语言 https html

上一篇着重讲解了网页解析中的XPath表达式，今天这一篇主要讲解另一套网页解析语法——CSS路径表达式。 R语言与Python中都有支持CSS表达式的解析库，R语言中以rvest包为主进行讲解，Python中为BeautifulSoup为主进行讲解。本篇讲解内容实战网页时我的天善社区博客主页，网址如下： https://ask.hellobi.com/blog/datamofang/sitemap/ R语言： R语言中，rvest中的默认解析语法即为css路径表达式，当然rvest也是支持XPath，只是

数据小磨坊

2018-04-11

1.6K0

R语言数据抓取实战——RCurl+XML组合与XPath解析

r 语言 xml html 爬虫

经常有小伙伴儿跟我咨询，在使用R语言做网络数据抓取时，遇到空值和缺失值或者不存在的值，应该怎么办。因为我们大多数场合从网络抓取的数据都是关系型的，需要字段和记录一一对应，但是html文档的结构千差万别，代码纷繁复杂，很难保证提取出来的数据开始就是严格的关系型，需要做大量的缺失值、不存在内容的判断。如果原始数据是关系型的，但是你抓取来的是乱序的字段，记录无法一一对应，那么这些数据通常价值不大，今天我以一个小案例（跟昨天案例相同）来演示，如何在网页遍历、循环嵌套中设置逻辑判断，适时的给缺失值、不存在值填充预

数据小磨坊

2018-04-11

2.3K0

如何将html格式动态图表网页嵌入ppt中

前几天魔方学院（其实就是我的公众号交流群啦~_~）的一位群友突然在群里提了一个问题！看了之前推送的REmap相关内容，结果导出的图表是html格式的动态图，不知道如何将此种格式的图表放在ppt中使用。这确实很尴尬他呀，你不能直接拿着Rstudio跟客户演示呀（而且还不保证每一台PC上都安装有R语言软件），如果是ppt展示，突然退出来，然后用浏览器打开html文件也是够突兀的。当然这个情况在r语言中其实很普遍，很多依赖底层js语言编写的二次开发包（比如R语言中的recharts、RERmap、Rchar

数据小磨坊

2018-04-11

32.2K2

用R语言抓取网页图片——从此高效存图告别手工时代

r 语言爬虫正则表达式 html python

今天这个标题实在是有点言过其实了，对于R的爬虫知识，我只是领会了一点儿皮毛。主要看不懂正则表达式，特别是那种一个括号里要匹配多种类型文本的语句，特像火星文，估计短期很难搞懂了。再加上对于HTML结构没啥感觉，在目标定位上很苦恼。但是相对于文本信息而言，图片在html中的地址比较好获取，这里仅以图片抓取为例，会Python爬虫的大神还求轻喷~ 今天要爬取的是一个多图的知乎网页，是一个外拍的帖子，里面介绍了巨多各种外拍技巧，很实用的干货。 library(rvest) library(downloader

数据小磨坊

2018-04-03

2.3K0

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态