首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【学习】在R语言中使用正则表达式

【学习】在R语言中使用正则表达式

作者头像
小莹莹
发布2018-04-20 17:41:12
1K0
发布2018-04-20 17:41:12
举报

有时候我们要处理的是非结构化的数据,例如网页或是电邮资料,那么就需要用R来抓取所需的字符串,整理为进一步处理的数据形式。R语言中有一整套可以用来处理字符的函数,在之前的 博文 中已经有所涉及。但真正的要用好字符处理函数,则不得不用到正则表达式。 正则表达式(Regular Expression、regexp) 是指一种用来描述一定数量文本的模式。熟练掌握正则表达式能使你随心所欲的操作文本来达成目标。其实学习正则表达式并没有想像中的那么困难。最好方法是从例子开始,然后多练习,多使用。网络上已经有许多不错的参考资料,例如 这篇 或 那篇 。本文假设你对正则表达式有了基本的了解,下面我们来看看如何在R里面来使用它。

假设我们有一个字符向量,包括了三个字符串。我们的目标是从中抽取电邮地址。R语言中很多字符函数都能识别正则表达式,而最重要的函数就是 gregexpr()。该函数的第一个参数是正则表达式,前后需要用引号,对元字符进行转义时要用\\。第二个参数是等待处理的文本。那么用如下三行代 码,我们从word字符向量中得到一个列表,其中第一项元素中的5表示电邮地址从第5个字符位置开始,24表示电邮地址长度为24。

word <-c('abcnoboby@stat.berkeley.edu','textwithnoemail','firstme@mything.comalsoyou@yourspace.com')pattern<-'[-A-Za-z0-9_.%]+@[-A-Za-z0-9_.%]+\\.[A-Za-z]+'(gregout<-gregexpr(pattern,word))

[[1]] [1] 5 attr(,”match.length”) [1] 24

[[2]] [1] -1 attr(,”match.length”) [1] -1

[[3]] [1] 7 27 attr(,”match.length”) [1] 14 17

下一步我们需要将电邮地址抽取出来,此时配合substr函数,即可根据需要字符串的位置来提取子集。

substr(word[1],gregout[[1]],gregout[[1]]+attr(gregout[[1]],'match.length')-1)

[1] “noboby@stat.berkeley.edu”

更方便的使用方式是根据上述方法建立一个自定义函数getcontent,参数s表示待处理的文本,参数g表示的是通过gregexpr函数处理后的结果。这个函数我们在后面还会用到。

getcontent <-function(s,g){substring(s,g,g+attr(g,'match.length')-1)}getcontent(word[1],gregout[[1]])

下面我们用一个较大的例子来说明在实际的数据抓取工作中,如何使用正则表达式。豆瓣电影是博主经常去的地方。此次任务目标是要抓取豆瓣电影中250部最佳电影的资料。R代码如下:

url<-'http://movie.douban.com/top250?format=text'# 获取网页原代码,以行的形式存放在web变量中web<-readLines(url,encoding="UTF-8")# 找到包含电影名称的行编号name<-web[grep('<tdheaders="m_name">',web)+1]# 用正则表达式来提取电影名gregout <-gregexpr('>\\w+',name)movie.names =0for(i in1:250){
    movie.names[i]<-getcontent(name[i],gregout[[i]])}movie.names<-sub('>','',movie.names)# 找到包含电影发行年份的行编号并进行提取year <-web[grep('<spanclass="year">',web)]movie.year <-substr(year,36,39)# 找到包含电影评分的行编号并进行提取score<-web[grep('<tdheaders="m_rating_score">',web)+1]movie.score <-substr(score,21,23)# 找到包含电影评价数量的行编号并进行提取rating<-web[grep('<tdheaders="m_rating_num">',web)+1]movie.rating <-sub(' *','',rating)# 合成为数据框movie<-data.frame(names=movie.names,year=as.numeric(movie.year),score=as.numeric(movie.score),rate=as.numeric(movie.rating))# 绘散点图library(ggplot2)p<-ggplot(data=movie,aes(x=year,y=score))p+geom_point(aes(size=rate),colour='lightskyblue4',position="jitter",alpha=0.8)+geom_point(aes(x=1997,y=8.9),colour='red',size=4)

用散点图来观察数据,可以看到前250名电影中大部分是1980年之后发行的。1997年和2010年发行的电影有不少精品。而其中红色点所代表的是哪部电影你知道吗?那就是Titanic。

PPV课其他精彩文章:

1、回复“干货”查看干货 数据分析师完整知识结构

2、回复“答案”查看大数据Hadoop面试笔试题及答案

3、回复“设计”查看这是我见过最逆天的设计,令人惊叹叫绝

4、回复“可视化”查看数据可视化专题-数据可视化案例与工具

5、回复“禅师”查看当禅师遇到一位理科生,后来禅师疯了!!知识无极限

6、回复“啤酒”查看数据挖掘关联注明案例-啤酒喝尿布

7、回复“栋察”查看大数据栋察——大数据时代的历史机遇连载

8、回复“数据咖”查看数据咖——PPV课数据爱好者俱乐部省分会会长招募

9、回复“每日一课”查看【每日一课】手机在线视频集锦

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2015-05-11,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 PPV课数据科学社区 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档