R语言爬虫初尝试-基于RVEST包学习

library(rvest)
lagou<-"http://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90?kd=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&spc=2&pl=&gj=&xl=&yx=&gx=&st=&labelWords=&lc=&workAddress=&city=%E6%B7%B1%E5%9C%B3&requestId=&pn=3"web<-html(lagou,encoding="UTF-8") #读取数据，规定编码#之前我是用关键字搜索，阅读html代码，获得html_nodes里需要什么属性，不过许多浏览器有开发者工具，可以直接获得层级信息。如遨游

position<-web %>% html_nodes("li div.hot_pos_l a") %>% html_text()#上面就是直接读取数据，获得位置信息#不过在后面做其他网站时发现，有时候信息储存在同类数据里(如div没有class等等)，建议是找一个大的分类，先获得表格信息，再做数据

list_lagou<-web %>% html_nodes("li.clearfix")#这里正确找准正确的划分点很重要。有<li class="odd clearfix">，其实用li.clearfix一样可以取(对于空格二选一，如"li.odd"或者"li.clearfix")#接下来的company/position照选即可，因为事先已经分好了list，所以每一个出多少心里有数。。

#下面开始写代码,首先写一个函数getdata，会输出一个数据框

getdata<-function(page,urlwithoutpage){
        url=paste0(urlwithoutpage,page) #这里输入拉勾网没有页码的url
        web<-html(url,encoding="UTF-8") #读取数据，规定编码,access用
        list_lagou<-web %>% html_nodes("li.clearfix") #获得一个清单，15个职位
        title<-list_lagou %>% html_nodes("div.hot_pos_l div.mb10 a")%>%html_text()
        company<-list_lagou %>% html_nodes("div.hot_pos_r div.mb10 a")%>%html_text()
        link<-gsub("\\?source\\=search","",list_lagou %>% html_nodes("div.hot_pos_l div.mb10 a")%>%html_attr("href"))#接下来的由于数据都存在span里，没有很好的划分。这个取数要复杂一些。我在这里，研究他们的表，先取15个完整list，然后用seq等序列取数#之后要研究是否有更好的方法#如果有table，可以直接用data.table取数更快。。。


        temp<-list_lagou %>% html_nodes("div.hot_pos_l span")
        city<-temp[seq(1,90,by=6)] %>% html_text()
        salary<-gsub("月薪：","",temp[seq(2,90,by=6)]%>% html_text())
        year<-gsub("经验：","",temp[seq(3,90,by=6)]%>% html_text())
        degree<-gsub("最低学历：","",temp[seq(4,90,by=6)]%>%html_text())
        benefit<-gsub("职位诱惑：","",temp[seq(5,90,by=6)]%>% html_text())
        time<-temp[seq(6,90,by=6)]%>%html_text()
        data.frame(title,company,city,salary,year,degree,benefit,time,link)
}

#使用该函数，library(rvest)
url<-"http://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90?kd=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&spc=2&pl=&gj=&xl=&yx=&gx=&st=&labelWords=&lc=&workAddress=&city=%E6%B7%B1%E5%9C%B3&requestId=&pn="final<-data.frame()for (i in 3:5){
        final<-rbind(final,getdata(i,url))        
} #定义个数，把上面的getdata得到的Data.frame合并head(final)

上面完成了第一个列表。爬出效果如图


关于这个数据有什么用呢…… 简单来说，我们可以用它来看这个网上有多少在招的，各公司招人的比例，以及薪资水平，做一点基础的数据分析。

final[1,9]## [1] http://www.lagou.com/jobs/378361.html## 45 Levels: http://www.lagou.com/jobs/113293.html ...url<-as.character(final[1,9])
w<-html(url,encoding = "UTF-8")
d<-w %>% html_nodes("dd.job_bt p") %>% html_text()
d## [1] "1.金融、计算机、财务、经济相关专业；"## [2] "2.有证券从业资格证者优先；"          ## [3] "3.想从事文职类工作，对办公软件熟悉；"## [4] "4.可接收已拿到学历证的应届毕业生。"  ## [5] "<U+00A0>"