一个小爬虫:获取Kindle的图书排行榜

本程序抓取在linux和Mac上是没什么问题的,不过windows会遇到编码问题,暂时没有心情来处理这个bug,就是这么任性~

目标在这里:

获取Amazon Kindle的排行榜网址

library(XML)URL = paste0("http://www.amazon.cn/gp/bestsellers/digital-text/116169071/ref=sa_menu_kindle_l3_116169071#",1:5)

试着抓取第一个URL,也就是排名在1~20的图书….

## 我不是机器人,Amazon别封我IP~Sys.sleep(runif(1,1,2))doc<-htmlParse(URL[1],encoding="UTF-8")rootNode<-xmlRoot(doc)

可以看到已经过把网页内的信息抓下了,不过书籍的信息不是类似表格的形式,(如果是表格,应该具有类似<table>的标签,可以直接用readHTMLTable来读取) 在这里我使用xpathSApply来读取标签内的信息:

先看下一个书籍的html源码:

<div class="zg_itemRow">
  <div class="zg_item_compact">
    <div class="zg_image zg_itemLeftDiv_compact">
      <div class="zg_itemImage_compact">
        <a  href="http://www.amazon.cn/%E8%A7%A3%E5%BF%A7%E6%9D%82%E8%B4%A7%E5%BA%97-%E4%B8%9C%E9%87%8E%E5%9C%AD%E5%90%BE/dp/B00NOQNHP2/ref=zg_bs_116169071_1
">
        <img src="http://ec4.images-amazon.com/images/I/51F6FK4cLGL._SL160_SL135_.jpg" alt="解忧杂货店" title="解忧杂货店" onload="if (typeof uet == 'function') { uet('af'); }"/></a>
        </div>
      </div>
  <div class="zg_itemRightDiv_compact">
    <div class="zg_rankLine">
      <span class="zg_rankNumber">1.</span>
        <span class="zg_rankMeta"></span>
    </div>
    <div class="zg_title">
        <a  href="http://www.amazon.cn/%E8%A7%A3%E5%BF%A7%E6%9D%82%E8%B4%A7%E5%BA%97-%E4%B8%9C%E9%87%8E%E5%9C%AD%E5%90%BE/dp/B00NOQNHP2/ref=zg_bs_116169071_1">解忧杂货店</a>
    </div>
    <div class="zg_byline">~ 东野圭吾 (作者), 李盈春 (译者)</div>
    <div class="zg_reviews">
        (<a href="http://www.amazon.cn/product-reviews/B00NOQNHP2/ref=zg_bs_116169071_cm_cr_acr_txt?ie=UTF8&showViewpoints=1" >3,360</a>)</span...

看起来很乱是不是,我们主要需要从这里面找到我们需要的数据,并用一个Xpath来解读它,什么,不懂Xpath?其实没多大关系,给一个最简单的Xpath,然后照着修改就好:

给我个价格

比如我们想要里面的价格数据,先找到对应的标签:

<strong class="price">¥ 5.93</strong>

strong是代表该部分粗体,class是price,这个DOM标签对应的是"//strong[@class='price']"意思就是寻找strong的类,strong的class是price,在R里面获取下Price的数据:

givePrice = function(rootNode){
  price<-xpathSApply(rootNode,"//strong[@class='price']",xmlValue)
  price
  ## 收费付费混排,我只要付费的价格(循环补齐式选择)
  (price = price[c(T,F)])
  ## 喂,你给我认真处理下数据,把¥去掉,再转数字
  strsplit(price," ") -> price.c
  unlist(price.c)[c(F,T)] -> price.c
  as.numeric(price.c)[1:20] -> price
  price}givePrice(rootNode)
##  [1] 12.00  0.79  9.99  2.99  0.99  2.99  2.00  2.00  0.10  3.99 16.99
## [12] 18.00  1.99  8.99  0.99  0.99  3.99  2.00  1.99  1.99

给我个评价

要抓取的内容为:

<a style="text-decoration:none" href="http://www.amazon.cn/product-reviews/B00NOQNHP2/ref=zg_bs_116169071_cm_cr_acr_img?ie=UTF8&showViewpoints=1" name="reviewHistoPop_B00NOQNHP2_5288_star__" ><span class="swSprite s_star_4_5 " title="平均4.7 星" ><span>平均4.7 星</span></span>&nbsp;</a>

Xpath为:"//a[@style='text-decoration:none']/span"

giveRate = function(rootNode){
  rate<-xpathSApply(rootNode,"//a[@style='text-decoration:none']/span",xmlValue)
  rate[c(T,F,F,F)] -> rate
  strsplit(rate,"平均") -> rate.c
  unlist(rate.c)[c(F,T)] -> rate.c
  strsplit(rate.c," 星") -> rate.c
  unlist(rate.c) -> rate.c
  as.numeric(rate.c) -> rate
  rate}giveRate(rootNode)
##  [1] 4.2 4.4 4.3 4.4 4.3 4.5 4.4 4.3 4.5 4.2 4.5 4.2 4.6 4.6 4.4 4.6 4.4
## [18] 4.6 4.7 4.5

为什么要认真处理数据呢,因为评价在后期说不定需要进行比较并找到最高评分的书籍,所以在前期要做好数据的清理.

给我评价数

我在刷Amazon的时候,发现有书竟然能到5.0的评分(竟然是满分!)细看一下只有4个评分.所以获得评价数量应当也是其中的一环(哪怕最终用不到这个数据)

Xpath为:"//a[@style='text-decoration:none']/span"

giveNumber = function(rootNode){
  number<-xpathSApply(rootNode,"//span[@class='crAvgStars']/a",xmlValue)
  number[c(T,F)] -> number.c
  sub(",","",number.c) ->number.c
  as.numeric(number.c)}giveNumber(rootNode)
##  [1]   79  466 2137  706  540  533  141 1734  528  184   63  406  256  380
## [15]  326  547  257  464  218  311

给我书名

刷出书名:

giveNames = function(rootNode){
  names <- xpathSApply(rootNode,"//div[@class='zg_title']/a",xmlValue)
  names[c(T,F)]}giveNames(rootNode)
##  [1] "斯坦福极简经济学"                                                                              
##  [2] "话语操纵术2:不可思议的催眠式说服技巧 (话语操纵术系列)"                                         
##  [3] "解忧杂货店"                                                                                    
##  [4] "最璀璨的银河——刘慈欣经典作品集"                                                              
##  [5] "春日便当"                                                                                      
##  [6] "你一定爱读的极简欧洲史(简约不简单的“最短”欧洲史,任志强、钱理群、钱文忠、公孙策联合推荐!)"
##  [7] "狼图腾 (九头鸟长篇小说文库)"                                                                   
##  [8] "乖,摸摸头"                                                                                    
##  [9] "浮生六记"                                                                                      
## [10] "张鸣说历史:重说中国国民性"                                                                    
## [11] "血腥的盛唐大全集(珍藏版)(套装全7册)"                                                           
## [12] "从0到1:开启商业与未来的秘密(图文精编版) (奇点系列)"                                          
## [13] "经典短篇小说101篇(英文原版) (西方经典英文读物) (English Edition)"                              
## [14] "白夜行"                                                                                        
## [15] "何以笙箫默"                                                                                    
## [16] "理想实习生"                                                                                    
## [17] "第一夜"                                                                                        
## [18] "从你的全世界路过"                                                                              
## [19] "人生的智慧 (叔本华系列)"                                                                       
## [20] "从零开始学炒股:新手入门、大智慧详解、买卖之道"

给我作者

再刷出作者:

giveAuthors = function(rootNode){
  authors <- xpathSApply(rootNode,"//div[@class='zg_byline']",xmlValue)
  authors[c(T,F)] -> authors
  sub("\n\n\n\n\n\n\n~ ","",authors)}giveAuthors(rootNode)
##  [1] "(美)泰勒 (作者), 林隆全 (译者)"                         
##  [2] "大卫•拜伦 (作者), 刘祥亚 (译者)"                         
##  [3] "东野圭吾 (作者), 李盈春 (译者)"                           
##  [4] "刘慈欣 (作者)"                                            
##  [5] "〔日〕吉井忍 (作者)"                                      
##  [6] "约翰•赫斯特 (作者), 席玉苹 (译者)"                       
##  [7] "姜戎 (作者)"                                              
##  [8] "大冰 (作者)"                                              
##  [9] "(清)沈复著;朱奇志 校译 (作者)"                        
## [10] "张鸣 (作者)"                                              
## [11] "王觉仁 (作者)"                                            
## [12] "彼得·蒂尔 (作者), 布莱克·马斯特斯 (作者), 高玉芳 (译者)"
## [13] "(美)欧•亨利等 (作者)"                                  
## [14] "东野圭吾 (Higashino Keigo) (作者), 刘姿君 (译者)"         
## [15] "顾漫 (作者)"                                              
## [16] "肖桐 (作者)"                                              
## [17] "M.) (法) 李维 (Levy (作者), 李月敏 (译者)"            
## [18] "张嘉佳 (作者)"                                            
## [19] "叔本华(Arthur Schopenhauer) (作者), 韦启昌 (译者)"        
## [20] "杨金 (作者)"

祭出主程序

我们之前刷出来了这几个函数:

  • givePrice
  • 求价格
  • giveRate
  • 求评价
  • giveNumber
  • 求评价数
  • giveNames
  • 求书名
  • giveAuthors
  • 求作者

组合到一起,合成获取某一个URL的主函数:

getAmazonBy1 = function(URL){
  Sys.sleep(runif(1,1,2))
  doc<-htmlParse(URL[1],encoding="UTF-8")
  rootNode<-xmlRoot(doc)
  data.frame(
  Price = givePrice(rootNode),  # 求价格
  Rate = giveRate(rootNode),  # 求评价
  Number = giveNumber(rootNode),  # 求评价数
  Name = giveNames(rootNode),  # 求书名
  Author = giveAuthors(rootNode)
  # 求作者
  )}

不过要注意的是,在win下刷出来的是UTF-8码,噗哈哈,我去用linux跑该脚本啦~

最后一步

多个网址,刷出各个排名并组合到一起:

URL = paste0("http://www.amazon.cn/gp/bestsellers/digital-text/116169071/ref=sa_menu_kindle_l3_116169071#",1:5)mainfunction = function(URL){
  data = rbind(
            getAmazonBy1(URL[1]),            getAmazonBy1(URL[2]),            getAmazonBy1(URL[3]),            getAmazonBy1(URL[4]),            getAmazonBy1(URL[5]))
  data = cbind(data,1:100) }mainfunction(URL)

保存好今天的数据,明天再来一次,就可以看看每天上升最快的本书了,然后呢,买来看啊….amazon数据是每小时更新的,我做此文的时候也刷了一次数据.

获取日上升最快的书籍

library(dplyr)
## 
## Attaching package: 'dplyr'
## 
## The following object is masked from 'package:stats':
## 
##     filter
## 
## The following objects are masked from 'package:base':
## 
##     intersect, setdiff, setequal, union
getImprove = function(t=0){today = read.csv(paste0(Sys.Date()-t,".csv"))yesterday = read.csv(paste0(Sys.Date()-1-t,".csv"))                 yesterday = select(yesterday,Name,yes = X1.100)final = left_join(today, yesterday, by = "Name") %>%
  mutate(.,yes = ifelse(is.na(yes),100,yes)) %>%
    mutate(.,improve = yes-X1.100) %>%
      arrange(.,desc(improve))head(final)}getImprove(t = 20)
##                                    Name  X Price Rate Number
## 1        世界上的另一个你 (最佳译文:53) 37  1.99  4.6      5
## 2                              哈默手稿 29  3.99  4.3    170
## 3                          说不尽的外交 51  6.99  4.5    114
## 4                   神似祖先 (视点文丛) 45  3.99  4.5     55
## 5                      孤独的人都要吃饱 49  2.99  4.2     17
## 6 潮汕味道 (潮汕文化丛书•岭南文化书系) 59  4.99  4.5     28
##                                                               Author
## 1 R.) , ( 美) 摩尔 (Moore,D.) ( 美) 霍尔 (Hall (作者), 李佳纯 (译者)
## 2       列奥纳多•达•芬奇 (Leonardo da Vinci) (作者), 李秦川 (译者)
## 3                                                      李肇星 (作者)
## 4                                                      郑也夫 (作者)
## 5                                                      张佳玮 (作者)
## 6                                                      张新民 (作者)
##   X1.100 yes improve
## 1     37 100      63
## 2     29  78      49
## 3     51 100      49
## 4     45  89      44
## 5     49  93      44
## 6     59 100      41

最后程序:

library(XML)givePrice = function(rootNode){
  price<-xpathSApply(rootNode,"//strong[@class='price']",xmlValue)
  price
  ## 收费付费混排,我只要付费的价格(循环补齐式选择)
  (price = price[c(T,F)])
  ## 喂,你给我认真处理下数据,把¥去掉,再转数字
  strsplit(price," ") -> price.c
  unlist(price.c)[c(F,T)] -> price.c
  as.numeric(price.c)[1:20] -> price
  price}giveRate = function(rootNode){
  rate<-xpathSApply(rootNode,"//a[@style='text-decoration:none']/span",xmlValue)
  rate[c(T,F,F,F)] -> rate
  strsplit(rate,"平均") -> rate.c
  unlist(rate.c)[c(F,T)] -> rate.c
  strsplit(rate.c," 星") -> rate.c
  unlist(rate.c) -> rate.c
  as.numeric(rate.c) -> rate
  rate}giveNumber = function(rootNode){
  number<-xpathSApply(rootNode,"//span[@class='crAvgStars']/a",xmlValue)
  number[c(T,F)] -> number.c
  sub(",","",number.c) ->number.c
  as.numeric(number.c)}giveNames = function(rootNode){
  names <- xpathSApply(rootNode,"//div[@class='zg_title']/a",xmlValue)
  names[c(T,F)]}giveAuthors = function(rootNode){
  authors <- xpathSApply(rootNode,"//div[@class='zg_byline']",xmlValue)
  authors[c(T,F)] -> authors
  sub("\n\n\n\n\n\n\n~ ","",authors)}getAmazonBy1 = function(URL){
  Sys.sleep(runif(1,1,2))
  doc<-htmlParse(URL[1],encoding="UTF-8")
  rootNode<-xmlRoot(doc)
  data.frame(
  Price = givePrice(rootNode),  # 求价格
  Rate = giveRate(rootNode),  # 求评价
  Number = giveNumber(rootNode),  # 求评价数
  Name = giveNames(rootNode),  # 求书名
  Author = giveAuthors(rootNode)
  # 求作者
  )}#################主程序部分############################3mainfunction = function(URL){
  data = rbind(
            getAmazonBy1(URL[1]),            getAmazonBy1(URL[2]),            getAmazonBy1(URL[3]),            getAmazonBy1(URL[4]),            getAmazonBy1(URL[5]))
  data = cbind(data,1:100) }################运行部分###############################3URL = paste0("http://www.amazon.cn/gp/bestsellers/digital-text/116169071/ref=zg_bs_116169071_pg_1?ie=UTF8&pg=",1:5)data = mainfunction(URL) write.csv(data, file = paste0(Sys.Date(),".csv"))

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2016-01-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

根本停不下来!给它一个轮廓,TensorFlow还你一只完整的喵 (附论文下载)

1224
来自专栏QQ会员技术团队的专栏

小明带你看WWDC 2017(day3实况)

作者介绍: 黄明,WWDC 2017大会的小时光茶社特派员 ,腾讯SNG增值产品部内容中心iOS组leader,主要负责手Q个性化业务、手Q WebView等项...

19010
来自专栏数据科学与人工智能

【应用】从业务数据分析到机器学习应用的一次经历

本文通过一次完整的项目经历,从业务数据的分析开始,到产品优化建议,再到通过机器学习进行进一步的处理进行了比较完成的提炼。 腾讯电脑管家作为一款目前最流行的pc端...

950
来自专栏程序你好

从业务数据分析到机器学习应用的一次经历

852
来自专栏量子位

从零开始学习神经网络 | 视频教程

允中 发自 凹非寺 量子位 出品 | 公众号 QbitAI 爱好人工智能的你,一定想理解和创建神经网络吧,对不对? 好吧,我默认你是这么想的。呐,我们发现了一个...

2787
来自专栏cloudskyme

使用R画地图数据

用R画地图数据 首先,从这里下载中国地图的GIS数据,这是一个压缩包,完全解压后包含三个文件(bou2_4p.dbf、bou2_4p.shp和bou2_4p.s...

3787
来自专栏iOSDevLog

ARKit示例 - 第3部分:添加几何和物理乐趣

在上一篇文章中,我们使用ARKit来检测现实世界中的水平平面,然后将这些平面可视化。在本文中,我们现在将开始为我们的AR体验添加虚拟内容,并开始与检测到的平面进...

181
来自专栏机器学习人工学weekly

机器学习人工学weekly-2018/6/10

1. MIT脑科学课程视频,虽然跟工程不太一样,但是cognitive science也是很重要

1036
来自专栏LanceToBigData

TCP/IP(二)物理层详解

前言   在前面说了一下,计算机网络的大概内容,没有去深刻的去了解它,这篇文章给大家分享一下物理层!   我们知道ISO模型是七层,TCP/IP模型是五层,而t...

2125
来自专栏AI研习社

用神经网络对页面登录进行多参数优化的小妙招

我很乐意分享我用神经网络对页面登录进行多参数优化的一些实验。我想到这个点子已经有半年了,而且我发现从自动操作这个角度来看它十分有趣。A/B 测试会消耗市场专家...

492

扫描关注云+社区