专栏首页weixuqin 的专栏利用 pyspider 框架抓取猫途鹰酒店信息

利用 pyspider 框架抓取猫途鹰酒店信息

  利用框架 pyspider 能实现快速抓取网页信息,而且代码简洁,抓取速度也不错。

  环境:macOS;Python 版本:Python3。

  1.首先,安装 pyspider 框架,使用pip3一键安装:

pip3 pyspider

2.终端输入 pyspider all 启动 pyspider:

打开 Chrome,地址栏输入 localhost:5000 进入 pyspider 框架的webui界面。

点击 create ,创建 一个新的project。

3.创建完 project 后,我们便进入了代码调试界面。

这次我们要抓取的信息是猫途鹰网关于布拉格的酒店信息,把网址填入 on_star 一栏并替换掉 on_star , 点击 save 保存,点击左上角 run 选项,然后点击出现的网址右侧的箭头的选项:

便出现 index_page 的页面,我们点击 web 选项卡,出现网页内容后点击 enable css selector helper  ,选中酒店标题的超链接,这时上方便出现该标题的 CSS 选择器,把选择器内容复制粘贴替换掉右侧代码中的 a[href^="http"] ,save 后再次点击 run,但是 pyspider 的选择器并不一定准确,需要自己随时更改。这时我们便得到了我们想要的酒店标题超链接。

4.点击其中一个网页的右边的小箭头,进入详情页界面,我们要获取的信息便是详情页中的内容。类似的用 CSS 选择器获取酒店的信息,写入代码如下:

 def detail_page(self, response):
        url = response.url
        name = response.doc('.heading_title').text()
        rating = response.doc('.header_rating .taLnk').text()
        ranking = response.doc('.prw_common_header_pop_index > span').text()
        location = response.doc('.colCnt3').text()
        phone = response.doc('.blEntry.phone > span:nth-child(2)').text()
        grade = response.doc('.overallRating').text()
        return {
            "url": url,
            "name": name,
            "rating": rating,
            "ranking": ranking,
            "location": location,
            "phone": phone,
            "grade": grade
       
        }

便返回酒店链接,名称,点评,排名,地址,电话,评分这七个信息,保存后点击 run,我们便能看到打印的信息。

5.存储信息到 MongoDB:

import pymongo

client = pymongo.MongoClient('localhost')
db = client['trip']

def on_result(self, result):
    if result:
        self.save_to_mongo(result)

def save_to_mongo(self, result):
    if self.db['布拉格'].insert(result):
        print('存储到 MongoDB 成功', result)

6.模拟翻页抓取多页面:

在 index_page(self, response) 函数中插入:

next = response.doc('.pagination .nav.next').attr.href
self.crawl(next, callback=self.index_page)

7.到这时,我们代码便写完了,退出 project ,在控制面板中 status 栏更改方式为 DEBUG ,点击 run,运行代码,Active Tasks 可以查看当前任务。

8.存储到MongoDB 的信息。

到现在,我们便完成了对猫途鹰网上布拉格酒店信息的爬取。

参考文档:http://docs.pyspider.org

代码 github 地址:https://github.com/weixuqin/PythonProjects/blob/master/pyspider/spider.py

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Scrapy选择器的用法

    希希里之海
  • 利用 Scrapy 爬取知乎用户信息

    希希里之海
  • Thread 和 Runnable

    Java 主要是通过 java.lang.Thread 类以及 java.lang.Runnable 接口实现线程机制的。

    希希里之海
  • 用面部识别为鱼类建立医疗记录,追踪鱼类健康状况

    在科技发展飞速的今天,甚至连鱼也无法摆脱面部识别相机。数以百万计的大西洋鲑鱼可以将面孔储存在数字数据库中,以追踪他们的健康状况,并挑选哪些对海洋环境构成威胁。

    AiTechYun
  • 【蓝桥杯】BASIC-9 特殊回文数

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

    喜欢ctrl的cxk
  • go笔记:go语言中使用协程异步并行

    超级大猪
  • 从面试官的角度剖析该如何写好一份简历 | BAT大佬的建议

    大多数人为了求职辛辛苦苦准备了很久,而简历是你的敲门砖,一份高质量的简历才会给你一个和企业进一步交流的机会。你都努力了这么久了,再坚持一下也许就能拿到心仪的of...

    AI算法与图像处理
  • 在Kettle里使用参照表进行数据校验(子转换实现)

    有一种参照表叫数据确认主表。性别编码就是这种参照表的例子。有的系统使用字母M、F和U,分别代表男、女、未知;有的系统使用NULL来代表未知的性别;有的系统...

    用户1148526
  • 升级linux bash

    bash环境变量存在任意代码执行漏洞:“通过CGI请求方式可以导致远程代码执行,进而导致服务器被入侵,危害严重,且官方公布补丁也被绕过”, 【漏洞影响】: 1)...

    joshua317
  • 2019招商银行西安分行暑期实习生产品助理面经

    关注招商银行招聘微信公众号,线上选择岗位投递简历。时间在5月初,只需要关注公众号就好啦!

    牛客网

扫码关注云+社区

领取腾讯云代金券