专栏首页嘘、小点声python网络爬虫(12)去哪网酒店信息爬取

python网络爬虫(12)去哪网酒店信息爬取

目的意义

爬取某地的酒店价格信息,示例使用selenium在Firefox中的使用。

来源

少部分来源于书。python爬虫开发与项目实战

构造

本次使用简易的方案,模拟浏览器访问,然后输入字段,查找,然后抓取网页中的信息。存储csv中。然后再转换为Excel,并对其中的数据进行二次处理。

代码

整个过程相当于获取网页,下载,然后粗糙的存储过程,最终完成。

不能理解的是,这样是使用了Phantomjs么。

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
import re
import csv
import time


class goWhere():
    def __init__(self):
        self.toCity=u'焦作'
        self.driver=webdriver.Firefox()
        self.driver.get("https://hotel.qunar.com/")
        self.get_element()
        for i in range(30):
            self.get_response()
            self.parser_store()
            self.get_next_page()
        
    
    def get_element(self):
        self.elem_toCity=self.driver.find_element_by_name(u"toCity")
        self.elem_fromDate=self.driver.find_element_by_name(u"fromDate")
        self.elem_toDate=self.driver.find_element_by_name(u"toDate")
        self.elem_search=self.driver.find_element_by_class_name('search-btn')
        self.elem_toCity.clear()
        self.elem_toCity.send_keys(self.toCity)
        self.elem_search.click()
        
    def get_response(self):
        for i in range(5):
            try:
                WebDriverWait(self.driver,30).until(EC.presence_of_element_located((
                    By.CLASS_NAME,"item_price")))
                break
            except Exception as e:
                self.driver.refresh()
                print(e)
                if(i==10):
                    self.driver.close()
                    exit()
        js="window.scrollTo(0,document.body.scrollHeight);"
        self.driver.execute_script(js)
        time.sleep(5)
        self.all=self.driver.find_elements_by_class_name("b_result_bd")
        if(len(self.all)<16 or self.all[0].text==''):
            self.driver.refresh()
            self.get_response()

    def parser_store(self):
        pattern=re.compile('(.*\s?)')
        for each in self.all:
            each_text=re.findall(pattern, each.text)
            print(each_text)
            with open('text.csv','a',encoding='gb18030',newline='') as f:
                f_csv=csv.writer(f,)
                if len(each_text)==8:
                    each_text.pop(5)
                if len(each_text)==6:
                    each_text.insert(2,'None')
                f_csv.writerow(each_text)
        print('finished')
    
    def get_next_page(self):
        self.nextBtn=self.driver.find_element_by_class_name('next')
        self.nextBtn.click()

                
if __name__=='__main__':
    goWhere()
    print('task finish')

效果举例

二次处理的过程包括处理价格中的??,处理查看地图,处理礼品卡等字段,然后去掉起字,设定价格单元格为人民币格式。

后续

在实际操作过程中,有时网页不容易加载完成,有时加载正常。本次爬取的界面为26个左右共计780余数据。并没有完成数据爬取过程。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • PyQt5信号、定时器及多线程

    信号是用于界面自动变化的一个工具,原理是信号绑定了一个函数,当信号被触发时函数即被调用

    嘘、小点声
  • python网络爬虫(13)博客园用户信息爬取

    需要cookies绕过登录,使用selenium在Firefox下模拟。需要安装geck...?插件,另外,数据存储在sqlite,需要安装。

    嘘、小点声
  • python网络爬虫(11)近期电影票房或热度信息爬取

    思路,原始代码来源于:https://book.douban.com/subject/27061630/。

    嘘、小点声
  • 用Python实现一个简易的WebSoc

    py3study
  • iOS下WebRTC音视频通话(三)-音视频通话过程的分析补充

    前两篇文章记录了音视频通话的一些概念和一些流程,以及一个局域网内音视频通话的示例。 今天以一个伪真实网络间的音视频通话示例,来分析WebRTC音视频通话的过程...

    Haley_Wong
  • Python——如何优雅的爬取公众号信息

    最近两个周业余时间在赶的一个项目,因为精力有限所以进展缓慢,索性就先把接近完善的这部分代码,先分享出来吧。

    Ed_Frey
  • 关于python类的组合

    关于python类的组合,绞尽脑汁之后,写了一个生活中的简单例子,有需要的童鞋可以理解下,水平有限,不对的地方望指正

    py3study
  • 数据结构学习-python实现-平衡二叉查找树--0416

    AVL树,在Key插入时始终保持平衡的二叉查找树,并不是完全平衡,而是平衡因子在(-1,0,1)均称为平衡树。

    到不了的都叫做远方
  • python pyqt5 获得城市天气

    from PyQt5 import QtCore, QtGui, QtWidgets

    用户5760343
  • jenkins python 接口封装

                    self.server = Jenkins(self.url)

    py3study

扫码关注云+社区

领取腾讯云代金券