首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >十一假期快到了,不知道该去哪玩?爬取旅游攻略

十一假期快到了,不知道该去哪玩?爬取旅游攻略

作者头像
松鼠爱吃饼干
发布2020-10-09 14:33:51
3160
发布2020-10-09 14:33:51
举报
文章被收录于专栏:Python分享Python分享

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

穷游网提供原创实用的出境游旅行指南、攻略,旅行社区和问答交流平台,以及智能的旅行规划解决方案同时提供签证、保险、机票、酒店预订、租车等在线增值服务。

穷游“鼓励和帮助中国旅行者以自己的视角和方式体验世界”。 今天教大家获取穷游网的城市信息,使用Python将数据写入csv文档。

前基本环境配置

  • python 3.6
  • pycharm
  • requests
  • parsel
  • csv

爬虫代码

导入需要用到的工具

import requests
import parsel
import csv

请求网页

    url = 'https://place.qyer.com/china/citylist-0-0-{}/'.format(str(page))
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}

    response = requests.get(url=url, headers=headers)
    html_data = response.text

解析网页,爬取数据

    for li in lis:
        travel_place = li.xpath('.//h3/a/text()').get()  # 目的地
        travel_people = li.xpath('.//p[@class="beento"]/text()').get()  # 去过的人数

        travel_hot = li.xpath('.//p[@class="pois"]/a/text()').getall()  # 热门景点
        travel_hot = [hot.strip() for hot in travel_hot]
        travel_hot = '、'.join(travel_hot)

        travel_url = li.xpath('.//h3/a/@href').get()  # 目的地详情页url
        travel_imgUrl = li.xpath('./p/a/img/@src').get()  # 目的地详情页url
        print(travel_place, travel_people, travel_hot

保存数据

        with open('data.csv', mode='a', encoding='utf-8', newline='') as f:
            csv_write = csv.writer(f)
            csv_write.writerow([travel_place, travel_people, travel_hot, travel_url, travel_imgUrl])
        # 想要完整源码的请管制我微信公众号:松鼠爱吃饼干
        # 发送信息“穷游”,即可免费获取

运行代码,效果如下图

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-09-29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 松鼠爱吃饼干 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 前言
  • 前基本环境配置
  • 爬虫代码
相关产品与服务
文件存储
文件存储(Cloud File Storage,CFS)为您提供安全可靠、可扩展的共享文件存储服务。文件存储可与腾讯云服务器、容器服务、批量计算等服务搭配使用,为多个计算节点提供容量和性能可弹性扩展的高性能共享存储。腾讯云文件存储的管理界面简单、易使用,可实现对现有应用的无缝集成;按实际用量付费,为您节约成本,简化 IT 运维工作。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档