本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。
穷游网提供原创实用的出境游旅行指南、攻略,旅行社区和问答交流平台,以及智能的旅行规划解决方案同时提供签证、保险、机票、酒店预订、租车等在线增值服务。
穷游“鼓励和帮助中国旅行者以自己的视角和方式体验世界”。 今天教大家获取穷游网的城市信息,使用Python将数据写入csv文档。
导入需要用到的工具
import requests
import parsel
import csv
请求网页
url = 'https://place.qyer.com/china/citylist-0-0-{}/'.format(str(page))
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}
response = requests.get(url=url, headers=headers)
html_data = response.text
解析网页,爬取数据
for li in lis:
travel_place = li.xpath('.//h3/a/text()').get() # 目的地
travel_people = li.xpath('.//p[@class="beento"]/text()').get() # 去过的人数
travel_hot = li.xpath('.//p[@class="pois"]/a/text()').getall() # 热门景点
travel_hot = [hot.strip() for hot in travel_hot]
travel_hot = '、'.join(travel_hot)
travel_url = li.xpath('.//h3/a/@href').get() # 目的地详情页url
travel_imgUrl = li.xpath('./p/a/img/@src').get() # 目的地详情页url
print(travel_place, travel_people, travel_hot
保存数据
with open('data.csv', mode='a', encoding='utf-8', newline='') as f:
csv_write = csv.writer(f)
csv_write.writerow([travel_place, travel_people, travel_hot, travel_url, travel_imgUrl])
# 想要完整源码的请管制我微信公众号:松鼠爱吃饼干
# 发送信息“穷游”,即可免费获取
运行代码,效果如下图