前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python简单爬虫

Python简单爬虫

作者头像
py3study
发布2020-01-03 11:27:05
5590
发布2020-01-03 11:27:05
举报
文章被收录于专栏:python3

爬取链家二手房源信息

代码语言:javascript
复制
import requests
import re
from bs4 import BeautifulSoup
import csv

url = ['https://cq.lianjia.com/ershoufang/']
for i in range(2,101):
    url.append('https://cq.lianjia.com/ershoufang/pg%s/'%(str(i)))

 # 模拟谷歌浏览器
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}

for u in url:
    r = requests.get(u,headers=headers)
    soup = BeautifulSoup(r.text,'lxml').find_all('li', class_='clear LOGCLICKDATA')
    for i in  soup:
        ns = i.select('div[class="positionInfo"]')[0].get_text() 
        region = ns.split('-')[1].replace(' ','').encode('gbk')
        rem = ns.split('-')[0].replace(' ','').encode('gbk')
        ns =  i.select('div[class="houseInfo"]')[0].get_text()
        xiaoqu_name = ns.split('|')[0].replace(' ','').encode('gbk')
        huxing = ns.split('|')[1].replace(' ','').encode('gbk')
        pingfang = ns.split('|')[2].replace(' ','').encode('gbk')
        chaoxiang = ns.split('|')[3].replace(' ','').encode('gbk')
        zhuangxiu =  ns.split('|')[4].replace(' ','').encode('gbk')
        danjia =  re.findall("\d+",i.select('div[class="unitPrice"]')[0].string)[0]
        zongjia = i.select('div[class="totalPrice"]')[0].get_text().encode('gbk')
        out=open("/data/data.csv",'a')
        csv_write=csv.writer(out)
        data = [region,xiaoqu_name,rem,huxing,pingfang,chaoxiang,zhuangxiu,danjia,zongjia]
        csv_write.writerow(data)
        out.close()

数据结果

image.png
image.png
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019/09/23 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档