python爬取链家租房之获取北京所有区的网站分栏地址(第一次写,code太粗犷,欢迎提建议)

__author__ = 'Lee'
import requests
from bs4 import BeautifulSoup


url_list = 'https://bj.lianjia.com/zufang/'
url_list1 = 'https://bj.lianjia.com'
area_list = []
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
        'Cookie':'zufang_huodong_show=1; lianjia_uuid=5382c1b6-d6ca-47d1-9d94-fa1dbc834a92; UM_distinctid=15c81d9262f1f-006143a03563a5-5393662-144000-15c81d92631225; select_city=110000; _jzqy=1.1496827112.1497081788.1.jzqsr=baidu.-; _jzqckmp=1; all-lj=1e9f8fe64a0d8d4cd8642eafcff9cfff; _jzqx=1.1497156954.1497156954.1.jzqsr=captcha%2Elianjia%2Ecom|jzqct=/.-; CNZZDATA1253477573=511845211-1496852558-https%253A%252F%252Fwww.lianjia.com%252F%7C1497181716; _smt_uid=5937c502.2a3ce711; CNZZDATA1254525948=2045919104-1496852507-https%253A%252F%252Fwww.lianjia.com%252F%7C1497182934; CNZZDATA1255633284=200718649-1496852692-https%253A%252F%252Fwww.lianjia.com%252F%7C1497180541; CNZZDATA1255604082=1396707825-1496855343-https%253A%252F%252Fwww.lianjia.com%252F%7C1497185090; _qzja=1.1476077399.1496827137642.1497140960523.1497156953782.1497156953782.1497156965945.0.0.0.21.4; _qzjb=1.1497156953781.2.0.0.0; _qzjc=1; _qzjto=5.2.0; _jzqa=1.3587254022940067300.1496827112.1497140960.1497156954.4; _jzqc=1; _jzqb=1.2.10.1497156954.1; _ga=GA1.2.118746223.1496827120; _gid=GA1.2.968075510.1497081790; lianjia_ssid=253b9cec-863e-41d4-a745-090d3a031bd7'
}
proxies = {"http": "http://119.57.105.241:8080"}
wb_data = requests.get(url_list)
soup = BeautifulSoup(wb_data.text,'lxml')
area = soup.select('#filter-options > dl > dd > div > a ' )
area_len = len(area)

for i in area:
    # area_list.append(area[i].get('href'))
    area_list.append(i.get('href'))
    #print(i.get('href'))
area_list1 = area_list[1:18]
print(area_list1)
area_list2 = area_list[18:20]
area_item1 = str(area_list2).split('m')[1].split("'")[0]
area_item2 = str(area_list2).split('m')[2].split("'")[0]
area_list2 = list(area_list1)
area_list2.append(area_item1)
area_list2.append(area_item2)

print(area_list2)

for i in area_list2:
    print(url_list1+i)

'''
https://bj.lianjia.com/zufang/dongcheng/
https://bj.lianjia.com/zufang/xicheng/
https://bj.lianjia.com/zufang/chaoyang/
https://bj.lianjia.com/zufang/haidian/
https://bj.lianjia.com/zufang/fengtai/
https://bj.lianjia.com/zufang/shijingshan/
https://bj.lianjia.com/zufang/tongzhou/
https://bj.lianjia.com/zufang/changping/
https://bj.lianjia.com/zufang/daxing/
https://bj.lianjia.com/zufang/yizhuangkaifaqu/
https://bj.lianjia.com/zufang/shunyi/
https://bj.lianjia.com/zufang/fangshan/
https://bj.lianjia.com/zufang/mentougou/
https://bj.lianjia.com/zufang/pinggu/
https://bj.lianjia.com/zufang/huairou/
https://bj.lianjia.com/zufang/miyun/
https://bj.lianjia.com/zufang/yanqing/
https://bj.lianjia.com/zufang/yanjiao/
https://bj.lianjia.com/zufang/xianghe/
'''

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏阮一峰的网络日志

制作CSS气泡框

这种方法的优点是所有浏览器都支持,缺点是比较麻烦,必须制作专门的图片,增加多余的标签,代码的灵活性较小。

7172
来自专栏HT

HT for Web 中Painter的介绍及用法

鉴于许多同学对Painter不熟悉,所以撰写此文介绍下。Painter的中文意思是画家、漆工,那放到HT里是什么意思呢?很简单,这是HT特有的一种接口,允许开发...

1916
来自专栏有趣的django

微信小程序实战–集阅读与电影于一体的小程序项目(七)

2072
来自专栏非著名程序员

基础篇章:React Native 之 View 和 Text 的讲解

(友情提示:RN学习,从最基础的开始,大家不要嫌弃太基础,会的同学请自行略过,希望不要耽误已经会的同学的宝贵时间) 从今天开始我们进入基础组件也就是一些简单控件...

3055
来自专栏腾讯IVWEB团队的专栏

在 retina 屏中实现1 px border 效果

本文通过街景 wap 官网中有在视网膜屏幕中实现 1px border 需求的实践介绍了几种在 retina 屏中实现 1px borde r效果的方法,希望对...

3370
来自专栏青玉伏案

iOS开发之画图板(贝塞尔曲线)

  贝塞尔曲线,听着挺牛气一词,不过下面我们在做画图板的时候就用到贝塞尔绘直线,没用到绘制曲线的功能。如果会点PS的小伙伴会对贝塞尔曲线有更直观的理解。这篇博文...

26810
来自专栏技术总结

学会不一样的Loading图

上述效果,其实很多app就单纯这样使用了,但是我们为了更美化,决定为其增加动态效果

1294
来自专栏ios 技术积累

ios view 圆角

1095
来自专栏BY的专栏

iOS开发技巧:快速实现 圆角+描边

3343
来自专栏向治洪

React Native之ListView实现九宫格效果

概述 在安卓原生开发中,ListView是很常用的一个列表控件,那么React Native(RN)如何实现该功能呢?我们来看一下ListView的源码 ? L...

3595

扫码关注云+社区

领取腾讯云代金券