python爬取链家租房之获得每一页的房屋信息地址(持续更新)

__author__ = 'Lee'
import requests
from bs4 import BeautifulSoup

url_text = 'https://bj.lianjia.com/zufang/xicheng/'

area_list = []
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
}
proxies = {"http": "http://119.57.105.241:8080"}
wb_data = requests.get(url_text,headers=headers)
soup = BeautifulSoup(wb_data.text,'lxml')
# 面包屑模块
# 面包屑 breadcrumbs
bread_crumbs =soup.select('#house-lst > li')
item_url = soup.select('#house-lst > li > div > h2 > a')
for url in item_url:

    url1 = url.get('href')
    print(url1)
'''
上边的code中,get方法不能直接使用 因为数据类型不支持,
特别注意的是item_url,url两个变量数据类型不同,分别是list,bs4.element.Tag
只有url支持get方法
'''

'''
#house-lst > li:nth-child(1) > div.info-panel > h2 > a
'''

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张善友的专栏

按照Web Service方式调用WCF服务的问题

WCF按照basicHttpBinding方式发布,.net按照Web Service方式调用,自动生成的Proxy中枚举类型和Nullable类型的参数,在P...

2077
来自专栏GIS讲堂

Dojo仪表盘

932
来自专栏iOS开发笔记

cordova插件- Contacts

添加插件 $cordova plugin add cordova-plugin-contacts 图 8出现如上则添加成功 插件的使用 Methods navi...

3595
来自专栏Java Web

初学Java Web(9)——学生管理系统(简易版)总结

项目开始时间:2018年4月8日14:37:47 项目完成时间:2018年4月9日10:03:30 技术准备 这个项目是自己用于巩固 J2EE 相关知识的练...

6395
来自专栏王二麻子IT技术交流园地

《项目架构那点儿事》——工具类,你喜欢你就拿去

【前言】众所周知,各式各样的Util类为我们提供了便利,也同时减少了我们对底层硬编码的时间,包括对字符串的操作,文件操作,反射的操作,泛型的操作,以及熟知 的分...

2048
来自专栏web开发

java导出Excel表格

最近自己着手写了一个前后端分离的后台管理系统(主要是写着玩,java还是熟悉一点,所以前后端均是自己写),后端使用的Java SpringMVC。后来想着在用户...

45910
来自专栏函数式编程语言及工具

Akka(9): 分布式运算:Remoting-远程构建式

   上篇我们讨论了Akka-Remoting。我们说Akka-Remoting是一种点对点的通讯方式,能使两个不同JVM上Akka-ActorSystem上的...

2329
来自专栏ios 技术积累

在一个app中间有一个button,在你手触摸屏幕点击后,到这个button收到点击事件,中间发生了什么

hitTest:withEvent是如何找到对应的View? 1.首先调用当前视图的pointInside:withEvent:方法判断触摸点是否在当前视图内...

3151
来自专栏黑泽君的专栏

day39_Spring学习笔记_07_CRM_03

  /day36_06_Spring_crm/WebRoot/WEB-INF/pages/coursetype/listCourse.jsp

872
来自专栏微信公众号:Java团长

SSM框架——实现分页和搜索分页

分页是Java Web项目常用的功能,昨天在Spring MVC中实现了简单的分页操作和搜索分页,在此记录一下。使用的框架为(MyBatis+SpringMVC...

2494

扫码关注云+社区

领取腾讯云代金券