专栏首页python3python爬取某站上海租房图片

python爬取某站上海租房图片

前言

  对于一个net开发这爬虫真真的以前没有写过。这段时间开始学习python爬虫,今天周末无聊写了一段代码爬取上海租房图片,其实很简短就是利用爬虫的第三方库Requests与BeautifulSoup。python 版本:python3.6 ,IDE :pycharm。其实就几行代码,但希望没有开发基础的人也能一下子看明白,所以大神请绕行。

第三方库

首先安装

  我是用的pycharm所以另为的脚本安装我这就不介绍了。

  如上图打开默认设置选择Project Interprecter,双击pip或者点击加号,搜索要安装的第三方库。其中如果建立的项目多记得Project Interprecter要选择正确的安装位置不然无法导入。

Requests库

requests库的官方定义:Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。其实他就是请求网络获取网页数据的。

结果如下:

其中Request Headers的参数如下:

BeautifulSoup库

BeautifulSoup可以轻松的解析Requests库请求的页面,并把页面源代码解析为Soup文档,一边过滤提取数据。这是bs4.2的文档

Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,如果我们不安装它,则 Python 会使用 Python默认的解析器,其中lxml 据说是相对而言比较强大的我下面的暗示是python 标准库的。

选择器select

BeautifulSoup库需要学习的知识点

案例:爬取上海租房图片

只是实现功能,至于代码结果如下:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 为什么使用Python

    ------------------------------------- python 因为通用(General-purpose) 所以什么能做。。。 问...

    py3study
  • python入门学习

    从IDLE打开python 输入指令 print("I love python")虽然说HelloWord是对编程语言的尊重 需要注意符号都要用英文的输入法来...

    py3study
  • 在linux环境下退出python命令模

    原创 2016年11月03日 10:36:30 如果在命令行终端已经进入到python命令模式,如下

    py3study
  • 10行Python代码的词云

    词云又叫文字云,是对文本数据中出现频率较高的“关键词”在视觉上的突出呈现,形成关键词的渲染形成类似云一样的彩色图片,从而一眼就可以领略文本数据的主要表达意思。

    半吊子全栈工匠
  • Python安装和使用

    点击 Customize installation进入一步(方便我们自定义安装路径)

    Python知识大全
  • 大规模隐私:介绍网络隐私政策的PrivaSeer语料库(cs.IR)

    各种组织通过在网站上推送隐私政策来展现他们的隐私政策保护举措。即使使用者经常很关心他们的电子隐私,他们也不愿意花费大量的时间与精力来读隐私政策。尽管自然语言处理...

    Donuts_choco
  • 纳尼?Genbank中超200万条序列受污染!蛋白污染主要来源于一只蜘蛛?

    Metagenomic sequencing allows researchers to investigate organisms sampled from ...

    生信宝典
  • Python学习入门到精通:字符串的概念

    字符串是python当中最常用的数据类型,我们用它来处理文字内容,下面的代码演示了3中创建字符串的方法

    python学习教程
  • 巨头们关注的实时Web:发展与相关技术

    我们生活在一个实时(real-time)的世界中,因此Web的最终最自然的状态也应当是实时的。用户需要实时的沟通、数据和搜索。我们对互联网信息实时性的要求也越来...

    前朝楚水
  • 使用python时注意的内存、缓存问题

    1. 在使用python时,常常会出现Memory Error,主要是由于python不会自动回收内存,造成内存一直占用,可以采取手动释放内存的方法,详见htt...

    py3study

扫码关注云+社区

领取腾讯云代金券