爬虫

你也许没学过python这门语言,也不懂python这门语言在爬取内容网站有多么的强悍!

懂不懂这些似乎并没有那么重要!

重要的是你看完这篇文章,你就会懂得简单的网页爬取技术!

今天在这里我就手把手教会一个小白是如何去用python爬取网页内容!

第一步,新建项目名为Sign

第二步,在项目Sign>.idea文件夹下添加sign.py文件

第三步,先把爬取网页内容需要用到的模块先添加进来,这些模块分别有什么作用,在这里先不做解释,等用到的时候会在下文解释有何作用

这些我们都准备好了,接下来我们就去寻找一个目标,我寻找到的是一个签名设计的网址,http://www.jiqie.com/a/14.htm,首先打开这个网址如下图所示:注意(我用的是火狐浏览器)

我输入“目标”两个字>按“F12”>然后点击“给我设计”,就会发现以下我们感兴趣的内容

发现点击“给我设计”的时候会向该网址:http://www.jiqie.com/a/re14.php 发送POST请求,到这里了我们看看发送POST请求时会像该网址发送什么参数呢?

参数找到了。

接下来我们就该用代码模拟浏览器发送POST请求获取我们感兴趣的东西了,那我们就回到写代码的步骤了,

首先写代码模拟浏览器发送POST请求,得要确定两个目标,第一个是发送POST请求的网址,第二发送

POST请求时是要用到的参数,

这里的网址是 :http://www.jiqie.com/a/re14.php

参数是:

'wb'

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180608G1SQ0E00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

同媒体快讯

扫码关注云+社区

领取腾讯云代金券