运行平台:Windows Python版本:Python3.x
IDLE (Python 3.4 GUI - 32 bit)
网络爬虫,也叫网络蜘蛛(Web Spider),如果把互联网比喻成一个蜘蛛网,Spider就是一只在网上爬来爬去的蜘蛛。网络爬虫就是根据网页的地址来寻找网页的,也就是URL。
URL的构成如下
protocol :// hostname[:port] / path / [;parameters][?query]#fragment
简单的爬虫实例
首先要安装一下,request库连接如下
https://github.com/requests/requests
安装教程
打开cmd进入pip目录,输个命令就直接下载了
输入命令直接下载
pip install requests
写个例子
# -*- coding:UTF-8 -*-import requestsif __name__ == "__main__": target = "http://www.baidu.com" reqs = requests.get(url = target) print(reqs.text)
运行后