网络爬虫的第一步就是根据URL,获取网页的HTML信息。在Python3中,可以使用urllib.request和requests进行网页爬取。 (1)准备所需库
我们需要准备一款名为BeautifulSoup(网页解析)的开源库,用于对下载的网页进行解析,我们是用的是PyCharm编译环境所以可以直接下载该开源库。
第三方库安装步骤如下: 选择File->Settings
打开Project:PythonProject下的Project interpreter
点击加号添加新的库
输入bs4选择bs4点击Install Packge进行下载
小知识:requests库的github地址:https://github.com/requests/requests 步骤如下: 在cmd中,使用如下指令安装requests: pip install requests 或者: easy_install requests
requests常用方法
官方中文教程地址: http://docs.python-requests.org/zh_CN/latest/user/quickstart.html
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/174802.html原文链接:https://javaforall.cn