首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >用python3爬虫的一些准备工作

用python3爬虫的一些准备工作

作者头像
py3study
发布2020-01-06 18:23:45
发布2020-01-06 18:23:45
39300
代码可运行
举报
文章被收录于专栏:python3python3
运行总次数:0
代码可运行

识别网站所用技术

python3.6 安装builtwith模块

代码语言:javascript
代码运行次数:0
运行
复制
    import builtwith

    builtwith.parse('https://ggstudy.herokuapp.com/')

寻找网站所有者

代码语言:javascript
代码运行次数:0
运行
复制
pip install python-whois
代码语言:javascript
代码运行次数:0
运行
复制
import whois

whois.whois('https://ggstudy.herokuapp.com')

----------

下载网页

代码语言:javascript
代码运行次数:0
运行
复制
import urllib.request

urllib.request.urlopen(url).read().decode('utf-8')

查询域名是否被注册

代码语言:javascript
代码运行次数:0
运行
复制
import urllib.request

req= urllib.request.urlopen('http://panda.www.net.cn/cgi-bin/check.cgi?area_domain=ggstudy.herokuapp.com')

print(req.read().decode('utf-8'))

网页解析

python2为 urlparse

代码语言:javascript
代码运行次数:0
运行
复制
import urllib.parse
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019/10/20 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 识别网站所用技术
  • 寻找网站所有者
  • 下载网页
  • 查询域名是否被注册
  • 网页解析
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档