前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >基于Python实现的死链接自动化检测工具

基于Python实现的死链接自动化检测工具

作者头像
授客
发布2019-09-11 16:18:16
8420
发布2019-09-11 16:18:16
举报
文章被收录于专栏:授客的专栏授客的专栏

测试环境:

win7

python 3.3.2

chardet 2.3.0

脚本作用:

检测系统中访问异常(请求返回code值非200)的链接

使用方法:

1. 配置

编辑deadLinkDetection\conf\init.conf

配置项如下

protocol:协议,比如https, http

host:主机、域名,如192.168.1.3

port:端口号,比如 80, 8080, 443

username:配置登录用户名

password:配置登录密码

2.配置种子url

编辑conf/urlNoLogin.txt文件中填写不需要登录就可访问的种子url,格式如下,每行一条url路径

/ /doc/sadmin.html/ /doc/refman/5.7/en/statement-optimization.html /doc/homepage.html

在conf/urlNeedLogin.txt文件中填写需要登录才可访问的种子url,格式同上

3. 根据项目实际情况,修改main.py中login_system函数,实现登录系统

4. 运行程序

cmd 进入到deadLinkDetection目录,运行 python main.py

5. 查看运行结果

除了控制台打印的输出,默认的,还会在d:\\目录下,生成filepath_of_urls_visited.txt, d:/filepath_of_urls_in_trouble.txt文件,

分别存放成功访问过的url链接,和访问异常的链接,可在main.py中找到代码行“reptile = Reptile()”,显示指定要生成的文件,如下:

reptile = Reptile('d:/xxxxx_visited.txt', 'd:/xxxxx_in_trouble.txt)

使用限制:

登录系统函数无法通用,需要自己实现

源码下载地址:基于Python实现的死链接自动化检测工具.zip

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2017-06-18 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
检测工具
域名服务检测工具(Detection Tools)提供了全面的智能化域名诊断,包括Whois、DNS生效等特性检测,同时提供SSL证书相关特性检测,保障您的域名和网站健康。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档