专栏首页授客的专栏基于Python实现的死链接自动化检测工具

基于Python实现的死链接自动化检测工具

测试环境:

win7

python 3.3.2

chardet 2.3.0

脚本作用:

检测系统中访问异常(请求返回code值非200)的链接

使用方法:

1. 配置

编辑deadLinkDetection\conf\init.conf

配置项如下

protocol:协议,比如https, http

host:主机、域名,如192.168.1.3

port:端口号,比如 80, 8080, 443

username:配置登录用户名

password:配置登录密码

2.配置种子url

编辑conf/urlNoLogin.txt文件中填写不需要登录就可访问的种子url,格式如下,每行一条url路径

/ /doc/sadmin.html/ /doc/refman/5.7/en/statement-optimization.html /doc/homepage.html

在conf/urlNeedLogin.txt文件中填写需要登录才可访问的种子url,格式同上

3. 根据项目实际情况,修改main.py中login_system函数,实现登录系统

4. 运行程序

cmd 进入到deadLinkDetection目录,运行 python main.py

5. 查看运行结果

除了控制台打印的输出,默认的,还会在d:\\目录下,生成filepath_of_urls_visited.txt, d:/filepath_of_urls_in_trouble.txt文件,

分别存放成功访问过的url链接,和访问异常的链接,可在main.py中找到代码行“reptile = Reptile()”,显示指定要生成的文件,如下:

reptile = Reptile('d:/xxxxx_visited.txt', 'd:/xxxxx_in_trouble.txt)

使用限制:

登录系统函数无法通用,需要自己实现

源码下载地址:基于Python实现的死链接自动化检测工具.zip

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Oracle 参数文件及相关操作介绍

    服务器参数文件是一个二进制文件,作为初始化参数的存储仓库。实例运行时,可用ALTER SYSTEM来改变参数值,且任何对初始化参数的改变设置不会随实例的关闭、...

    授客
  • Python基于Python实现批量上传文件或目录到不同的Linux服务器

    批量上传文件、目录(包括该目录下的所有文件,子目录及其文件)到不同的Linux服务器

    授客
  • 网络基础 HTTP协议之缓存简介

    IE为例,Tools->Internet options -> View files,如图

    授客
  • 我写项目的思路和“自然架构”

    我写项目的思路     三层的思路是要把页面(UI、数据显示)、业务逻辑、数据处理(也叫持久化)分离开来处理,思路自然是好的,但是一到了实际应用中,好多人...

    用户1174620
  • .NET(C#、VB)APP开发——Smobiler平台控件介绍:SignatureButton控件

    设置一个值,该值指示在GobileView中,当Visible指定的属性值为空时,当前单元格是否显示控件,并调整GridView中单元格的大小。默认属性设置为“...

    Amanda.li
  • 用VS2017进行移动开发(C#、VB.NET)——OfflineCameraButton控件,Smobiler移动开发

    若将该属性设置为“0”,该控件的背景色即为全透明的,显示为Smobiler窗体设计界面的背景色。

    Amanda.li
  • Windows 8.1 应用再出发 - 几种常用控件

    本篇为大家简单介绍Windows 商店应用中控件的用法,为方便讲解,我们在文本控件和按钮控件这两类中分别挑选有代表性的控件进行详细说明。 1. 文本控件 (1)...

    Shao Meng
  • VSTO部署中的坑

    在【Internet 属性】里(可运行inetcpl.cpl打开),把服务器内网IP加进【受信任站点】就好,不用管excel信任中心。

    AhDung
  • Linux下利用SUID提权

    今天给大家带来的是linux下的提权技巧。SUID是Linux的一种权限机制,具有这种权限的文件会在其执行时,使调用者暂时获得该文件拥有者的权限。如果拥有SUI...

    徐焱
  • Qt编写自定义控件52-颜色下拉框

    这个控件写了很久了,元老级别的控件之一,开发之初主要是自己的好几个项目要用到,比如提供一个颜色下拉框设置对应的曲线或者时间颜色,视频监控项目中经常用到的OSD标...

    feiyangqingyun

扫码关注云+社区

领取腾讯云代金券