前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >java 死链检测_网站死链检测工具/网站地图生成工具「建议收藏」

java 死链检测_网站死链检测工具/网站地图生成工具「建议收藏」

作者头像
全栈程序员站长
发布2022-09-15 10:24:17
9170
发布2022-09-15 10:24:17
举报
文章被收录于专栏:全栈程序员必看

大家好,又见面了,我是你们的朋友全栈君。

转载自 http://www.yshjava.cn/post/483.html

今天在谷歌站长工具上看到谷歌爬虫在笔者的个人博客网站上找到了3个无效的404链接,稍微有一点SEO常识的人都知道,404是搜索引擎爬虫非常讨厌的页面,会直接降低网站在搜索引擎中的权重和排名,这是广大站长都不愿意看到的事情。如果自己手动的去寻找这些404页面,或许很难:404存在于哪些页面中?出现一次还是多次?偶然还是必然?所以,为了让它这件事变得高效和容易,我们得使用工具!

网络上死链检测的工具多如牛毛,其中不乏非常经典、好用的,但是这些工具多大有一个特点,就是都是web(网页)版的,而且只支持单页面死链检测,不支持全站检测,也不支持图片检测,鉴于此,干脆自己抽了点时间,根据自己的需要做了一个。

工具界面做的比较粗糙,因为是自己用,也没有去细细美化,截图如下:

简单说一下它的使用:

在主窗口的起始地址栏中输入起始页面的链接地址(一般是网站首页),然后点击后面的“开始扫描”按钮,弹出“扫描配置”对话框,在对话框中对扫描进行配置

图片过滤和下载链接过滤都采用后缀过滤,多个后缀以空格隔开

链接过滤采用正则表达式过滤,链接地址前必须要加http://

配置完成后,点击“确定”,开始根据配置信息进行死链检测扫描,扫描结果如下:

生成的网站地图文件

该工具采用深度优先遍历算法跟踪网页链接,单线程工作,因此不会给目标网站带来压力,因此工具的检测速度有所下降。

工具虽然简陋,但是确实也弥补了网络上那些广泛流传的死链检测工具所不具备的功能,比如图片链接检测、文件下载链接扫描、指定目录(或后缀或规则)的url定向扫描等功能,同时还捎带地提供了网站地图生成的功能,能够将检测得到的有效链接生成符合http://www.sitemaps.org/schemas/sitemap/0.9规范的网站地图文件。

如果您需要,请在这里下载Java版(运行需要本机安装Java运行时环境):

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/163361.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
检测工具
域名服务检测工具(Detection Tools)提供了全面的智能化域名诊断,包括Whois、DNS生效等特性检测,同时提供SSL证书相关特性检测,保障您的域名和网站健康。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档