首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >如何使用DeadFinder寻找失效链接

如何使用DeadFinder寻找失效链接

作者头像
FB客服
发布2022-11-14 15:28:03
发布2022-11-14 15:28:03
69600
代码可运行
举报
文章被收录于专栏:FreeBufFreeBuf
运行总次数:0
代码可运行

关于DeadFinder

DeadFinder是一款功能强大的链接分析工具,该工具可以帮助广大研究人员快速地寻找目标页面中的无效链接(死链)。所谓死链,即一个页面中存在的无法被连接的一条链接。这些链接如果一直保留在页面中的话,可能会影响SEO的效果,更严重的可能会影响整个网站的安全。因此,DeadFinder便应运而生,在该工具的帮助下,广大研究人员可以轻松识别和修改这些死链。

工具安装

源码获取

广大研究人员可以使用下列命令将该项目源码克隆至本地:

代码语言:javascript
代码运行次数:0
运行
复制
git clone https://github.com/hahwul/deadfinder.git
(向右滑动,查看更多)

使用Gem安装

我们还可以使用Gem来安装DeadFinder:

代码语言:javascript
代码运行次数:0
运行
复制
gem install deadfinder

Docker镜像安装

除此之外,该工具还提供了预构建的Docker镜像:

代码语言:javascript
代码运行次数:0
运行
复制
docker pull ghcr.io/hahwul/deadfinder:latest
(向右滑动,查看更多)

工具使用

代码语言:javascript
代码运行次数:0
运行
复制
Commands:

  deadfinder file            # Scan the URLs from File. (e.g deadfinder file urls.txt)

  deadfinder help [COMMAND]  # Describe available commands or one specific command

  deadfinder pipe            # Scan the URLs from STDIN. (e.g cat urls.txt | deadfinder pipe)

  deadfinder sitemap         # Scan the URLs from sitemap.

  deadfinder url             # Scan the Single URL.

  deadfinder version         # Show version.

Options:

  c, [--concurrency=N]  # Set Concurrncy

                        # Default: 20

  t, [--timeout=N]      # Set HTTP Timeout

                        # Default: 10

  o, [--output=OUTPUT]  # Save JSON Result
(向右滑动,查看更多)

参数解释

代码语言:javascript
代码运行次数:0
运行
复制
deadfinder file:从文件读取并扫描多个URL地址,例如“deadfinder file urls.txt”            

  deadfinder help [COMMAND]:查看工具可用命令和指定命令帮助信息

  deadfinder pipe:从STDIN扫描多个URL地址,例如“cat urls.txt | deadfinder pipe”            

  deadfinder sitemap:从站点sitemap扫描多个URL地址

  deadfinder url:扫描单个URL地址

  deadfinder version:显示工具版本信息

  c, [--concurrency=N]:设置并发数量,默认为20

  t, [--timeout=N]:设置HTTP超时,默认为10秒

  o, [--output=OUTPUT]:存储JSON结果
(向右滑动,查看更多)

运行模式

从STDIN扫描多个URL地址:

代码语言:javascript
代码运行次数:0
运行
复制
cat urls.txt | deadfinder pipe

从文件读取并扫描多个URL地址:

代码语言:javascript
代码运行次数:0
运行
复制
deadfinder file urls.txt

扫描单个URL地址:

代码语言:javascript
代码运行次数:0
运行
复制
deadfinder url https://www.hahwul.com

从站点sitemap扫描多个URL地址:

代码语言:javascript
代码运行次数:0
运行
复制
deadfinder sitemap https://www.hahwul.com/sitemap.xml
(向右滑动,查看更多)

JSON处理

代码语言:javascript
代码运行次数:0
运行
复制
deadfinder sitemap https://www.hahwul.com/sitemap.xml \

  -o output.json

cat output.json | jq
(向右滑动,查看更多)

工具运行截图

项目地址

DeadFinder:https://github.com/hahwul/deadfinder

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-10-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 FreeBuf 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 关于DeadFinder
  • 工具安装
    • 源码获取
    • 使用Gem安装
    • Docker镜像安装
  • 工具使用
    • 参数解释
    • 运行模式
    • JSON处理
  • 工具运行截图
  • 项目地址
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档