htcap:一款实用的递归型Web漏洞扫描工具

今天给大家介绍的是一款名叫 htcap 的开源 Web 漏洞扫描工具,它通过拦截 AJAX 调用和页面 DOM 结构的变化并采用递归的形式来爬取单页面应用(SPA)。htcap 并不是一款新型的漏洞扫描工具,因为它主要针对的是漏洞扫描点的爬取过程,然后使用外部工具来扫描安全漏洞。在 htcap 的帮助下,我们就可以通过手动或自动渗透测试来对现代 Web应用进行漏洞扫描了。

环境要求

1. Python 2.7 2. PhantomJS v2 3. Sqlmap 4. Arachni

工具下载和运行

$ git clonehttps://github.com/segment-srl/htcap.git htcap
$ htcap/htcap.py

命令行参数

$ htcap crawl -husage: htcap [options] url outfileOptions:  -h               帮助菜单 -w               覆盖输出文件 -q               不显示处理过程信息  -mMODE         设置爬取模式:                     - passive:不与页面交互                      - active:触发事件                      - aggressive:填写输入值并爬取表单 (默认)  -sSCOPE          设置爬取范围:                      - domain:仅爬取当前域名 (默认)                      - directory:仅爬取档期那目录 (以及子目录)                       - url: 仅分析单一页面 -D               最大爬取深度 (默认: 100) -P               连续表单的最大爬取深度 (默认: 10) -F               主动模式下不爬取表单 -H               保存页面生成的HTML代码  -dDOMAINS      待扫描的域名,多个域名用逗号分隔 (例如*.target.com)  -cCOOKIES       以JSON格式或name=value键值对的形式设置cookie,多个值用分号隔开  -CCOOKIE_FILE   包含cookie的文件路径   -rREFERER       设置初始引用  -xEXCLUDED      不扫描的URL地址,多个地址用逗号隔开  -pPROXY         设置代理,protocol:host:port-  支持'http'或'socks5'  -nTHREADS       爬虫线程数量 (默认: 10)  -ACREDENTIALS   用户HTTP验证的用户名和密码,例如username:password  -UUSERAGENT    设置用户代理  -tTIMEOUT       分析一个页面最长可用时间(默认300) -S               跳过初始url检测 -G               分组query_string参数 -N               不使用标准化URL路径 (保留../../) -R               最大重定向数量 (默认10) -I               忽略robots.txt

htcap简单介绍

htcap的扫描过程分为两步,htcap首先会尽可能地收集待测目标可以发送的请求,例如url、表单和AJAX请求等等,然后将收集到的请求保存到一个SQLite数据库中。爬取工作完成之后,我们就可以使用其他的安全扫描工具来测试这些搜集到的测试点,最后将扫描结果存储到刚才那个SQLite数据库之中。

htcap内置了sqlmap和arachni模块,sqlmap主要用来扫描SQL注入漏洞,而arachni可以发现XSS、XXE、代码执行和文件包含等漏洞。

htcap所采用的爬虫算法能够采用递归的方式爬取基于AJAX的页面,htcap可以捕获AJAX调用,然后映射出DOM结构的变化,并对新增的对象进行递归扫描。当htcap加载了一个测试页面之后,htcap会尝试通过触发所有的事件和填充输入值来触发AJAX调用请求,当htcap检测到了AJAX调用之后,htcap会等待请求和相关调用完成。如果之后页面的DOM结构发生了变化,htcap便会用相同算法对新增元素再次进行计算和爬取,直到触发了所有的AJAX调用为止。

爬虫模块

Htcap支持三种爬取模式:被动型、主动型和攻击型。在被动模式下,htcap不会与任何页面进行交互,这意味着爬虫不会触发任何页面事件,它只会收集页面现有的链接。在这个模式下,htcap就跟普通的Web爬虫一样,只会收集页面标签中的链接。在主动模式下,htcap会触发所有发现的事件,相当于模拟用户与页面进行交互,但不填写任何表单数据。在攻击模式下,htcap会向所有扫描到的表单和输入框中填写测试数据,即尽可能地模拟用户与页面进行交互。

爬取范围

htcap可以指定爬取范围,可选范围包括:域名、目录和url。如果范围是域名的话,htcap只会爬取给定的域名地址;如果范围为目录,那么htcap将会爬取指定目录以及该目录下的所有子目录;如果设置的是url,那么htcap将只会分析单个页面。

本文分享自微信公众号 - FreeBuf(freebuf)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-07-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏HadesMo

微信小程序与对象存储的防盗链配置

1.小程序网络请求的 referer 是不可以设置的,格式固定为:https://servicewechat.com/{appid}/{version}/pag...

1.8K00
来自专栏云计算教程系列

如何使用Prometheus监视您的Ubuntu 14.04服务器

Prometheus是由SoundCloud开发的开源监控系统。与其他监控系统(如InfluxDB和Graphite)一样,Prometheus将其所有数据存储...

25600
来自专栏小程序之家

如何在小程序中实现文件上传下载

在如何实现小程序登录鉴权这篇文章中,我们实现了小程序的wx.request请求操作,除了request之外,小程序还有文件下载wx.downloadFile和文...

15.3K70
来自专栏逸鹏说道

Javascript缓存投毒学习与实战

0x00 起因 不久前@三好学生师傅买了一个wooyun wifi,然后聊到了缓存投毒: ? 然后看到wooyun wifi的这个说明: 默认情况下该功能附带缓...

49850
来自专栏HadesMo

调试API接口神器:PostMan

介绍一个用于调试API接口的神器:PostMan,在我学习CDN、COS、AI等产品时,极大的帮助我解决很多问题。

44310
来自专栏技术博文

SSDB 配置文件

SSDB 的配置非常简单, 附带的 ssdb.conf 你不用修改便可以使用. 如果你要高度定制, 还是需要修改一些配置的. 下面做介绍. SSDB 的配置文件...

28350
来自专栏企鹅号快讯

htcap:一款实用的递归型Web漏洞扫描工具

今天给大家介绍的是一款名叫 htcap 的开源 Web 漏洞扫描工具,它通过拦截 AJAX 调用和页面 DOM 结构的变化并采用递归的形式来爬取单页面应用(SP...

32670
来自专栏Android干货

安卓开发--android library projects cannot be launched错误

34750
来自专栏Golang语言社区

Golang 通用连接池

资源链接 https://github.com/silenceper/pool pool GoDoc Golang 实现的连接池 功能: 连接池中连接...

49980
来自专栏梦里茶室

【Chromium中文文档】Chromium多进程架构

问题 构建一个从不会挂起或崩溃的渲染引擎几乎是不可能的。构建一个完全安全的渲染引擎也是几乎不可能的。 在某种程度上,web浏览器当前状态就像一个与过去的多任务操...

39150

扫码关注云+社区

领取腾讯云代金券