HT1113 搜索引擎自动化利用工具推荐

HT1001 系列是信安之路推出的黑客工具使用系列，结合使用场景来对安全工具进行测试总结，并通过实战的方式介绍各类开源工具的功能和价值，后续完整内容将发布在信安之路的知识星球和成长平台，部分内容会通过信安之路公众号分享。

关于自动化利用搜索引擎信息收集，主要关注域名、企业邮箱地址这两部分信息，通过搜索引擎来搜索结果，有两种方式，一种是直接通过模拟浏览器的方式获取搜索结果，一种是通过搜索引擎提供的 API，使用个人申请的认证 Token 来获取搜索结果。

由于搜索引擎均提供了自动化搜索的 API，所以第一种方式属于违规操作，类似自定义爬虫，爬取搜索引擎的搜索结果，然而第二种模式需要用到使用 API 的认证 Token，而且搜索的次数和获取的结果数量都有限制，所以使用搜索引擎来获取想要的信息，是比较复杂，而且有限制。

既然是自动化，那么就无需考虑各种搜索引擎的限制和条件，一键获取信息是我们的目标，如果有充足的资源当然好，如果没有尽可能的获取信息，有多少算多少，也不必强求，毕竟除了这种方式收集域名和邮箱信息之外，还有其他的方式可以补充，所以，今天的测试站在没有任何额外资源的情况下进行。

工具一：theHarvester

这个项目使用非常简单，且功能强大，信息来源非常广泛，项目地址：

https://github.com/laramies/theHarvester

安装要求 python3.7+ ，CentOS 安装 python 3.83：

# 安装更新及必要组件
sudo yum -y update
sudo yum -y groupinstall "Development Tools"
sudo yum -y install openssl-devel bzip2-devel libffi-devel sqlite-devel
# 下载Python安装包
wget https://www.python.org/ftp/python/3.8.3/Python-3.8.3.tgz
tar xvf Python-3.8.3.tgz
cd Python-3.8*/
# 编译安装
./configure --enable-optimizations --enable-loadable-sqlite-extensions
sudo make altinstall
# 完成安装，查看版本
python3.8 --version
# 更新 pip
pip3.8 install --upgrade pip

安装 theHarvester 必要组件：

pip3.8 install -r requirements/base.txt

安装成功之后，运行截图：

我们尝试用 xazlsec.com 作为目标，指定搜索引擎为 baidu，命令如下：

python3.8 theHarvester.py -d xazlsec.com -b baidu

如果你有多个平台的 API key ，可以编辑 api-keys.yaml 文件，让这个工具的搜索结果更丰富：

接下来就可以享受这个工具带来的乐趣了。

工具二：metagoofil

自动化搜索文档信息工具 metagoofil，可以通过谷歌搜索并下载 pdf,doc,xls,ppt,odp,ods,docx,xlsx,pptx 等文件，项目地址：

https://github.com/WiReD-/metagoofil

安装命令：

pip install requests && rm -rf /usr/share/metagoofil/ && git clone https://github.com/WiReD-/metagoofil.git/usr/share/metagoofil

运行截图：

以项目提供的案例为例，搜索 apple.com 域名相关 doc、pdf 文档：

除了文档信息，还有一些用户和邮箱地址等信息：

查看下载的文档信息：

其搜索原理是通过 site 和 filetype 两个关键词结合来获取搜索结果，获取数据的方式是通过爬去谷歌搜索结果的方式，并非 API 的方式。

总结

这两款工具的侧重点不太一样，但是已经可以把搜索引擎的高级用法包含在内，其他的项目暂时不做分享，工具不在有多少，而在于使用的人如何更好的利用工具达到自己想要的目的，除了这些开源项目之外，也可以自己开发一些脚本来达到自动化的目的，当然也可以参考这些成熟的开源软件，有很多思路在里面，值得参考。

更多精彩内容请关注公众号《信安之路》，加入信安之路知识星球获取更多内部学习资料，注册信安之路成长平台，自学沉淀安全技术。