Screaming Frog SEO Spider 快速入门指南

SEO Spider快速入门指南

本指南旨在帮助初学者开始使用Screaming Frog SEO Spider。它涵盖了初始设置，如何开始爬网以及查看报告和发现的问题。

安装

首先，您需要下载并安装SEO Spider，一次可以抓取多达500个URL。只需单击下面的下载按钮。

内存和存储设置

如果您使用的是免费版本，或者只是想直接进行爬网，则可以忽略此步骤。但是，如果您使用的是付费版本，建议您一开始就进行设置。

如果您有SSD，建议您切换到数据库存储模式。转到“配置>系统>存储”，然后选择“数据库存储模式”。

数据库存储模式具有巨大的优势，包括允许SEO Spider抓取更多URL，自动存储抓取数据以及允许您更快地访问旧的抓取。

如果没有SSD，请坚持使用RAM存储模式。您仍然可以保存爬网，并且如果有足够的可用内存，则可以爬网许多URL。您现在就可以开始爬行了！

开始抓取

抓取主要有两种模式。默认的“蜘蛛”模式将对网站进行爬网，即“列表”，可让您上载要爬网的URL列表。

您可以通过将主页插入“输入蜘蛛的URL”字段并单击“开始”来开始常规的“蜘蛛”爬网。

这将抓取并审核输入的URL，以及它可以通过同一子域上页面的HTML中的超链接发现的所有URL。

爬网将实时更新，并且可以在应用程序底部查看速度以及已完成和剩余的URL总数。

您可以单击“暂停”，并且可以随时“恢复”爬网。您还可以保存抓取并稍后恢复，有关更多信息，请稍后保存。

如果您想抓取URL列表而不是整个网站，请单击“模式>列表”以上传或粘贴URL列表。

配置抓取

您无需调整配置即可抓取网站，因为默认情况下将SEO Spider设置为以类似于Google的方式抓取。

但是，您可以通过多种方式配置爬网以获取所需的数据。在工具内的“ 配置 ” 下查看选项。

控制抓取内容的一些最常见方法是抓取特定的子文件夹，使用排除（以避免通过URL模式抓取URL）或包含功能。

如果您的网站依靠JavaScript填充内容，则还可以在“配置>蜘蛛>渲染”下切换到JavaScript渲染模式。

这意味着将执行JavaScript，并且SEO Spider将抓取呈现的HTML中的内容和链接。

查看抓取数据

来自爬网的数据实时填充在SEO Spider中，并显示在选项卡中。“ 内部 ”标签包含在要抓取的网站中抓取中发现的所有数据。您可以上下左右滚动，以查看各个列中的所有数据。

这些选项卡关注于不同的元素，每个选项卡都具有过滤器，可帮助您按类型和发现的潜在问题来优化数据。

例如，“响应代码”标签和“客户端错误（4xx）”过滤器将向您显示发现的所有404页。

您可以在顶部窗口中单击URL，然后在底部的选项卡上单击以填充下部窗口窗格。

这些选项卡提供有关URL的更多详细信息，例如其链接（链接到链接的页面），链接（链接到链接的页面），图像，资源等。

在上面的示例中，我们可以看到在爬网期间发现的断开链接的链接。

查看错误和潜在问题

右侧窗口的“概述”选项卡显示每个选项卡和过滤器中包含的爬网数据的摘要。您可以滚动浏览每个部分，以识别潜在的错误和发现的问题，而无需单击每个选项卡和过滤器。

对于大多数过滤器，在爬网过程中会实时更新受影响的URL数量，您可以单击它们直接将其带到相关标签和过滤器。

SEO Spider不会告诉您如何进行SEO，而是为您提供数据以做出更明智的决策。但是，“过滤器”确实提供了有关特定问题的提示，应在您的网站范围内解决或至少进一步考虑这些问题。

探索这些提示，如果不确定标签或过滤器的含义，请参阅我们的用户指南。

汇出资料

您可以将所有数据从爬网导出到电子表格中。只需单击左上角的“导出”按钮，即可从顶部的窗口标签和过滤器中导出数据。

要导出下部窗口数据，请在顶部窗口中右键单击要从中导出数据的URL，然后单击其中一个选项。

顶层菜单下还有一个“批量导出”选项。这使您可以导出源链接，例如具有特定状态代码（例如2XX，3XX，4XX或5XX响应）的URL的“ inlinks”。

保存和打开爬网

您只能使用许可证保存和打开爬网。在默认的内存存储模式下，您可以随时（在暂停或完成时）保存抓取，然后通过选择“文件>保存”或“文件>打开”来重新打开。

在数据库存储模式下，爬网会在爬网过程中自动“保存”并提交到数据库中。要打开抓取，请在主菜单中单击“文件>抓取”。

“爬网”窗口显示自动存储的爬网的概述，您可以在其中打开，重命名，组织到项目文件夹中，批量复制，导出或删除它们。