php 遍历网站

基础概念

PHP（Hypertext Preprocessor）是一种广泛使用的开源脚本语言，尤其适用于Web开发。遍历网站通常指的是通过编写脚本来访问网站的各个页面，收集信息或执行某些操作。

类型

递归遍历：通过递归函数访问网站的每个页面，直到没有新的页面可以访问。
广度优先遍历：使用队列数据结构，先访问所有一级页面，再访问所有二级页面，依此类推。
深度优先遍历：使用栈数据结构，先深入访问一个页面的所有子页面，再回溯访问其他页面。

应用场景

网站地图生成：自动生成网站的XML地图文件，帮助搜索引擎更好地索引网站。
链接检查：检查网站内部和外部的链接是否有效。
内容抓取：从其他网站抓取数据，用于数据分析或内容聚合。

示例代码

以下是一个简单的PHP脚本示例，用于递归遍历网站并打印出所有页面的URL：

<?php
function traverseWebsite($url, $depth = 0, $maxDepth = 3) {
    if ($depth > $maxDepth) return;

    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
    $html = curl_exec($ch);
    curl_close($ch);

    $dom = new DOMDocument();
    @$dom->loadHTML($html);
    $links = $dom->getElementsByTagName('a');

    foreach ($links as $link) {
        $href = $link->getAttribute('href');
        if (strpos($href, 'http') === 0) {
            echo "Depth $depth: $href\n";
            traverseWebsite($href, $depth + 1, $maxDepth);
        }
    }
}

traverseWebsite('https://example.com');
?>