是否有一种方法或工具可以自动访问我网站的所有页面
是否有一种方法或工具可以自动访问我网站的所有页面
提问于 2012-03-30 22:23:31
我想要自动访问/爬行我的网站上的所有页面，以便生成缓存文件。有什么方法或工具可以做到这一点吗？
回答 4
Stack Overflow用户
发布于 2012-03-30 22:29:29
只需使用任何可以下载整个页面的机器人：
https://superuser.com/questions/14403/how-can-i-download-an-entire-website
例如wget：
wget -r --no-parent http://site.com/songs/Stack Overflow用户
发布于 2012-03-30 22:29:45
您可以使用wget的递归选项来完成此操作。将example.com更改为您的域：
wget --recursive --no-parent --domains=example.com --level=inf --delete-afterStack Overflow用户
发布于 2012-03-30 22:30:42
你使用CMS吗？你有你的网页列表吗？您可以编写一个简单的PHP循环来使用CURL或php fopen()加载所有页面
$pages_ar = array(
"http://mydomain.com/page1.htm",
"http://mydomain.com/page2.htm",
"http://mydomain.com/page2.htm",
);
foreach($pages_ar as $page)
{
fopen($page, "r");
}很基本，但我希望你能明白...
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/9944841
复制相关文章
相似问题
腾讯云开发者
