链接爬虫(供下载或开发)
链接爬虫(供下载或开发)
提问于 2014-01-29 15:38:35
我有个关于网络爬行的问题。我需要的是一个网络爬虫，可以保存所有外部链接从一个网站，并将他们打印到一个文件(csv)。我自己正在开发它(使用php)，但我想知道是否已经有了一些可下载的解决方案(不必是php解决方案)。当然，我已经找过自己了，但什么也找不到。所以如果有人能帮我，我会很感激的。
另外，开发它的最佳方法是什么？
回答 1
Stack Overflow用户
回答已采纳
发布于 2014-01-29 15:43:33
您可以Simple HTML Dom Parser (http://simplehtmldom.sourceforge.net/)
例如：
<?php
include 'simple_html_dom.php';
$html = file_get_html('http://google.com/');
foreach($html->find('a') as $element) {
$link[]=$element->href;
}
//Write into your CSV file
?>页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/21435670
复制相关文章
相似问题
腾讯云开发者
