我在php中有一些爬虫的问题。
我在php中有一些爬虫的问题。
提问于 2018-06-14 03:15:09
我的爬虫坏了。我想让它输出
<div class="content">但是当我运行它的时候，我得到了这样的输出：
数组()
这是我的代码：
<?php
$dom = new DOMDocument;
@$dom->loadHTML('https://www.google.com/');
$xp = new DOMXPath($dom);
$links = $xp->query('//div[contains(@class,"content")]');
$result = array();
foreach ($links as $link) {
$result[] = array($link->getAttribute("innerHTML"), $link->nodeValue);
}
print_r($result);
?>回答 1
Stack Overflow用户
回答已采纳
发布于 2018-06-14 03:56:56
DOMDocument::loadHTML()从您传递给它的字符串中解析HTML.请参见the docs。在本例中，字符串是https://www.google.com/，这显然不是有效的HTML.
可以使用cURL从页面中检索实际的超文本标记语言。我做了一些快速测试，谷歌的响应似乎随着用户代理的不同而不同，所以你可以使用真正的用户代理，例如
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://www.google.com/');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36');
$html = trim(curl_exec($ch));
curl_close($ch);
$dom = new DOMDocument;
@$dom->loadHTML($html);
// rest of the code页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/50844672
复制相关文章
相似问题
腾讯云开发者
