我的爬虫坏了。我想让它输出
<div class="content">
但是当我运行它的时候,我得到了这样的输出:
数组()
这是我的代码:
<?php
$dom = new DOMDocument;
@$dom->loadHTML('https://www.google.com/');
$xp = new DOMXPath($dom);
$links = $xp->query('//div[contains(@class,"content")]');
$result = array();
foreach ($links as $link) {
$result[] = array($link->getAttribute("innerHTML"), $link->nodeValue);
}
print_r($result);
?>
发布于 2018-06-14 03:56:56
DOMDocument::loadHTML()
从您传递给它的字符串中解析HTML.请参见the docs。在本例中,字符串是https://www.google.com/
,这显然不是有效的HTML.
可以使用cURL从页面中检索实际的超文本标记语言。我做了一些快速测试,谷歌的响应似乎随着用户代理的不同而不同,所以你可以使用真正的用户代理,例如
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://www.google.com/');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36');
$html = trim(curl_exec($ch));
curl_close($ch);
$dom = new DOMDocument;
@$dom->loadHTML($html);
// rest of the code
https://stackoverflow.com/questions/50844672
复制相似问题