调用函数find()时，结果不完整
调用函数find()时，结果不完整
提问于 2017-02-15 23:22:02
出于研究目的，我正在尝试爬取这个url，但是我得到了一个不完整的结果：
opener = urllib.request.build_opener()
opener.addheaders = [('User-Agent', 'Mozilla/5.0')]
response = opener.open(url)
soup = BeautifulSoup(response, 'html.parser')
article = soup.find("div", { "class" : "entry" })
print(article)它给出了以下结果：
<div class="entry">
<header><strong>Racial Forensics in an Age of Race Denial</strong></header></div>但当我查看页面的代码源代码时，我可以看到更多：
<div class="entry">
<header><strong>Racial Forensics in an Age of Race Denial</strong></p>
</header>
<p>Austen Layard<br/>
<a href="http://www.theoccidentalobserver.net/2014/01/racial-forensics-in-an-age-of-race-denial/"><strong>Occidental Observer</strong></a><br/>
February 3, 2014</p>
....
</div>这个URL与我处理过的许多其他URL的不同之处在于标记header的存在。
这个标签是我的问题的根源吗？如何检索标记div的全部内容
回答 1
Stack Overflow用户
回答已采纳
发布于 2017-02-16 11:44:42
soup = BeautifulSoup(response, 'lxml')html.parser是不稳定的，强烈不推荐使用，默认情况下，bs4使用lxml，让我们继续使用默认值。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/42253376
复制相关文章
相似问题
腾讯云开发者
