Python提取链接
Python提取链接
提问于 2018-07-18 09:13:04
有没有办法从单个页面中提取所有链接(例如，该页面有3个链接)。
然后，Python打开这3个链接，并从这3个链接中提取所有链接(例如，每个链接有2个链接)？
有没有人可以写给我用来提取这样的链接。但是，当这些链接打开时，我想做一些事情，例如从该网站提取所有数字。我想在其中的某一部分使用BeautifulSoup，但只能使用BS4或？
回答 1
Stack Overflow用户
回答已采纳
发布于 2018-07-18 09:22:23
为此，您可以使用scrapy。
首先，要获取页面中的所有链接，可以通过以下SO帖子
1.retrieve links from web page using python and BeautifulSoup
2.Fetch all href link using selenium in python
因此，一旦您了解了如何获得这些链接，请参阅以下教程https://doc.scrapy.org/en/latest/intro/tutorial.html
您需要的正是This。基本上，您将在每个页面上使用will，其中包含您在该特定页面中找到的所有链接。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/51392166
复制相关文章
相似问题