用BeautifulSoup抓取Facebook好友
提问于 2019-08-24 04:45:14
我已经用BeautifulSoup做了一些基本的web抓取。在我的下一个项目中，我选择了刮取指定用户的facebook好友列表。问题是，只有当你登录时，facebook才能让你看到好友列表。因此，我的问题是，我是否可以绕过它，如果没有，我是否可以让BeautifulSoup像登录一样？
这是我的密码：
from urllib.request import urlopen
from bs4 import BeautifulSoup
url = input("enter url: ")
try:
page = urlopen(url)
except:
print("Error opening the URL")
soup = BeautifulSoup(page, 'html.parser')
content = soup.find('div', {"class": "_3i9"})
friends = ''
for i in content.findAll('a'):
friends = friends + ' ' + i.text
print(friends)
回答 2
Stack Overflow用户
回答已采纳
发布于 2020-03-14 22:27:52
BeautifulSoup不要求您使用URL。相反：
- 查看“朋友名单”
- 将包含列表的父标记复制到新文件(ParentTag.html)
- 以字符串形式打开文件，并将其传递给BeautifulSoup()
with open("path/to/ParentTag.html", encoding="utf8") as html:
soup = BeautifulSoup(html, "html.parser")- 然后，“你做汤。”
Stack Overflow用户
发布于 2019-08-24 05:26:33
问题是，只有当你登录时，facebook才能让你看到好友列表
您可以使用Selenium克服这一问题。您需要它来验证自己，然后才能找到用户。一旦您找到了它，您可以通过两种方式进行：
- 您可以使用
driver.page_source获得HTML源代码，然后使用Beatiful - 使用Selenium提供的方法来抓取朋友。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/57638076
复制相关文章
![eclipse设置中没有server选项[通俗易懂]](https://ask.qcloudimg.com/http-save/yehe-8223537/7fe4c89b70274db70b8d423c73ba7134.png)
![[原创]CI持续集成系统环境---部署Jenkins完整记录](https://ask.qcloudimg.com/http-save/yehe-1207996/jdkhxvs46t.png)
腾讯云开发者
