我正在尝试从分页表中抓取数据。该表只能通过登录到用户帐户来访问。我决定使用Selenium进行登录。然后,我希望能够将其读入熊猫DataFrame。我计划使用BeautifulSoup作为中间人。下面是我的代码: from selenium import webdriverimport pandas as pd
from bs4 import Beaut
我想刮掉需要登录的Javascript页面。我想知道是否可以使用Selenium加载并登录到页面,然后Selenium将呈现的代码传递给Scrapy进行数据提取。import scrapyfrom selenium.webdriver.common.keys import Keysfrom time i