我想知道是否有任何方法可以用Python从受限制的网页中抓取html。
我已经能够在一个网页上执行登录,但我想在登录后抓取另一个页面,但网址显示该页面的模式为:main_url/Restricted/Index.aspx
除了不受限制的部分之外,我无法获得整个页面的HTML。如何获取受限制网页的完整HTML?到目前为止,我的代码如下:
from lxml import html
from bs4 import BeautifulSoup as bs
from urllib.request import urlopen
from requests import Session
payload