我正在建立一个网络抓取项目使用python与美丽的汤和请求模块,问题是我想要抓取的网站有一个加载页面(完全不同于主页),然后它将我重定向到主页。我怎么能等到页面加载完成,然后从主页上抓取数据呢?我知道Selenium可以处理这些类型的网站,但网站必须使用web驱动程序启动,这是我不希望在我的项目中使用的原因,这就是为什么我使用Beautiful Soup和requests模块。到目前为止,我的代码如下。 from bs4 import BeautifulSoup
import requests
import time
source = requests.get(url).text
prin
我有一个简单的python程序,它应该从互联网上抓取一些信息,然后用它做一些事情。当我在PyCharm (IDE)中运行代码时,它工作得很好,但是当我直接运行它时,它不能运行(右键单击-> Openwith-> Python)。为了查找错误,我在代码中放入了几条输入语句,如下所示:
from random import choice
input(1)
import webbrowser as web
input(2)
from time import sleep
input(3)
import pyautogui as pg
input(4)
from platform impor