从无限加载的新闻网站抓取标题
从无限加载的新闻网站抓取标题
提问于 2020-12-02 07:56:55
我想从这个网站上抓取头条新闻：https://www.marketwatch.com/latest-news?mod=top_nav
我需要加载更早的新闻，所以点击蓝色按钮“查看更多”是必要的。
我创建了这段代码，但没有运行：
from bs4 import BeautifulSoup
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
u = 'https://www.marketwatch.com/latest-news?mod=top_nav' #US Business
driver = webdriver.Chrome(executable_path=r"C:/chromedriver.exe")
driver.maximize_window()
driver.get(u)
time.sleep(10)
WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.CLASS_NAME,'close-btn'))).click()
time.sleep(10)
driver.execute_script("window.scrollTo(0, document.body.scrollHeight)")
for i in range(3):
element =WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.CSS_SELECTOR,'component.component--module.more-headlines div.group.group--buttons.cover > a.btn.btn--secondary.js--more-headlines)))
driver.execute_script("arguments[0].scrollIntoView();", element)
element.click()
time.sleep(5)
driver.execute_script("arguments[0].scrollIntoView();", element)
print(f'click {i} done')
soup = BeautifulSoup(driver.page_source, 'html.parser')
driver.quit()它返回以下错误：
raise TimeoutException(message, screen, stacktrace)
selenium.common.exceptions.TimeoutException: Message:回答 1
Stack Overflow用户
回答已采纳
发布于 2020-12-09 06:18:48
像这样的东西会更可靠：
for i in range(3):
driver.execute_script('''
document.querySelector('a.js--more-headlines').click()
''')
time.sleep(1)注意:当您从javascript单击时，不必滚动到视图中
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/65104175
复制相关文章
![[Java] Java多线程的探索 -获取新闻标题](https://ask.qcloudimg.com/http-save/yehe-6872954/2ssnutp0zn.png)
相似问题
从网站上抓取新闻标题的问题
从新闻网站上抓取新闻标题
无法从黑客新闻中抓取新闻标题
从rss抓取新闻网站
用BeautifulSoup从新闻网站主页中抓取新闻标题
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
社区富文本编辑器全新改版！诚邀体验～
全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验
腾讯云开发者
