腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
selenium
更改
页面
抓取
python
时
出错
python
、
selenium
当我仅从一个
页面
中
抓取
数据
时
,该脚本可以完美地工作。当我运行多个
页面
时
,lopp卡住了,返回的数据只来自
页面
1。循环需要扫描很多
页面
,你知道如何纠正代码吗?timefrom urllib.error import URLError, HTTPError from
selenium
浏览 11
提问于2020-04-28
得票数 0
回答已采纳
1
回答
使用
Python
对
页面
和浏览器扩展数据进行with
抓取
python
、
html
我的问题是,我还
使用
了一个网页的扩展,它的给定数据(由于它而显示的文本)也要被收集。我知道urllib,但它只收集正常的网页数据,而不是扩展生成的数据。那么,如何收集这些数据有什么帮助吗?
浏览 12
提问于2020-08-15
得票数 0
2
回答
Python
-如何在URL中不分页地刮分页
python-3.x
、
web-scraping
下面是示例
页面
: * 我知道如何
使用
刮取库(BS4、
Selenium
),但我不知道如何
抓取
这样的站点。像
Python
这样的
抓取
站点通常的工作流程是什么?
浏览 0
提问于2019-07-05
得票数 0
回答已采纳
1
回答
BeautifulSoup在解析带有POST表单操作的html
时
出现问题
python
、
beautifulsoup
、
urllib2
、
mechanize
点击此链接
使用
urllib2登录:<div id="gridContainer" class='grid_12'></div>
浏览 24
提问于2017-02-26
得票数 0
1
回答
如何在
python
语言中
使用
selenium
和chromedriver
抓取
此
页面
?
screen-scraping
我正在尝试
使用
selenium
和chromedriver从网站“”中
抓取
数据。当我运行代码
时
,chromedriver成功地输入了url,但无法加载
页面
,显示了一个空白
页面
。我尝试将目标网站切换到google.com,但
抓取
成功。我的结论是目标网站服务器检测到
selenium
并拒绝发送回数据。那么如何在
Python
语言中
使用
selenium
和chromedriver从网站
抓取
数据呢
浏览 0
提问于2020-05-29
得票数 0
1
回答
用
Python
/
Selenium
进行棘手的下拉选项选择
python
、
selenium
我正在
使用
Python
和
Selenium
浏览一个网站。<select name="state" class="pulldown" id="state" onchange="[javablob]">a
浏览 3
提问于2016-12-15
得票数 0
回答已采纳
1
回答
使用
Python
抓取
Javascript加载的
页面
python
、
web-scraping
我正在尝试
使用
Python
从英国广播公司的一篇文章中
抓取
评论:然而,我想要
抓取
多个
页面
,但当我尝试
更改
第一页中的“page=x”
时
,它只会将我带到第一页。我考虑过
使用
Selenium
/Dryscape,但我不确定如何才能到达每个
页面
来运行它们。
浏览 1
提问于2016-11-25
得票数 1
1
回答
Python
Selenium
Webdriver在
更改
AJAX
页面
中的下拉值后不会刷新html
python
、
selenium
、
webdriver
我正在尝试
使用
Python
和
Selenium
抓取
AJAX网页。问题是,当我
更改
dropdown值
时
,
页面
内容会根据我的选择而改变,但
selenium
会从
页面
返回相同的旧html代码。下面是我的代码: from
selenium
import webdriverimport time
浏览 16
提问于2020-01-04
得票数 1
回答已采纳
2
回答
使用
Python
自动化创建例程的最佳方法
python
、
browser
通常,每天我都要创建电子邮件,将它们保存到一个文件中,然后
使用
它们注册帐户,等等。这真的很无聊,需要大量的时间。我不想浪费它。 我想让这个过程自动化。据我所知,它被称为“机器人”。它应该做的是浏览几个网站,点击一些按钮,
抓取
所需的信息,存储收集的信息,并填写一些表格。
使用
Python
可以做到这一点吗?如果是,那么最紧凑的方法是什么?
浏览 1
提问于2013-05-07
得票数 0
1
回答
抓取
问题:“检查元素”与“查看
页面
源”不同
html
、
python-3.x
、
selenium
、
web-scraping
、
beautifulsoup
2-当我看到带有浏览器(firefox和chrome)的“查看
页面
源”的
页面
源
时
,所有选项卡的
页面
源看起来也是相同的,而当我对其中一个选项卡
使用
“检查Elemnt”
时
,我看到我的目标内容以html形式显示的代码问题是,我无法通过
python
访问所需选项卡的内容,这是web世界中可用的典型WEB
抓取
代码。这些代码通常是基于bs4的。 有没有人有任何想法或示例代码来学习如何处理我的问题?我正在查找的
页面
位于以下地址:
浏览 2
提问于2020-02-06
得票数 4
回答已采纳
1
回答
从html
页面
不显示数据的url读取数据
beautifulsoup
、
python-3.5
我正在尝试以下代码:if __name__ == '__main__': import requests r = s.get(link) print(sou
浏览 1
提问于2020-02-05
得票数 0
1
回答
使用
Selenium
和Scrapy通过onclick
抓取
显示的数据
python
、
selenium
、
scrapy
我
使用
Scrapy用
python
编写了一个脚本,以便
使用
身份验证从网站上
抓取
数据。我正在
抓取
的
页面
真的很痛苦,因为主要是由javascript和AJAX请求组成的。
页面
的所有主体都放在允许
使用
submit按钮
更改
页面
的<form>中。URL不会改变(而且是一个.aspx)。我已经成功地从第一页
抓取
了所需的所有数据,然后
使用
以下代码
更改
了单击此输入按钮的
浏览 38
提问于2019-02-21
得票数 0
1
回答
用
python
抓取
javascript驱动的“下一步”按钮的麻烦
python
、
selenium
、
web-scraping
我正在尝试
抓取
一个网站,以学习
python
和网络
抓取
。特别是,我试图在这个
页面
上
抓取
足球数据: 我的主要问题是如何
抓取
主数据表的所有
页面
,而不仅仅是第一个
页面
。我正在尝试
使用
selenium
并分析当我点击“下一步”按钮
时
我的浏览器发送的请求,但我遇到了一些问题。感谢您的关注。
浏览 2
提问于2018-08-30
得票数 1
3
回答
从Morningstar网站
抓取
财务数据
python
、
json
、
beautifulsoup
soup.find("div", {"class":"r_bodywrap"}) 我现在遇到的问题不同于我
抓取
的简单网页,程序似乎找不到任何表格,即使我可以在
页面
的HTML中看到它们。在研究这个问题
时
,最接近的堆栈溢出问题如下: 在那篇文章中,他们解释说,Morningstar的表格是动态加载的,并
使用
了一些我不熟悉的json代码,并以
浏览 3
提问于2016-02-27
得票数 3
2
回答
用
Selenium
-
Python
抓取
博客帖子标题
python
、
selenium
、
web-scraping
我正试图
使用
以下URL的
Python
使用
Selenium
抓取
博客文章标题:。当我
使用
Selenium
获取
页面
源
时
,它不包含博客文章标题,但是当我右键单击并选择“查看
页面
源”
时
,Chrome源代码就会包含。我
使用
以下代码:from
selenium
.webdriver.chrome.o
浏览 1
提问于2022-01-12
得票数 0
回答已采纳
1
回答
与
selenium
保持一致的cookies
python
、
selenium
、
selenium-webdriver
、
selenium-chromedriver
、
selenium-ide
我正在尝试在登录
页面
上
使用
selenium
进行一些授权。
页面
有验证码,所以不可能自动化登录过程,有没有办法登录并保存cookie,然后将它们导入到另一个浏览器实例中?
浏览 5
提问于2021-04-15
得票数 2
1
回答
使用
Python
抓取
Selenium
JS地图
python
、
selenium
、
web-scraping
我对
Selenium
是个新手,实际上我从昨天就开始尝试了,我发现了一些关于
Selenium
和
python
的有趣的东西。 我找到了一些关于如何
抓取
JS
页面
并与之交互的信息。但我的疑问是,如何
使用
selenium
从可点击的地图中获取数据。我试着找出
页面
中是否有隐藏的链接,但是没有。我计算出,当我将鼠标移到地图上的任何按钮(在地图中)
时
,x,y位置会发生变化(当然……)在我点击按钮后,我可以
抓取
我的数据。
使用</e
浏览 1
提问于2015-12-20
得票数 0
2
回答
在没有
Selenium
Webdriver的情况下
抓取
焦点
c#
、
selenium
我正在
使用
Selenium
自动化一个网站。首先,我用C#打开主网站。然后,我手动单击以从主站点打开新窗口。现在,我想要
抓取
这些新窗口的数据。这不是问题。问题在于,
Selenium
似乎需要一个窗口来聚焦来刮掉它。在
抓取
之前,我目前
使用
SwitchTo方法。当您切换
时
,新窗口会弹出到前面,并从其他窗口窃取焦点。有没有一种方法可以在不聚焦的情况下
抓取
窗口?
浏览 0
提问于2017-12-04
得票数 1
1
回答
单击某个元素可
使用
python
web
抓取
功能动态
更改
内容
python
、
web-scraping
、
beautifulsoup
所以我从我的作品网站上收集了所有的数据,以获得我所有的班次和关于那些班次的数据,比如
python
和漂亮的汤。
抓取
移位是很好的,因为它们只是元素。但是要获得信息,比如谁在轮班,你必须单击一个元素,它会显示一个隐藏的元素,但也会根据你点击的日期
更改
信息。这可以
使用
javascript函数showFloorPlan('N','N','N','20200624')进行
更改
我需要能够从几个星期的班次中收集数据,显示谁在哪个班次工作。我
浏览 17
提问于2020-06-23
得票数 0
3
回答
“在
Python
中运行基本
Selenium
脚本
时
python
、
html
、
firefox
、
selenium
、
selenium-webdriver
我试图在
Python
中
使用
Selenium
抓取
和打印
页面
的HTML,但每次运行它
时
都会收到错误消息import
selenium
browser = webdriver.Firefox() browser.get(
浏览 1
提问于2015-05-31
得票数 13
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python爬虫入门实战七:使用Selenium-以抓取QQ空间好友说说为例
使用多个Python库开发网页爬虫(二)
python爬虫自动化入门:如何用selenium自动操作网页
使用Python进行网页抓取的介绍
爬虫入门——详解Python是如何进行网页抓取!
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券