腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
从
Selenium
已经
打开
的
网页
中
抓取
BeautifulSoup
python
、
selenium
、
beautifulsoup
我想从不同
的
网页
上
抓取
一个由
Selenium
打开
的
网页
。 我在一个使用
Selenium
的
网站上输入了一个搜索词,这让我进入了一个新
的
页面。我
的
目标是在这个新页面上创建一道汤。但是,汤是
从
我输入搜索词
的
前一页创建
的
。请帮帮我!from bs4 import
BeautifulSoup
from
selenium
浏览 46
提问于2019-01-26
得票数 2
回答已采纳
1
回答
如何在Python
中
抓取
具有动态ID
的
文本变量
python
、
selenium
、
selenium-webdriver
目前,我正试图在整个
网页
中
获取一些文本数据。一开始,我
抓取
所有的
网页
,然后慢慢地在
网页
中
筛选,
从
每一页
抓取
我需要
的
数据。例如,由于动态ID
的
原因,我在
抓取
诸如平方英尺或邻居之类
的
项目时遇到了困难。我通过XPath或CSS选择器看到
的
许多例子都涉及到搜索文本,但在我试图
抓取
的
每一页上都会发生变化。有什么办法能捕捉到这片土地或社区吗
浏览 3
提问于2019-02-05
得票数 0
1
回答
从
flashscore.com
抓取
分数
python
、
performance
、
web-scraping
、
selenium
我用Python构建了一个机器人来在flashscore.com上
抓取
分数,但是
从
站点中
抓取
的
数据加载到它
的
列表框中非常缓慢。我对
selenium
的
速度很好奇,所以我做了一个按钮来打印所有的文本,结果显示速度很快,所以一定是if elif块减慢了程序
的
速度。from tkinter import *import threading
浏览 0
提问于2015-05-09
得票数 8
1
回答
有没有办法像Facebook那样在自扩展页面上使用
BeautifulSoup
?
python
、
ajax
、
beautifulsoup
、
screen-scraping
当你接近底部时,一些
网页
可能会通过ajax扩展,Facebook就是一个众所周知
的
例子。我特别感兴趣
的
是截屏电影
的
电影列表页面。它确实有一个结尾,但当你向下滚动时,你可以看到它在添加电影。有没有办法使用
BeautifulSoup
来获取页面上
的
所有内容?
浏览 18
提问于2018-08-24
得票数 0
1
回答
Web
抓取
:像Chrome一样更新数据?
javascript
、
python
、
selenium
、
beautifulsoup
、
screen-scraping
我在Python
中
遇到
的
所有关于web
抓取
的
文章都引用了
BeautifulSoup
和
Selenium
作为
从
网页
中
检索HTML和JavaScript内容
的
主要工具。然而,我还没有找到一种方法来自动更新
从
同一
网页
接收
的
数据,而不需要向它发送新
的
请求。在Python
中
是不是不可能做你在Google Chrome中会做
的</em
浏览 9
提问于2020-02-17
得票数 0
回答已采纳
1
回答
BS4返回到Cloudflare网站,而不是实际
的
网站
python
、
web-scraping
、
beautifulsoup
、
cloudflare
这是我
的
代码。这是有效
的
,但当代码打印时,它会打印DDOS攻击网站,而不是加载之后
的
网站。我甚至尝试做一个time.sleep(5)来帮助计时。 我怎么才能克服这一点。import requestsimport time url = 'https://www.psacard.com/cert/49628062User-Agent': 'Mozilla/5.0 (X11; Ubun
浏览 26
提问于2021-01-15
得票数 0
2
回答
从
雅虎财经中提取期权日期
python
、
beautifulsoup
、
python-requests
我无法
从
以下url
的
下拉菜单中提取选项日期。“我试图通过
BeautifulSoup
找到合适
的
标签,但它似乎是使用Javascript呈现
的
?硒是重量级
的
,而且速度很慢。 url = 'https://finance.yahoo.com/quote/AAPL/options?requests.get(url) with open('tes
浏览 2
提问于2020-06-04
得票数 1
3
回答
无法使用
BeautifulSoup
抓取
数据
python
、
selenium
、
web-scraping
、
beautifulsoup
我正在使用
Selenium
登录到
网页
,并获得
网页
进行
抓取
,我能够获得该页面。我
已经
在html
中
搜索了我想要
抓取
的
表。table cellspacing="0" class=" tablehasmenu table hoverable sensors" id="table_devicesensortable"> 脚本是这样
的
:rawpage=driver.page_sou
浏览 0
提问于2018-02-21
得票数 1
1
回答
Web
抓取
问题与漂亮
的
汤
python
、
web-scraping
、
beautifulsoup
当我
打开
要从中
抓取
信息
的
url时,HTML代码显示了所有内容。但是当我在
网页
上
抓取
它
的
HTML代码时,它只显示了其中
的
一部分,而且它甚至不匹配。现在,当网站在我
的
浏览器上
打开
时,它确实有一个加载屏幕,但我不确定这就是问题所在。也许他们阻止人们刮掉它?HTML我返回: <!<meta content="0; URL=assets/javascript-warning.html" http-equ
浏览 7
提问于2020-10-25
得票数 0
回答已采纳
2
回答
数据
抓取
:
网页
不存在,除非我通过主网站加载它
python
、
web-scraping
、
beautifulsoup
、
screen-scraping
我正在尝试使用
BeautifulSoup
从
多个
网页
中
抓取
数据。每个
网页
都有相同
的
格式,结尾有一个代码来唯一地标识它们,例如。www.sample_000.com。如果我试图直接
从
浏览器
打开
HTTP 404,就会得到一个HTTP 404错误。但是,如果我转到主网站并选择适当
的
输入值来
打开
www.sample_123.com,它就会加载得很好。在从主网站加载它一次之后,我现在可以在浏览器
中</e
浏览 0
提问于2019-10-11
得票数 0
回答已采纳
2
回答
Selenium
不会在使用Python
的
网页
中
显示javascript加载
的
表格
javascript
、
python
、
selenium
、
web-scraping
、
beautifulsoup
我正在尝试
抓取
以下
网页
: (我已从网站获得许可)from
selenium
import webdriver
浏览 0
提问于2020-12-06
得票数 0
2
回答
无法使用
selenium
python
从
网站
抓取
多个URL
python
、
selenium
、
selenium-webdriver
、
web-scraping
我正在尝试
从
here
抓取
文章
的
日期和网址。虽然我确实得到了日期列表和文章
的
标题(文本),但我无法获得相同
的
Urls。这就是我如何在文本和日期中获得url标题。n_dates = [ele.text for ele in dates] print(n_dates) 这给了我一个类似如下
的
输出'May 28th, 2021', 'May 26th, 2021', 'May 26th
浏览 38
提问于2021-08-09
得票数 0
回答已采纳
3
回答
用漂亮
的
汤和python
抓取
Button click上隐藏
的
文本?
python
、
html
、
selenium
、
beautifulsoup
所以我试着
抓取
下面的网址:单击前:单击后:如何
抓取
此文本?
BeautifulSoup
不适用于此文本。
浏览 5
提问于2021-08-01
得票数 0
1
回答
使用
BeautifulSoup
对表
中
的
链接进行Web
抓取
返回NoneType和空表
python
、
beautifulsoup
我试图在网络上刮除所有的表格N-MFP2,然后
打开
链接到web,在表单
中
刮取信息。然而,我仍然无法检索表单。我尝试了多种web
抓取
方法,包括
beautifulSoup
和
selenium
,但是返回
的
内容是空
的
,无法进一步获取行数据。感谢你
的
帮助,因为我
已经
为这个问题做了三个多小时了。我
的
代码如下:url = 'https://www.sec.
浏览 3
提问于2022-01-13
得票数 -3
1
回答
现代硒库选择
automated-testing
、
selenium-webdriver
、
test-design
、
test-strategy
、
usability
我在2013-2014年期间一直在做
Selenium
自动化工作。到那时,只有两个绑定可用(或者我只知道2个)- Java和C#。我记得,在启动浏览器之前,我必须编写这么多代码。直到现在,我还没有进入浏览器/测试自动化领域,直到现在,我
的
经理让我快速编写一个程序,通过我们
的
一个网站运行,并收集一些信息。我知道,在这段时间里,开发了如此多
的
independent
selenium
libraries,以至于人们很容易失去对它们
的
依赖-- puppeteer (JavaScript)
浏览 0
提问于2020-03-31
得票数 1
1
回答
我试着用硒和漂亮
的
汤刮网站。
python-3.x
、
selenium
、
web-scraping
我如何才能得到在同一网站
的
每个列表页面上提到
的
所有类别,即代码和标题,我正试图通过
selenium
刮取网站,并使用漂亮
的
汤来刮每一页。在这里,我试图
从
网站上
抓取
每一页,并将其作为df1附加到dataframe。CSS=51%&Type=desc&SS%27=%27") while True: soup =
BeautifulSoup
(x, '
浏览 2
提问于2019-08-23
得票数 1
回答已采纳
1
回答
我不能使用
selenium
和美汤
抓取
表数据
python
、
selenium-webdriver
、
web-scraping
、
beautifulsoup
我
已经
尽我所能了,但我似乎不能从表
中
抓取
数据。我
已经
在stackoverflow
中
搜索了答案,但似乎没有什么结果。
从
本质上讲,这个表是空
的
,或者我根本找不到表
中
的
元素。我正在使用雅虎每日幻想
网页
上
的
一张桌子。 注意:当前使用
的
网址可能会每周更改一次,因此将来可能不是有效地址。当前代码: from bs4 import
BeautifulSoup
from
浏览 1
提问于2019-09-29
得票数 0
回答已采纳
2
回答
Python Beautiful Soup - AttributeError:'NoneType‘对象没有'find_all’属性
python
、
web-scraping
、
beautifulsoup
如果这个问题似乎是重复
的
,很抱歉。 作为练习,我正在尝试
从
LinkedIn
中
获取工作数据。我
已经
在autonews.com上使用了相同
的
代码,它似乎工作得很好。然而,我不知道这是否是网站上容器
的
命名方式,或者是代码
中
需要更改
的
其他东西。 总之,长话短说,对于初学者来说,我只需要以下信息:职位,公司名称,地点和网址。请参考下面的代码: import requests url
浏览 41
提问于2021-08-23
得票数 0
回答已采纳
1
回答
单击某个元素可使用python web
抓取
功能动态更改内容
python
、
web-scraping
、
beautifulsoup
所以我
从
我
的
作品网站上收集了所有的数据,以获得我所有的班次和关于那些班次
的
数据,比如python和漂亮
的
汤。
抓取
移位是很好
的
,因为它们只是元素。但是要获得信息,比如谁在轮班,你必须单击一个元素,它会显示一个隐藏
的
元素,但也会根据你点击
的
日期更改信息。这可以使用javascript函数showFloorPlan('N','N','N','20200624')进行更改 我需要能
浏览 17
提问于2020-06-23
得票数 0
3
回答
使用
selenium
和python捕获AJAX响应
python
、
selenium
、
web-scraping
我点击Firefox
中
的
一个链接,
网页
使用javascript发送一个请求,然后服务器发送某种类型
的
响应,其中包括网站地址。因此,这个新网站将在一个新窗口中
打开
。链接后面的html代码是(我省略了初始和最后
的
<span>标记):> onclick="ta.trackEventOnPage('AttractionContactInfoLqMWJQiMnYQQoqnQQxGEcQQ
浏览 22
提问于2014-10-21
得票数 19
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python中如何操作已经打开的网页
使用Python进行网页抓取的介绍
爬虫入门——详解Python是如何进行网页抓取!
使用多个Python库开发网页爬虫(二)
《权力的游戏》最终季上线!谁是你最喜爱的演员?这里有一份Python教程
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券