腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
有没有
一种
在
python
中
不
使用
selenium
就能
抓取
JavaScript
页
面的
方法
?
python
、
web-scraping
、
beautifulsoup
有没有
一种
方法
可以
在
不含
selenium
的情况下,用
python
或lxml来
抓取
JS渲染的网页呢? 谢谢
浏览 30
提问于2020-09-29
得票数 3
2
回答
是否可以
使用
Selenium
WebDriver来驱动PhantomJS?
selenium
、
web-scraping
、
webdriver
、
phantomjs
我正在浏览
Selenium
WebDriver的文档,例如,它可以驱动Chrome。我在想,“驾驶”PhantomJS不是更有效率吗?
有没有
一种
方法
可以
在
PhantomJS中
使用
Selenium
?我的预期用途是web
抓取
:我
抓取
的网站加载了AJAX和许多可爱的
JavaScript
,我认为这个设置可以很好地替代我目前正在
使用
的Scrapy
Python
框架。
浏览 4
提问于2012-06-27
得票数 35
回答已采纳
2
回答
BeautifulSoup web
抓取
,无结果
python
、
beautifulsoup
、
web-crawler
我
在
试着从https://hk.appledaily.com/search/apple..。我需要从div class="flex-feature"但它只返回[]..。希望大家能帮忙,谢谢!
浏览 40
提问于2020-10-06
得票数 2
回答已采纳
1
回答
如何在silenium
中
获取下一
页
?
python
、
selenium
、
selenium-webdriver
我正在
python
中
处理
selenium
,我想要
抓取
所有页面,但我遇到了麻烦:以下是我想要单击的元素: ? 我正在
使用
下
面的
代码: link=driver.find_element_by_link_text ('2') link.click() 但它会点击另一个元素 Deos
有没有
其他
方法
来获取下一
页
?
浏览 22
提问于2021-03-25
得票数 0
1
回答
Web
抓取
:像Chrome一样更新数据?
javascript
、
python
、
selenium
、
beautifulsoup
、
screen-scraping
我
在
Python
中
遇到的所有关于web
抓取
的文章都引用了BeautifulSoup和
Selenium
作为从网页
中
检索HTML和
JavaScript
内容的主要工具。然而,我还没有找到
一种
方法
来自动更新从同一网
页
接收的数据,而不需要向它发送新的请求。
在
Python
中
是不是不可能做你
在
Google Chrome中会做的事情,也就是说,简单地打开一个网页
浏览 9
提问于2020-02-17
得票数 0
回答已采纳
2
回答
使用
lxml.html
抓取
embed元素,或者如何欺骗网站使其认为你已经安装了Flash
python
、
screen-scraping
、
web-scraping
、
lxml
我正在尝试
抓取
一个网站,我需要获取一个embed元素,但由于我
使用
的是
Python
和lxml.html,网站会准确地得出我没有安装Flash的结论,而不是显示embed元素,而是显示以下内容: <div
浏览 0
提问于2012-07-04
得票数 0
回答已采纳
1
回答
使用
Selenium
和Scrapy通过onclick
抓取
显示的数据
python
、
selenium
、
scrapy
我
使用
Scrapy用
python
编写了一个脚本,以便
使用
身份验证从网站上
抓取
数据。我正在
抓取
的页面真的很痛苦,因为主要是由
javascript
和AJAX请求组成的。页
面的
所有主体都放在允许
使用
submit按钮更改页
面的
<form>
中
。URL不会改变(而且是一个.aspx)。我已经成功地从第一
页
抓取
了所需的所有数据,然后
使用
以下代码更改了单击此输入按钮的
浏览 38
提问于2019-02-21
得票数 0
2
回答
如何在
python
中
实现动态网站(不
使用
selenium
)
python
、
selenium
、
selenium-webdriver
、
web-scraping
、
selenium-chromedriver
Selenium
有没有
什么库或替代
方法
可以从动态(
javascript
渲染的)网站上
抓取
数据? 我遇到的问题是,当我
在
selenium
中
使用
webdriver时,许多网站可以很容易地检测到。我已经做了一些事情,比如在我的webdrver
中
更改了我的cdc_变量,但我仍然被检测到了。我一直
在
研究
使用
硒不被检测到的
方法
,但似乎不可能做到。因此,我正在寻找
一种
不
浏览 2
提问于2020-05-24
得票数 0
1
回答
如何
使用
scrapy
抓取
具有onclick属性的复选框页面?
javascript
、
python
、
onclick
、
scrapy
、
web-crawler
我正在
使用
Scrapy从一个网页
抓取
一些数据。该页面有一个表单,其中包含多个复选框和下拉菜单,需要为表单选择所有这些复选框才能生成数据表。所有复选框都具有调用
javascript
代码的onClick属性,并且它们处于分层结构
中
,即有5个主复选框,每个复选框包含7个子类别的复选框,依此类推。复选框具有4个级别的树形结构。这是最低级别(叶)复选框之一: <input type="checkbox" name="mid" value="1043" id="
浏览 0
提问于2013-06-04
得票数 0
2
回答
在
没有
Selenium
Webdriver的情况下
抓取
焦点
c#
、
selenium
我正在
使用
Selenium
自动化一个网站。首先,我用C#打开主网站。然后,我手动单击以从主站点打开新窗口。现在,我想要
抓取
这些新窗口的数据。这不是问题。问题在于,
Selenium
似乎需要一个窗口来聚焦来刮掉它。
在
抓取
之前,我目前
使用
SwitchTo
方法
。当您切换时,新窗口会弹出到前面,并从其他窗口窃取焦点。
有没有
一种
方法
可以
在
不
聚焦的情况下
抓取
窗
浏览 0
提问于2017-12-04
得票数 1
1
回答
无法
在
Google工作表中
使用
IMPORTHTML或IMPORTXML从网站
中
刮取数据
html
、
google-apps-script
、
web-scraping
、
google-sheets
、
google-sheets-formula
我想刮从网站上的数据,如上
面的
截图(数据
在
红框)
使用
谷歌工作表。我尝试
使用
IMPORTHTML和IMPORTXML,但两者都无法工作(输出为空)。这是我的谷歌单子: 我不确定是否可以
使用
IMPORTHTML或IMPORTXML从这个网站(IMPORTHTML)
中
刮取数据。或者可以
使用
Google脚本来实现这一点?
浏览 7
提问于2021-08-20
得票数 1
回答已采纳
2
回答
Python
-如何在URL
中
不分页地刮分页
python-3.x
、
web-scraping
如何
使用
URL访问下一
页
,内容如下:我知道如何
使用
刮取库(BS4、
Selenium
),但我不知道如何
抓取
这样的站点。我一直
在
玩谷歌Chrome开发工具,但没有成功。我知道pubmed有API,但是API
不
返回我需要的信息(天气文章是否可以免费下载)。像
Python
这样的
抓取
站点通常的工作流程是什么?
浏览 0
提问于2019-07-05
得票数 0
回答已采纳
1
回答
将
Selenium
Python
绑定用于
javascript
链接
python
、
selenium
、
scrapy
我正在尝试
使用
Scrapy来解析一组相对简单的网页。主页有一堆链接,如下所示: <a name='LINK1$17' id='LINK1$17' tabindex='145' href="
javascript
:hAction_win0(document.win0International Relations', false, true);" class='SSSAZLINK'>International Relations<
浏览 2
提问于2013-04-22
得票数 1
1
回答
使用
selenium
检查
javascript
异常?
javascript
、
python
、
selenium
我
使用
的是来自
python
的
Selenium
,
使用
的是Chrome后端的web驱动程序。我想在每次测试结束时检查一下,
在
测试过程
中
没有抛出
javascript
异常--基本上相当于打开JS控制台并查找红色文本。
有没有
一种
简单的
方法
可以从
selenium
中
做到这一点?我
不
希望从任何特定的
javascript
调用
中
捕获异常,我寻找的是
浏览 1
提问于2012-02-28
得票数 1
回答已采纳
3
回答
用于web
抓取
的
Selenium
与BeautifulSoup
javascript
、
python
、
selenium
、
beautifulsoup
我正在
使用
Python
从一个网站上
抓取
内容。首先,我
在
Python
上
使用
了BeautifulSoup和Mechanize,但我看到网站上有一个通过
JavaScript
创建内容的按钮,所以我决定
使用
Selenium
。既然我可以通过像driver.find_element_by_xpath这样的
方法
使用
Selenium
查找元素并获取它们的内容,那么当我可以
使用
浏览 1
提问于2013-07-03
得票数 53
回答已采纳
1
回答
被一行代码阻塞的bash标准输出
python
、
bash
、
selenium-webdriver
我有一个bash脚本,其中我调用
python
脚本:
python
myscript.pyfrom
selenium
import webdriver我的
浏览 1
提问于2019-02-26
得票数 2
回答已采纳
2
回答
如何
使用
selenium
web驱动程序托管由web
抓取
支持的后端服务?
python
、
selenium
、
selenium-webdriver
、
flask
、
web-scraping
因此,我正在开发一个项目来
抓取
一个网站并将数据传递给用户,但是我正在
使用
带有
python
/flask的
selenium
/
selenium
web驱动程序。我本来打算用漂亮的汤,但我
抓取
的网站需要在页面上进行一些交互。 我有一切工作与刮刀,我只是试图找出
一种
方法
,使这项工作,如果我想要托管
在
一个网站上
使用
的服务,如heroku。目前
Selenium
正在打开一个chrome浏览器,并
浏览 20
提问于2020-05-03
得票数 1
3
回答
使用
python
快速
抓取
动态内容
python
、
selenium
、
web-scraping
、
beautifulsoup
我正在尝试
使用
Python
动态内容,它是
在
JavaScript
中生成的(这个视频的浏览量和评论数:)。我熟悉BeautifulSoup (运行大约0.1秒,但没有
JavaScript
评估)和
Selenium
(3+秒,即使我停用CSS、图像等,但解释JS)。
有没有
一种
方法
可以
在
不
使用
浏览器的情况下
抓取
Python
语言中的
JavaScript
函数的
浏览 0
提问于2015-12-15
得票数 3
2
回答
urllib.request + BeautifulSoup不能刮某些页面,而只能刮根
页
python
、
web
、
web-scraping
、
beautifulsoup
、
urllib
我在从url
中
抓取
信息时遇到了问题,但是由于网站处理事情的方式,BeautifulSoup只是从根页面收集数据,也就是。<main class="site-content" id="content"> <div class="loading-spinner" data-request="epsilon-" id=&qu
浏览 0
提问于2017-01-26
得票数 0
回答已采纳
2
回答
使用
Python
抓取
javascript
生成的数据
javascript
、
python
、
screen-scraping
、
web-scraping
我想用
Python
抓取
下
面的
url的一些数据。我想刮掉的东西没有显示
在
第一
页
上。通过单击名为"재무제표“的
页
签,可以访问财务报表。点击名为“현금흐름표”的
页
签,进入“现金流”。然而,现金流数据是由
javascript
通过url生成的。正如您所看到的,第一个链接
中
的itemcode=078340表示股票代码,我希望收集现金流数据的股票多达1680只。我
浏览 2
提问于2012-04-07
得票数 8
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用多个Python库开发网页爬虫(二)
Python爬虫:selenium的填坑心得
这里有一份Python教程
Google推出的爬虫新神器:Pyppeteer,神挡杀神,佛挡杀佛!
使用Python进行网页抓取的介绍
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券