腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
使用
selenium
来
抓取
网
站上
生成
的
数据
?
python
、
selenium
、
selenium-webdriver
、
web-scraping
我正在实现一个Python代码,其中我需要
生成
一个SHA密钥。为此,我
使用
了一个在线SHA
生成
器。我通过
selenium
发送输入(需要Hash
的
数据
),它成功地工作了。但是,在此之后,我无法获得
生成
的
输出(文本字符串)。我
使用
find_element_by_xpath函数获取此
数据
,但它只返回一个空字符串。我不明白我做错了什么。有人能告诉我怎么做吗?或者,除了
使用
Selenium
之
浏览 11
提问于2020-07-07
得票数 0
1
回答
如何
从承载HTML之外
的
表
数据
的
网站中刮表?
python
、
html
、
pandas
、
beautifulsoup
、
python-requests
我正在尝试从这个表URL:中
抓取
表
数据
在之前
的
测试中,我
使用
了以下Python包:从bs4导入BeautifulSoup导入请求导入mysql.connector作为pd从sqlalchemy导入create_engine我
浏览 3
提问于2022-04-02
得票数 -1
回答已采纳
4
回答
使用
Scrapy进行Python
数据
抓取
python
、
python-2.7
、
web-scraping
、
scrapy
我想从一个网
站上
有TextFields,按钮等
抓取
数据
。我
的
要求是填写文本字段并提交表单以获得结果,然后从结果页面中
抓取
数据
点。(编辑) 我
的
要求是从ComboBoxes中选择值并单击search按钮,然后从结果页面中
抓取
数据
点。附注:我正在
使用
selenium
Firefox驱动程序从其他网站
抓取</em
浏览 1
提问于2013-05-28
得票数 8
回答已采纳
3
回答
如何
将
Selenium
html页面传递给htmlXpathSelector
python
、
selenium
、
scrapy
我需要
抓取
一个
使用
javascript
的
页面。这就是我
使用
Selenium
的
原因。问题是
selenium
无法获取所需
的
数据
。 我想
使用
htmlXmlSelector
来
尝试获取
数据
。
如何
将
生成
的
html
selenium
传递给htmlXmlSelector?
浏览 5
提问于2012-07-27
得票数 3
回答已采纳
1
回答
抓取
句柄302重定向
python
、
http
、
web-scraping
、
scrapy
、
http-status-code-302
我正在尝试用一个粗糙
的
CrawlSpider
抓取
一个网站,问题是这个网站一直在随机地重定向我,这意味着一个url有时可能会加载,有时会被重定向到某个页面。我试着改变我
的
用户代理,尝试通过创建一个类似于浏览器发送
的
http头
来
模仿浏览器
的
行为,即使我
使用
crawlera发送请求,也没有解决我
的
问题。
浏览 2
提问于2017-11-06
得票数 0
1
回答
您
如何
区分哪些站点是HTML & JS,哪些站点是
使用
React、Angular等通过JS呈现
的
?
javascript
、
scrapy
、
rabbitmq
、
scrapy-splash
在创建我
的
第一个爬虫时,我想检查网站是否
使用
了某个框架。我知道我可以
使用
SplashRequest来
使用
无头浏览器
来
呈现它,但这样做效率不高。我
如何
才能弄清楚哪些网站需要通过Splash,哪些网站不需要这样做,而不是真正制作无用
的
SplashRequests? 谢谢!
浏览 3
提问于2021-03-26
得票数 0
2
回答
Python -
如何
在URL中不分页地刮分页
python-3.x
、
web-scraping
如何
使用
URL访问下一页,内容如下:我知道
如何
使用
刮取库(BS4、
Selenium
),但我不知道
如何
抓取
这样
的
站点。我一直在玩谷歌Chrome开发工具,但没有成功。我知道pubmed有API,但是API不返回我需要
的
信息(天气文章是否可以免费下载)。像Python这样
的
抓取
站点通常
的
工作流程是什么?
浏览 0
提问于2019-07-05
得票数 0
回答已采纳
1
回答
如何
在点击按钮后
抓取
数据
python-3.x
、
web-scraping
、
beautifulsoup
我试着用漂亮
的
汤从网
站上
抓取
数据
,但要
抓取
所有内容,我必须点击按钮 <button class="show-more">view all 102 items</button> 加载每一项。我听说可以用
selenium
来
完成,但这意味着我必须用脚本打开浏览器,然后
抓取
数据
。有没有其他方法
来
解决这个问题。
浏览 16
提问于2019-06-10
得票数 0
3
回答
如何
在这个网站中动态地
抓取
生成
的
数据
?
javascript
、
python
、
selenium
、
web-scraping
、
firebug
这是我想刮
的
网站我还尝试
使用
firebug
来
监视在“快速出价”和我
的
浏览器之间传输
的
数据
包。我发现,为了同步时间戳,每秒钟都会发送
数
浏览 6
提问于2013-08-09
得票数 0
回答已采纳
2
回答
Web
抓取
-页面源中未显示内容
python
、
selenium
、
web-scraping
我正在尝试从一个网
站上
抓取
信息:。所有
数据
似乎都是在重复卡片中
生成
的
,但我在查看页面源代码时找不到这些信息。我尝试过
使用
像
Selenium
这样
的
web驱动程序,但是仍然不能看到我想要
抓取
的
内容。我希望能够提取每个条目的所有重复
数据
。driver.get(url) soup = bs.BeautifulSoup(web_url, '
浏览 1
提问于2020-08-04
得票数 0
1
回答
即使xpath在chrome.Why中是正确
的
,Scrapy shell也会给出一个空列表
的
输出?
scrapy
、
scrapy-shell
在Scrapy shell上执行fetch(url)fetch(r) response.xpath("//div[@class='ant-col-20 ant-col-push-4 c1z9Ut']/div[@class='c1_t2i']/div[@class='c2prKC']/d
浏览 1
提问于2020-07-24
得票数 1
1
回答
Python
Selenium
'WebDriver‘对象没有属性错误
python
、
selenium
、
attributes
、
web-scraping
、
attributeerror
我正在尝试从一个中文网
站上
抓取
一些javascript
生成
的
内容。我
使用
Selenium
(和Python),因为我不能直接
抓取
javascript内容。# -*- coding: utf-8 -*-from
selenium
.webdriver.common.keys import Keysfrom
selenium
.
selenium
浏览 0
提问于2012-10-16
得票数 6
回答已采纳
2
回答
使用
Selenium
测试Liferay门户
selenium
、
liferay
我想用
Selenium
测试Liferay portlet,但问题是Liferay
生成
的
元素ids是动态
的
,似乎每次我进入portlet时它们都会改变。有人对我
如何
测试portlet有什么建议吗?谢谢你
的
帮助。
浏览 0
提问于2013-02-16
得票数 4
回答已采纳
3
回答
用于web
抓取
的
Selenium
与BeautifulSoup
javascript
、
python
、
selenium
、
beautifulsoup
我正在
使用
Python从一个网
站上
抓取
内容。首先,我在Python上
使用
了BeautifulSoup和Mechanize,但我看到网
站上
有一个通过JavaScript创建内容
的
按钮,所以我决定
使用
Selenium
。既然我可以通过像driver.find_element_by_xpath这样
的
方法
使用
Selenium
查找元素并获取它们
的
内容,那么当我可以
使用
浏览 1
提问于2013-07-03
得票数 53
回答已采纳
1
回答
使用
Xpath提取值时来自Scrapy
的
空列表
python
、
xpath
、
web-scraping
、
scrapy
真的需要这个社区
的
帮助。我
的
问题是,当我
使用
python中
的
代码时要提取scrapy shell中
的
供
浏览 2
提问于2018-02-12
得票数 2
3
回答
使用
BeautifulSoup从html中提取一个值
python
、
html
、
beautifulsoup
我试图
使用
bs4从这个HTML中检索一个值。我对
数据
抓取
非常陌生,我试图找出一些方法
来
获得这个值,但是没有用。我看到
的
最接近
的
解决方案就是这个。BS(html_content, 'lxml') 在我尝试
使用
stri
浏览 6
提问于2021-09-08
得票数 1
回答已采纳
1
回答
scrapy:在scrapy finishing处理urls之后发布一些表单
python
、
web-scraping
、
scrapy
、
scrapy-spider
我正在
使用
scrapy从一个会员
的
唯一
网
站
抓取
数据
。我成功地执行了登录和
抓取
数据
。我
的
问题是:
如何
获得scrapy完成处理所有url
抓取
<e
浏览 0
提问于2015-04-15
得票数 2
1
回答
JavaScript (和移动)API
如何
保持用户
数据
的
清洁?
web-application
、
javascript
、
mobile
、
account-security
、
client-side
假设我们运行
的
是Google Analytics,我们跟踪用户特定
的
数据
(或者根据这些
数据
显示内容,比如最近浏览
的
页面) --我们添加了一个像素,然后将用户
数据
传递给Analytics平台。
如何
防止恶意用户根据随机用户ids传递一堆垃圾
数据
? 移动设备也是如此;假设我们集成了客户服务SDK (如Zendesk )。通常情况下,我们必须在应用程序中包含一个密钥或证书。怎样才能阻止恶意用户反编译我们
的
应用程序,然后
使用
应
浏览 0
提问于2019-01-15
得票数 0
1
回答
在python gae上运行
selenium
?
python-2.7
、
selenium
、
google-app-engine
我有一个flask应用程序,它
的
端点
使用
selenium
和铬驱动程序。我
使用
此代码来
抓取
angular网站
的
网页,创建一个json并将其提供给客户端。早些时候,这个站点很容易被BeautifulSoup
抓取
,我用来将json和put operation.This的当前时间一起存储在
数据
存储中,这样我就不会在每次客户端请求时都
抓取
网站,并且有一个函数可以确保在再次
抓取
网站之前5个小时都是好
的
。但现在我
浏览 0
提问于2018-12-26
得票数 0
2
回答
获得二级方程式车手
的
现场排名。
python
、
web-scraping
我一直试图
使用
python向我展示在方程式2现场冠军
的
排名,从比赛前
的
排名,然后添加到每个车手与他们所处位置相对应
的
分数。我遇到
的
问题是,我无法从公式2 获得实时更新。我一直在
使用
BeautifulSoup
来
尝试从f2
网
站上
抓取
数据
。
浏览 13
提问于2022-09-04
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
《权力的游戏》最终季上线!谁是你最喜爱的演员?这里有一份Python教程
Python WordCloud对电视剧<>短评生成词云
Python爬虫入门,快速抓取大规模数据4
Python爬虫入门实战七:使用Selenium-以抓取QQ空间好友说说为例
Python 爬取煎蛋妹子图
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券