腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
scrapy
从facebook中抓取数据
、
、
、
因此,在抓取这个url之前,我通过
scrapy
登录,然后通过这个结果页面登录。但是,即使这个页面的http响应是200,它也不会丢弃任何数据。守则如下:from
scrapy
.spider import BaseSpiderfrom
scrapy
.selectorimport HtmlXPathSelector from
scrapy
.contrib.spiders import CrawlSpider, R
浏览 3
提问于2013-05-31
得票数 5
1
回答
如何在飞溅中
模拟
鼠标
点击
、
、
我正在抓取一个网页,,我需要
点击
一个按钮来访问一些数据,所以我试图
模拟
鼠标
点击
,但我对如何做到这一点感到困惑。我建议只刮JSON,因为这样会容易得多,但我真的不想刮它。我宁愿刮一个普通的网站。到目前为止,我还不知道该怎么做才能让它
点击
显示按钮,但这是我迄今为止最好的尝试。import
scrapy
from
scrapy
_splash import SplashRequest from ..itemsi
浏览 0
提问于2019-06-27
得票数 0
回答已采纳
1
回答
如何在python
scrapy
中获取请求头
、
如何在python
scrapy
中获取动态表数据的请求头?有没有一种方法可以在不使用
点击
模拟
的情况下获得数据?
浏览 0
提问于2020-04-04
得票数 0
1
回答
Web抓取:自动按钮单击
、
、
、
、
它建议使用Selenium and
Scrapy
的组合。 我正在浏览一个网站上的优惠。按钮的功能是显示更多的报价。因此,单击它时,它调用一个javascript函数来加载结果。我只需要自动
点击
一个按钮。我该怎么做?
浏览 3
提问于2015-01-07
得票数 6
回答已采纳
4
回答
模拟
点击
js
、
、
、
、
现在,当我
点击
按钮时,它会变成display:block,但在我的div中,会显示一个弹出窗口,当我
点击
时,弹出窗口就会消失。 所以我需要
模拟
一个
点击
,这样另一个div就不会显示出来。
浏览 6
提问于2015-05-29
得票数 0
1
回答
如何通过
scrapy
python从动态(?)已创建的表
、
、
、
: css: a.elements-title-normal #from
scrapy
_selenium import SeleniumRequest # only needed when using selenium
浏览 18
提问于2021-10-19
得票数 0
回答已采纳
1
回答
python web抓取: onclick ajax请求不返回任何状态200
、
、
我应该如何在
点击
事件中获取数据?
浏览 0
提问于2017-09-01
得票数 0
1
回答
Scrapy
- Splash获取动态数据
、
、
、
我正在尝试通过
scrapy
_splash使用LUA脚本执行单击操作来获取这些数据。上启动splash后: sudo docker run -d -p 8050:8050 scrapinghub/splash 到目前为止,我的代码如下(我使用的是代理服务): class company(
scrapy
.Spider': 723, '
scrapy
.do
浏览 21
提问于2021-10-13
得票数 0
1
回答
Scrapy
-在首次请求后禁用Selenium
、
、
这是蜘蛛的代码: name = 'store' 'HEADLESS' : True, '
scrapy
.downloadermiddlewares.retry.RetryMi
浏览 0
提问于2018-10-04
得票数 2
1
回答
抓取跟随javascript输入按钮
、
、
、
GetData" type="submit">类GetData显示一些可
点击
的图标我已经尝试了下面的代码,只是看看是否有
scrapy
跟随输入,但没有成功。links = sel.xpath("//input[@class='GetDat
浏览 1
提问于2016-01-21
得票数 3
回答已采纳
2
回答
web抓取vaadin python
、
、
、
/VAADIN/vaadinBootstrap.
js
"></script> <script type="text/javascript">//<!
浏览 1
提问于2019-01-17
得票数 2
2
回答
使用
Scrapy
Splash将响应存储为文件
、
、
、
、
import
scrapy
author =
scrapy
.Field: self.log('Saved file %s' % filename)如何调试它: 在代码中,
点击
\tutorial\spiders\quotes_spider_<
浏览 5
提问于2020-10-14
得票数 4
回答已采纳
2
回答
有没有一种简单快速的方法来生成JavaScript?
、
、
、
(在5-6次
点击
后)页面通过执行javascript生成更多的评论。首先,我用一个网页驱动程序(firefox)解决了这个问题,并
模拟
了一个真人
点击
按钮,它会生成评论,然后他会一直按住,直到所有评论都生成。我需要的是一种方法,以更好,更快的方式生成每个应用程序的所有评论。也许有某种技术,或者其他任何东西可以改进我的解决方案,我们将非常感谢您的帮
浏览 0
提问于2015-05-04
得票数 0
2
回答
单击
Scrapy
-Splash中的显示按钮
、
、
、
、
我正在抓取下面的网页使用
scrapy
splash,http://www.starcitygames.com/buylist/,我必须登录到它,以获得我需要的数据。我已经得到了一个答案,告诉我我不能简单地
点击
显示按钮并刮掉显示的数据,我需要刮掉与该信息相关的JSON网页,但我担心的是,刮掉JSON将是网站所有者的一个危险信号,因为大多数人不打开JSON数据页面,与计算机相比所以我想我的问题是,有没有办法刮掉我的
点击
显示的网页,或者我别无选择,只能刮掉JSON页面?这就是我到目前为止所得到的。但它并没有
浏览 28
提问于2019-06-26
得票数 5
回答已采纳
1
回答
Python -单击链接时抓取数据不会更改URL
、
、
我想从这里抓取数据:在该页面中有一个标题为“市场流动”的部分,下面有3列:“最活跃的人”,"%获得者“,"%失败者”,每一个都可以
点击
。该部分列出了10只股票。同样在第10只股票的末尾,有一个可
点击
的矩形“再加载10个”。 我想要做的是
点击
"%获得者“,同时
点击
”加载10多个“,查看排名前20的获得者列表,并在Python中抓取数据。
浏览 1
提问于2015-09-11
得票数 1
2
回答
如何使用
scrapy
单击元素并返回
JS
、
我通常希望
点击
每个列表项并从结果页面中获取信息,但是没有href可遵循。 我假定类类型以某种方式指向了一些
JS
代码。单击列表项时,
JS
会将您重定向到新的url。我能用
Scrapy
找到它吗?注意:我对
JS
不太了解
浏览 0
提问于2019-07-23
得票数 0
回答已采纳
1
回答
Scrapy
不提取某些选择器中的文本
我正在使用
Scrapy
抓取一个网站,但当我选择某些选择器时,它不会提取其中的文本。
浏览 4
提问于2019-08-19
得票数 0
1
回答
如何人工创建ConnectionRefusedError?
、
、
、
、
我想在
Scrapy
中调试ConnectionRefusedError处理。如果不能
模拟
错误,我就不能进行调试。如何
模拟
ConnectionRefusedError?
浏览 11
提问于2020-05-27
得票数 0
1
回答
scrapy
+ selenium:<a>标记没有href,但内容由javascript加载
、
、
我第一次尝试使用
scrapy
,selenium从加载了javascript内容的网站收集数据,就快完成了。下面是我的代码: # -*- coding: utf-8 -*-from selenium import webdriverfrom
scrapy
.http import Requestimport time classFre
浏览 56
提问于2020-07-12
得票数 0
1
回答
使用
Scrapy
和Splash在动态的JavaScript网页中刮取图像
、
、
、
、
我正在尝试刮从的高分辨率图像的链接,但高分辨率版本的图像只能在
点击
页面上的中等大小的链接时才能被检查,即在单击“单击此处以放大图像”(在页面上,它是土耳其语)之后。但是,您知道在
JS
页面中,您不能输入response.xpath("//blah/blah/@src")并获取一些数据。我安装了Splash (与Docker拉),并配置了我的
Scrapy
setting.py文件等,以使它工作(这个帮助。不需要访问链接,除非你想学习如何做)。...and它在其他
JS
网
浏览 2
提问于2021-06-24
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Scrapy+Selenium模拟登录CSDN
Scrapy爬虫教程三 详细的Python Scrapy模拟登录知乎
用 selenium和scrapy 模拟知乎登录
对抗蠕虫——如何让按钮不被 JS 自动点击
JavaScript的使用:如何让按钮不被 JS 自动点击
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券