我正面临一个问题，当我点击一个按钮，然后Javascript处理操作，然后它重定向到一个带有新窗口的新页面(这类似于你用目标_Blank点击<a> )。在scrapy/splash中，我不知道如何从新页面获取内容(我的意思是我不知道如何控制新页面)。 任何人都可以提供帮助！script = """
浏览 26提问于2019-01-05得票数 1
回答已采纳
1回答
我正在尝试从这个页面(以及其他页面)获取动态电话号码：https://www.europages.fr/LEMMERFULLWOOD-GMBH/DEU241700-00101.html 在带有类page-actionclick-tel的元素div上单击后，将显示电话号码。我正在尝试通过scrapy_splash使用LUA脚本执行单击操作来获取这些数据。在我的ubuntu上启动<
浏览 21提问于2021-10-13得票数 0
1回答
我使用scraper制作了一个网络刮刀，从获取音乐会门票数据。我已经能够成功地从页面上每个票证的元素中刮取数据，除了只能通过单击“票证”按钮进入票务页面并从页面上的票证中抓取票价才能访问的价格之外。经过广泛的谷歌搜索，我发现Scrapy.js (以Splash为基础)可以在Scrapy中与页面上的JavaScript交互(比如需要单击</
浏览 2提问于2015-06-29得票数 6
1回答
作为练习，我尝试访问，点击地址文本框，输入一个位置，然后按enter按钮移动到包含该位置可用餐馆的下一页。在splash中，我得到以下错误消息： "info": {function ma
浏览 2提问于2017-01-13得票数 3
回答已采纳
我正试图从这个网站：中抓取大学的名称和链接，并且在处理分页时遇到了一个问题，因为指向下一页的按钮的href是javascript:void(0)，所以我无法用scrapy.Request()或response.follow此网站的URL不包含params，如果单击下一个页面按钮，URL将保持不变，因此我无法通过更改URL来处理分页。下面的代码片段只能在第一页和第二页获取大学的名称和链接：from
浏览 9提问于2022-05-12得票数 -1
回答已采纳
1回答
刮擦-等待页面加载的飞溅
、、、
我对刮擦和飞溅很陌生，我需要从单个页面和常规的web应用程序中抓取数据。不过，有一点要注意的是，我主要是从内部工具和应用程序中抓取数据，所以有些工具和应用程序需要身份验证，而且所有这些都需要至少几秒钟的加载时间才能完全加载页面。然后，我了解了LUA脚本作为这些请求的参数，并尝试了使用不同形式的wait()形式的LUA脚本，但看起来这些请求实际上从未运行过LUA脚本。它马上就完成了，我的HTMl选择器找不到我要找的东西。我在这里遵循的指导，并让它们的docker实例在localhost上运
浏览 0提问于2019-08-30得票数 0
回答已采纳
1回答
问题有关页面内容的更多详细信息我的想法是按‘title=’的“Mehr anzeigen”按钮的次数，因为它是需要的所有24.453记录显示在页面上。一旦完成，我将能够解析页面并收集所有记录。首先，我尝试编写一个实现Selenium的Scrapy蜘蛛来呈现动态
浏览 0提问于2018-03-20得票数 0
回答已采纳
我创建了一个页面事件google扩展，当按下扩展的弹出式按钮时，它创建了一个新窗口。我不想通过按下新窗口中的按钮从活动面板中获取屏幕截图。我通过向后台页面发送一条消息来完成捕获，但我总是收到以下错误：
如果我理解正确的话，这个捕获应该
浏览 3提问于2015-03-03得票数 0
回答已采纳
我使用Python、Scrapy、Splash和scrapy_splash包来废弃网站。在门户页面上，有一个表单元素包装了许多按钮。单击时，将更新操作URL，并触发表单提交。表单提交导致30
浏览 3提问于2017-05-18得票数 2
回答已采纳
我正在尝试刮从的高分辨率图像的链接，但高分辨率版本的图像只能在点击页面上的中等大小的链接时才能被检查，即在单击“单击此处以放大图像”(在页面上，它是土耳其语)之后。但是，您知道在JS页面中，您不能输入response.xpath("//blah/blah/@src")并获取一些数据。我安装了Splash (与Docker拉)，并配置了我的Scrapy
浏览 2提问于2021-06-24得票数 0
回答已采纳
1回答
呈现使用框架集的页面
、、、、
我正在使用scrapy + splash为我的大学抓取网站。其中一些页面很古老，使用了我不熟悉的技术。我注意到有几个站点没有完全渲染。所有不完整的页面都使用<frameset>而不是传统的<body>。通过启动的gui，页面似乎完全呈现(我可以看到快照)，但html不包含来自frame src的内容。下面是一些代码来说明我的问题：from scrapy_splash import
浏览 16提问于2018-03-04得票数 0
回答已采纳
3回答
(当用户填写表单中的所有字段时，按钮将变为启用状态，并以指定的格式显示JSON (我这样做了))。我翻译成JSON，但不知道如何输出它…我正在考虑创建新的html页面，并在第一页的按钮上做window.open，但它不读取第一页用户输入的数据。或者我应该以某种方式将它保存在JSON文件中，然后从其他页面读取它？>
<button type="submit" id="btn" class="btn"
浏览 4提问于2013-05-28得票数 0
我有一个在普通浏览器上正常工作的请求，而不是在刮掉的shell中。当我使用"scrapy shell“或"scrapy爬行”时，整个HTML块就会消失。我不一定被禁止。下面是github上的问题(带图片)，然后用mozilla这样的常规浏览器重定向到下面的链接(法语网站属性拍卖)：
我哪里错过了重
浏览 3提问于2016-07-10得票数 2
我在试着刮具有元素列表和底部可增加列表的展开按钮的页面。它使用onclick事件进行扩展，但我不知道如何激活它。我正在尝试使用scrapy-splash，因为我读到它可能会工作，但我不能让它正常工作。expand按钮是页面底部的蓝色按钮，它的inspect显示了这个结果。 mostrar mais vagas
浏览 26提问于2020-08-03得票数 1
回答已采纳
1回答
硒+刮屑
、、、
我正在尝试使用scrapy和selenium，以便能够与javascript交互，并且仍然拥有scrapy提供的强大的刮取框架。我编写了一个访问的脚本，在搜索栏中输入“阿姆斯特丹”，然后成功地点击搜索按钮。单击搜索按钮后，我希望从新呈现的页面中提取一个元素。不幸的是，scrapy不返回任何值。from scrapy.crawler import CrawlerProcess
fro
浏览 4提问于2017-01-10得票数 2
回答已采纳
是否有方法在新窗口中打开外部URL，并保持监视URL在新打开的窗口中更改并采取相应的行动。我也想从新开放的window.Basically中获得cookie值，我正在开发angularjs网站。例如，在单击facebook按钮(使用passportjs进行社交登录)时，应该将用户重定向到facebook登录屏幕，一旦登录成功，用户将被重定向到一个页面，当重定向完成后，我将从服务器发送访问和刷新因此，我希望在重定向完成
浏览 0提问于2016-05-10得票数 1
回答已采纳
2回答
我想做的是
单击按钮后，会显示弹出式显示，并且可以看到电话。end没有单击按钮，也没有显示电话号码。如果我们将item-phone-button替换为js-show-stat，则单击同一页面上的另一个字段可以正常工作。所以Javascr
浏览 0提问于2018-03-14得票数 3
回答已采纳
我有一个.aspx页面，上面有一个链接，当单击它时，将使用window.open打开一个新窗口。如何从新窗口可靠地引用textbox的ID？我也安装了jQuery，但不确定是否可以在新窗口中使用jQuery？
浏览 1提问于2009-05-25得票数 0
我正在尝试从instagram图片中获取标签文本，例如：https://www.instagram.com/p/CHPoTitFdEz/，但是Scrapy没有返回任何内容。在我已经写过的Scrapy shell中： response.xpath('//span[@class=""]/a[@class="xil3i"]/text()').ge
浏览 31提问于2020-11-28得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
