我正在尝试在Splash中运行Lua脚本来执行Google搜索，并截取搜索结果的屏幕截图。当我尝试在Lua脚本中使用xpath或css选择器选择Google搜索框时，我得到了这个错误： { "type": "ScriptError",
"descriptionDOM Except
浏览 83提问于2020-10-12得票数 1
1回答
刮擦-等待页面加载的飞溅
、、、
我对刮擦和飞溅很陌生，我需要从单个页面和常规的web应用程序中抓取数据。不过，有一点要注意的是，我主要是从内部工具和应用程序中抓取数据，所以有些工具和应用程序需要身份验证，而且所有这些都需要至少几秒钟的加载时间才能完全加载页面。然后，我了解了LUA脚本作为这些请求的参数，并尝试了使用不同形式的wait()形式的LUA脚本，但看起来这些请求实际上从未运行过L
浏览 0提问于2019-08-30得票数 0
回答已采纳
我使用Python、Scrapy、Splash和scrapy_splash包来废弃网站。在门户页面上，有一个表单元素包装了许多按钮。单击时，将更新操作URL，并触发表单提交。表单提交导致302重定向。我在SplashRequest中</
浏览 3提问于2017-05-18得票数 2
回答已采纳
2回答
在使用Splash提出请求之后，我正在尝试访问cookie。下面是我如何构建请求的方法。script, }该脚本是Splash文档的精确副本。因此，我试图访问设置在网页上的cookie。当我不使用Splash时，下面的代码会像我所期望的那样工作，而不是
浏览 2提问于2017-01-03得票数 4
我试图刮几个动态网站使用Splash在python抓取。但是，在某些情况下，Splash无法等待整个页面的加载。解决这个问题的一种蛮力方法是增加大量的wait时间(例如。在下面的片段中5秒)。但是，这是非常低效率的，仍然无法加载某些数据(有时加载内容需要超过5秒)。是否存在某种等待元素条件，可以通过这些请求进行处理？
浏览 6提问于2016-12-10得票数 16
回答已采纳
我正在尝试从开机启动请求中获取cookie，但我一直收到错误。下面是我使用的代码： name = 'p2peyeSpider'
allowed_domains = ['p2peye.com'yield SplashRequest(url, callback=self.parse, endpoint='render.html',args={'wait': 1, 'lua</
浏览 21提问于2018-08-01得票数 1
我正在运行ScrapySplash，并试图将在Lua中创建的一个表传递给Parse方法。如果我试图访问这个表，我会得到一个类型错误：'SplashJsonResponse‘object is not subscriptable’。我的Lua脚本如下： function main(splash, args)
assert(
浏览 2提问于2020-03-26得票数 0
1回答
当我爬行整个网站时发生的问题，使用splash来渲染整个目标Page.Some页面没有随机成功，所以我是假的，以获取信息，支持存在时，渲染作业有Done.That意味着我只是从渲染结果的一部分信息，虽然我可以从其他渲染结果获得全部信息以下是我的代码：
sett
浏览 12提问于2017-03-28得票数 3
1回答
如何保存飞溅的cookie
、、、、
我目前正在尝试抓取一个网站，并试图在抓取的同时保持登录状态。不幸的是，据我所知，splash会在每次splashrequest时重置cookie。我正在使用splash和scrapy来抓取一个javascript站点。我的问题是:我如何防止我的cookies被重置？在我自己在网上寻找解决方案后，我知道它与lua脚本或cookie中间件有关，但我不知道如何使用它们。如果有人能帮上忙，
浏览 64提问于2021-03-03得票数 0
1回答
我正在使用scrapy和splash来抓取网站，出于某些原因，我使用splash和scrapy，尽管我知道我可以抓取它的应用程序接口。我的问题是，我只希望我的lua脚本只返回工作列表的urls，而不是整个splash:html()页面，我一直在尝试这样做，但我得到了下面的错误消息： "error": 400,
""mes
浏览 2提问于2020-05-26得票数 1
我正在使用Scrapy Splash抓取一个包含如下元素的页面： 第1页，共349页 1|2|3|4|5|6|7|8|9| 10 |下一步> 我想‘点击’锚与文本‘下一步’，并让javascript这是我的刮刀的样子： script = """ splash:init_cookies(splash.args.cookies)cookies={
浏览 29提问于2019-02-16得票数 1
回答已采纳
我有一个飞溅刮刀和Lua脚本。Lua脚本目前只在页面上启动滚动，以便在搜索页上加载更多结果。从搜索页面导航到我刮过的详细页面。但是，在细节页面上，照片旋转木马还没有出现在DOM中，当用户单击#showphotos元素时就会动态加载它。:html() end因为我对Splash和Lua非常陌生，所以
浏览 6提问于2020-12-20得票数 0
Splash浏览器不会通过http代理向其发送任何内容。即使代理没有运行，页面也会被获取。
在python 3中，我使用带有scrapy的方法来获取Angular.js网站认证后的页面。该脚本能够在身份验证后获取页面、身份验证和获取页面。但是，它不使用本地主机上的代理设置:8090和wireshark确认来自端口8050的通信量流向50k范围内的某个端口。安装程序在端口8050 -
浏览 0提问于2019-07-31得票数 0
我试图在scrapy中作为用户定义参数传递一个变量，这个变量将用于lua脚本的for循环，我的代码如下所示：from scrapy_splash import SplashRequest，当我使用一个接口运行lua脚本的for循环(即for i=1,5,1 )时，脚本工作得很好，但是当我试图使用scrapy crawl allprod
浏览 10提问于2020-10-12得票数 0
回答已采纳
1回答
刮擦--用Tor喷溅
、、、、
我已经成功地使用以下链接运行了Scrapy和Tor：HTTP_PROXY = 'http://127.0.0.1:8123'socksParentProxy = localhost:9150
diskCacheRoot="
浏览 2提问于2017-02-16得票数 4
回答已采纳
2回答
我是从码头开始的。我为splash和scrapy创建了一个很大的lua脚本，然后运行，我发现了问题：
Lua：__gc元方法中的错误(/app/splash/lua_ much /sandbox.lua:189:脚本使用太多内存我怎么能增加飞溅的记忆呢？
浏览 0提问于2017-06-01得票数 3
回答已采纳
我正在尝试创建一个scrapy-splash脚本，以便从以下位置获取食品链接：
当您第一次访问它时，它会让您选择一个地域。我之所以使用splash，是因为carousel是由javascript创建的，而常规的请求和解析不会在html中显示它。我的问题是，我没有得到任何数据到我的‘项目’字典。顺便说一句，我也在docker控制台上运行了splash。如果我在浏览
浏览 0提问于2017-07-05得票数 0
1回答
Lua脚本无法单击按钮
、、、
我正在尝试使用这个lua脚本通过scrapy-splash从link中抓取航班： function main(splash) assert(splash:go(splash.args.url)):html()
end 出于某种原因，我得到了这个错误： 'LUA
浏览 36提问于2019-02-22得票数 1
我尝试将SplashRequest与端点=‘execute’一起使用下面的代码发送post请求，但是结果显示我没有成功。import CrawlerItem
name = "test" assert(splash:go(args.url))
assert(splas
浏览 3提问于2017-10-25得票数 0
回答已采纳
2回答
我遇到了一个问题，我的Lua脚本拒绝执行。从ScrapyRequest调用返回的响应似乎是一个HTML，而我期待的是一个文档标题。我假设Lua脚本从未被调用，因为它似乎对响应没有明显的影响。我已经在文档中挖掘了很多东西，而且似乎不太清楚这里缺少什么。有人有什么建议吗？= urljoin(GOOGLE_BASE_URL, GOOGLE_QUERY_PARAMETERS)
GOOGLE_SEARCH_QUERY = &
浏览 4提问于2016-08-12得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
