经过大量的Googling搜索，我不知道如何使用原始cookies (即name1=value1; name2=value2; ...)为傀儡Apify爬虫设置cookies。我看到有Page.SetCookie，但这需要一个Puppeteer.Cookie对象数组。每次都很难格式化。 我还看到Apify支持在Apify仪表板上设置cookie。但是如果我想在本地运行我的应用程序，这是没有帮助的(至
浏览 16提问于2020-08-27得票数 0
Apify documentation 解释说，默认数据集可以通过设置环境变量APIFY_DEFAULT_DATASET_ID来命名。如果我这样做，在创建puppeteer crawler之前使用代码示例1(见下文)，如果我爬行页面并使用代码示例2存储结果，我会得到一个。//代码示例1:设置默认数据集id常量爬虫=新的
浏览 23提问于2019-10-20得票数 0
我用我想要抓取的URL设置了一个爬虫，演员正在工作，我用cookie/截图示例进行了测试。我只是在演员和爬虫之间传递cookie时遇到了问题： const Apify = require('apify');
const input= await Apify.getValue('INPUT');
const browser = a
浏览 26提问于2019-05-10得票数 0
2回答
看起来Apify将处理过的请求保存在“已处理”目录中。我想停止这个操作，因为apify不会抓取我之前抓取过的页面。有人知道如何阻止Apify保存已处理的请求吗？
浏览 25提问于2020-10-21得票数 0
回答已采纳
我想要存储我的会话cookie，并使用木偶师.验证我的帐户。
现在，我直接使用我的用户名和密码进行身份验证。
浏览 2提问于2020-03-18得票数 2
抓取搜索结果的每一页
Apify.main(async () => {
// what should this code好的，如果不是，我只是想知道我是否遗漏了一种明显的方法，可以在同一爬虫的不同运行中或者在不同的爬虫实例之间共享会话状态。FWIW，我只爬了20页，所以perf没什么
浏览 16提问于2022-01-02得票数 0
我已经搜索了Apify文档，但我找不到一种方法来设置输出文件名。现在它是{.json}索引，但是我可以为Apify抓取的每个页面指定一个自定义名称吗？
浏览 16提问于2020-04-17得票数 0
回答已采纳
Apify可以从sitemap.xml抓取链接 const requestList= new Apify.RequestList({
sources: [{ requestsFromUrl: 'https://edition.cnn.com/sitemaps/cnn/news.xml
浏览 0提问于2019-08-20得票数 3
回答已采纳
1回答
找不到木偶剧相关模块和依赖项
、、、、
我使用npm安装了puppeteer，然后在尝试编译它时，出现了以下错误：我尝试了这里的解决方案： "puppeteer": "^1.14.0", }我认为在其中添加jest没
浏览 1提问于2019-04-04得票数 1
我已经将项目加载到Apify云中，当我使用输入运行它时，问题非常有趣：No found!。不过，它在我的电脑上运行得很顺利。运行日志：2019-08-20T13:17:58.013Z ACTOR: StartingnodeVersion":"v10.16.0"}2019-08-20
浏览 1提问于2019-08-20得票数 0
回答已采纳
我正试图用一个非常简单的例子来获取Apify的：const request = require('request-promise');Apify.main(async () => {
startUrls: [{url: "http://example.org"}],const title = await pag
浏览 0提问于2019-07-26得票数 0
回答已采纳
如何查看apify任务运行的完成状态(成功、失败、中止)？, });
"taskId": ${JSON.stringify(process.env.APIFY_ACTOR_TASK_ID || null)},
"runId
浏览 10提问于2020-01-03得票数 0
回答已采纳
1回答
我正在尝试在本地运行Apify，在安装了所有软件包之后，创建了参与者并运行了它，我得到了以下内容：
> test2@0
浏览 6提问于2022-02-08得票数 0
1回答
应用码头如何运行
、、、
使用Node/Apify/Puppeteer，我如何将我的应用程序封装起来并在本地测试运行？这是我的装置。node-fetch": "^3.2.6", }, "start": "node main.js"}
我能跑到本地去nor APIFY_TOK
浏览 1提问于2022-07-18得票数 1
回答已采纳
1回答
我在web-test.domain.com上运行web，在services-test.domain.com上运行服务。
为了调试，我在本地运行了一些web服务。但问题是，当我在本地运行auth服务(其中设置了cookie )但services-test.domain.com上的其他服务运行时，cookie (带有sessionID)不会随请求一起
浏览 2提问于2015-03-02得票数 6
如何将此脚本的JSON输出保存到Apify中的key-store-value？当我运行脚本时，一切正常，数据集显示了每种类型的抓取数据，但是key-value-store/Keys仍然是空的。下面是我的Actor代码： const Apify = require('apify');
const metamorphInput"debugLog":
浏览 6提问于2020-09-11得票数 0
1回答
如果代理旋转是活动的，我如何看到它工作，例如，当代理旋转触发时，在哪里可以获得已使用的IP?如果创建了新的爬虫，或者打开了新的选项卡，那么在哪里可以获得已使用的IP？
最佳毕业生，Wulfg ng
浏览 1提问于2019-10-29得票数 0
3回答
最后，当所有30个url都被刮掉时，我需要点击最后一个单独的URL，将30个URL抓取的结果放到一个消防站db中，并进行一些其他的突变(比如查找地址等)。目前，我有一个请求队列中的所有30个urls (通过Apify web-接口)，并且我试图查看它们何时全部完成。 let pendingRequestCount = await queue.getInfo();
我需要将最后一个
浏览 2提问于2019-08-13得票数 2
回答已采纳
1回答
可以使用带有伪URL的Apify抓取多个页面吗？ 当人们问同样的问题时，答案大多指向伪URL，如果有可能或不可能这样做，并不会直接解决问题。如果我在运行爬虫的时候不知道伪URL，并且我从一个页面上抓取了10个链接-然后想要抓取这10个链接，那怎么做呢？https://kb.apify.com/tutorial-creating-your-first-crawler/crawling-multiple-pages
浏览 15提问于2019-03-19得票数 0
1回答
无法设置-Cookie
、、、
环境Linux : 18.01 LTS我在控制器中使用了当前的方法：public ResponseEntityloginCredentials) { .header(HttpHeaders.SET_COOKIE("*")
.allowedMethods("*"
浏览 0提问于2019-03-12得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
