如何使用会话数据从puppeteer页面获取url？

文章/答案/技术大牛

发布

1回答

node.js、session、puppeteer、node-fetch

我正在尝试用我的证书进入一个网站，并使用puppeter下载一个pdf。我使用puppeteer获得了pdf url，但现在我想使用node-fetch来访问该页面。要获取pdf页面，我需要在选项中包含会话数据，但我不知道这样做是否正确。我尝试使用'credentials：'include'，使用page.cookies获取cooki

浏览 27提问于2019-01-23得票数 0

1回答

我实际上正在尝试使用puppeteer进行抓取，并且我需要使用我当前的chrome来保存我所有的凭证。然而，chrome不能记住之前的会话，我每次都必须点击登录按钮。我实际使用的是: Node v12.16.1 chrome 80.0.3987.132 (官方版本)(64位) (cohort:稳定) puppeteer-core 2.1.0 //请参阅：const pptr = require('puppeteer-co

浏览 2提问于2020-03-18得票数 1

2回答

如何用所有的cookie重新创建页面？

javascript、puppeteer

我试图： import puppeteer from 'puppeteer'; cookies,

浏览 5提问于2017-10-08得票数 4

1回答

抓取JS渲染页面的方法？

javascript、node.js

我目前正在使用request-promise npm模块在我的网站上抓取URL列表。这很好地满足了我的需求，然而，我注意到并不是所有的div都会出现，因为有些div是在使用JS之后呈现的。我知道我不能远程运行JS代码来强制呈现，但是有什么方法可以在添加这些元素之后才能抓取页面吗？我目前正在使用Node做这件事，如果可能的话，我更愿意继续使用Node。这就是我所拥有的： const urls ['fake.com/link-1', 'fake.c

浏览 5提问于2019-04-17得票数 1

回答已采纳

3回答

如何在所有脚本和页面加载完成后获取所有html数据？(木偶戏演员)

javascript、node.js、parsing、web-scraping、puppeteer

最后，我想到了如何使用Node.js。已安装所有库/扩展。所以puppeteer可以工作了，但是和之前的Xmlhttp一样...它只获取页面的模板/主体，而不获取所需的信息。中打开页面几秒钟后，页面上的所有脚本都会启动。我需要在整个页面加载后获得某些标记内的信息。此外，我会问，是否有可能拥有纯JavaScript，因为我不像代码那样使用jQuery。const puppeteer

浏览 0提问于2019-02-07得票数 13

1回答

使用Puppeteer从内部URL在节点服务器上生成PDF

javascript、node.js、pdf、puppeteer

数据来自JSON对象。我对使用Puppeteer很感兴趣，因为我可以使用HTML/CSS来创建PDF并设置样式。a)在我的前端客户端上创建一个公共url

浏览 3提问于2018-06-02得票数 0

3回答

管理内存和性能的木偶剧

node.js、web-scraping、puppeteer

我正在使用抓取一些页面，但我很好奇如何在生产环境中管理节点应用程序的抓取。我将在一天中抓取多达500,000个页面，但这些抓取作业会随机发生，所以我不是一个队列就可以抓取的。我想知道的是，打开浏览器，转到页面，然后在每个作业之间关闭浏览器，是不是更好？我认为它会慢很多，但也许能更好地处理内存？或者，当应用程序启动时，我打开一个全局浏览器，然后转到页面，并在完成后有某种方法转储该页面(例如，关闭chrome中的所有选项卡，但不关闭chrome)，然后在需要时重新打开一个新

浏览 0提问于2018-08-23得票数 26

回答已采纳

2回答

Node JS使用Cheerio抓取youtube视频

node.js、web-scraping、cheerio

现在，我正在试着获取视图的数量，然后再做剩下的。我的啦啦队API有问题。然后，我使用如下的页面源获取响应：const request = require('request'); method: 'GET', urlview-count style-scope y

浏览 5提问于2021-10-14得票数 0

回答已采纳

1回答

使用PHP puphpeteer保持facebook登录会话

javascript、php、laravel、vue.js

我使用的是puphpeteer，它是一个PHP桥，用于支持整个API的node的puppeteer。我将抓取不同的Facebook页面寻找一些信息，为此，我必须登录与我的凭证，然后转到目标Facebook页面。我的目标是只登录一次，然后，一旦登录，使用Facebook会话/登录cookies来为后续的URL保留我的会话。据我所知，这是可以做到的，但我还没有找到任何关于如何使用PHP Puphpeteer来做

浏览 2提问于2020-09-16得票数 0

1回答

如何通过无头Chrome Runtime.evaluate在终端中实现Runtime.evaluate输出

javascript、node.js、google-chrome-devtools、google-chrome-headless

那么，如何通过表达式在Mac终端中获得console.log输出呢？await Promise.all([Network.enable(), Page.enable(), Runtime.enable(), DOM.enable()]); Page.navigate({url

浏览 5提问于2017-08-10得票数 14

回答已采纳

2回答

承诺异步代码不起作用

javascript、puppeteer

const puppeteer = require('puppeteer'); const page = awaiturls = ['https://www.google.com','https://www.firefox.com']; await Promise.all(urls.map(async (url) =&

浏览 1提问于2018-08-10得票数 0

回答已采纳

2回答

节点js加速傀儡html到pdf

html、node.js、pdf-generation、puppeteer

static async downloadPDF(res, html, filename) { headless: true const page = await browser.newPage我在某个地方读到，我可以启动一次无头浏览器，然后我将只创建一个新页面，而不是每次请求文件时都启动

浏览 4提问于2021-03-22得票数 0

回答已采纳

2回答

在SUT中模拟傀儡网络请求

node.js、jestjs、puppeteer、nock

当Puppeteer被用作被测系统的一部分(而不是运行测试)时，有人知道如何模拟它发出的网络请求吗？例如，被测系统使用puppeteer获取URL并返回有关页面的一些信息。测试是使用Jest运行的。我通常使用nock来实现这一点，但是似乎Puppeteer的网络代码并没有使用它们。

浏览 1提问于2019-12-11得票数 1

1回答

Puppeteer:打开一个页面，获取数据，返回前一页，进入一个新页面获取数据

javascript、node.js、puppeteer

从一个页面获取数据很简单，但如何在从第一个页面获取数据后返回，进入一个新页面，从该页面获取数据。等。我正试图在一个网站http://books.toscrape.com/上做这件事。例如，如果你运行下面的代码，你会得到：{ stock: 'In stock (22 available)' } 现在，我希望返回到原始页面</e

浏览 143提问于2019-04-24得票数 1

回答已采纳

1回答

如何在高性能环境下生成网页图像？

c#、.net、chromium、webautomation、puppeteer-sharp

为此，我使用的库工作得很好。在后端，它使用铬加载页面，然后截图。var browser = await Puppeteer.LaunchAsync我不知道铬在内部是如何工作的，所以我有几个关于我正在考虑的解决方案的问题。 PuppeteerSharp.Browser对象线程安全和/或

浏览 1提问于2019-02-19得票数 4

回答已采纳

1回答

如何使用此代码从特定页面获取所有项目，如src、title和url？

node.js、web-scraping、puppeteer

我一直在用node.js编写网页抓取代码，使用npm木偶剧从页面中的每个新闻中获取url、图像和标题，但我唯一能够从第一条新闻中获取url、图像和标题的东西。const puppeteer = require('puppeteer'); const brower = await puppeteer.launch();const pag

浏览 4提问于2019-05-07得票数 0

回答已采纳

1回答

将原始cookie转换为木偶操纵者所接受的

node.js、session、cookies、passport.js、puppeteer

我想将会话从passport.js传递给木偶操纵者。0XLcJefM' }page.set

浏览 1提问于2018-05-18得票数 1

1回答

检查是否有一个新的标签打开了木偶师

puppeteer

我正在使用Puppeteer收集一份远程招聘公司的名单。我试图从其中收集数据的页面调用的操作不是<a href="" blank"_tab"，而是<button></button>。该按钮也没有任何数据属性，当我单击该按钮时，它提示在新选项卡中打开的页面的URL是什么。我现在试图找到一种方法，通过单击上述按钮捕捉新选项卡的打开，然后获取新打开选项卡的<em

浏览 6提问于2022-04-16得票数 1

回答已采纳

1回答

用木偶机加载动态内容？

puppeteer

我用这段代码来获取页面数据。它很有效，但我只得到了一次数据。问题是，这些数据每秒钟更新一次。我想在不重新加载页面的情况下得到它。const puppeteer = require('puppeteer'); const url = process.argv[2];

浏览 0提问于2018-09-22得票数 0

回答已采纳

1回答

如何在SAP Commerce / Hybris中删除url属性？

java、tomcat、hybris

我们的SAP Commerce / Hybris商店在产品详细信息页面有以下url属性：?

浏览 9提问于2020-06-23得票数 2

点击加载更多