我有一些代码运行良好,在本地运行,使用超级测试进行测试,但是当相同的测试在CircleCI上运行时,由于超时而失败。
所讨论的代码是
for (const id of ids) {
const urls = await scrapeLinks(id) // invokes puppeteer on a dockerised mock server
await connectUrls(fbId, urls) // updates database using sequelize
}
在本地运行--这很好。
在CircleCI上运行相同的测试,这段代码要花费太长时间才能完成,并且测试超时。
我需要能够根据纬度和经度设置位置,同时进行无头Chrome (Puppeteer)搜索:
const puppeteer = require('puppeteer');
var url="https://www.google.com/search?q=";
var keyword="hotels&num=100";
var urls;
var desktopUserAgent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, li
/I正在chrome上运行无头搜索请求,我需要访问代理服务器/
const puppeteer = require('puppeteer');
var url="https://www.google.com/search?q=";
var keyword="hotels";
var urls;
var desktopUserAgent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.316
我试图为这个服务生成pdf文件,我正在用类型记录构建这个服务。现在一切都在本地工作,但我不能将它部署到AWS,因为它超过了lambda的限制。现在,我试图对它进行修改,它已经部署,但是抛出了下面的错误。
"Failed to launch the browser process!\n/var/task/node_modules/puppeteer/.local-chromium/linux-1036745/chrome-linux/chrome: error while loading shared libraries: libatk-1.0.so.0: cannot open sha
我试着和木偶师做些网拼,我的剧本作品,但有时,在我的理解中,没有任何理由,我会犯这样的错误:
file:///C:/Users/aemba/OneDrive/Bureau/nodejs/octopart-scraping/node_modules/puppeteer/lib/esm/puppeteer/common/assert.js:23
throw new Error(message);
^
Error
at assert (file:///C:/Users/aemba/OneDrive/Bureau/nodejs/octopart-sc
我创建了一个Python脚本,它从文本文件中读取URL,并使用for循环中的URL来收集类似的信息。这些网址都来自同一个网站。下面大致是Python代码的样子。
for url in urls:
x = scrape(url)
if has_changed(x):
notify_me()
else:
continue
不幸的是,这个刮刀器在某些网站上不起作用,因为这些网站阻塞了大多数刮刀器,所以我不得不使用Node js傀儡隐形库(我不太熟悉这个库),因为Python被阻塞(以及Selenium、请求、请求-html等)。
我试图在Nod
我有一个基于Puppeteer with Jest的小测试套件,我无法摆脱以下问题:当我运行单个特定测试(例如:yarn test myscenario.test.js)时,一切正常;当我使用yarn test命令运行整个测试套件(大约20个测试)时,我的一些测试失败,并出现以下错误:
超出导航超时:在Promise.then (node_modules/puppeteer/lib/NavigatorWatcher.js:73:21)超过30000ms
问题是我所有的测试都已经设置了一个特定的超时(99999毫秒!)并且在大约6-7秒内执行一次测试。我的猜测是,当整个测试套件运行时,存在超过
我使用和node.js来迭代多个urls。
我试图拦截一些resourceType,以便在每次迭代中加载,并得到以下错误。
PS C:\Users\someuser\Desktop\Project> node temp.js
-- running
C:\Users\someuser\node_modules\puppeteer\lib\cjs\puppeteer\common\assert.js:26
throw new Error(message);
^
Error: Request is already handled!
at O
我试图让Puppeteer访问一个数组中的多个urls,但它似乎不起作用。它永远挂着。
以下是不起作用的片段。注意使用模板文字的URL。
//create array of urls
let urlList = [];
//add urls to array
for (let i = 0; i < pageNumberToNumber; i++) {
urlList.push(
`https://www.realtor.ca/map#ZoomLevel=14&Center=43.771556%2C-79.427630&Latitud