腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
使用
Puppeteer
在
循
环中
抓取
多个
URL
、
、
、
我有一组
URL
可以从中
抓取
数据: urls = ['
url
','
url
','
url
'...]这就是我要做的: urls.map(async (
url
)=>{ await page.waitForNavigation({ waitUntil:'networkidle' }); }) 这似乎不需要等待页面加载,访问所有的
URL</
浏览 92
提问于2017-09-19
得票数 25
回答已采纳
1
回答
在
async函数中
使用
await Use for循环
、
、
、
我正在
使用
puppeteer
和node.js来
抓取
一些数据,但是
在
尝试循环
url
列表时遇到了一些问题。当我推送
抓取
的数据时,我得到了一个错误,说数组没有定义。我认为这个问题与
在
for循
环中
使用
await有关,但我真的不明白为什么以及如何修复它。为什么它说数组没有定义?下面是我的代码的一个非常简化的版本: /* Initiate
浏览 0
提问于2020-07-27
得票数 1
1
回答
用Promise.all实现木偶类多线程
、
、
、
编写
抓取
机器人或在网站上执行某些活动的机器人(
使用
Puppeteer
)时,我经常需要“某种”多线程功能,以便能够同时接近
多个
页面并在它们上执行某些操作,最好是同时进行。为此,我按照以下模式
使用
Promise.all(): const runInParallel = async(len) => { // close page and br
浏览 35
提问于2020-07-29
得票数 3
2
回答
木偶人爬行器大规模爬行
、
、
我们正在
使用
Puppeteer
编写一个网络爬虫。如果出现任何错误,如何使基于
Puppeteer
的网络爬虫从爬行的最后状态恢复?
在
Puppeteer
中有没有内置的函数?如何让这个木偶手无头的chrome web爬行通过一个队列系统?
浏览 14
提问于2020-12-05
得票数 2
2
回答
在
需要相同包的
多个
模块中组织代码会降低Node.js的性能吗?
、
我正在
使用
Node.js和
Puppeteer
,我正在
使用
Puppeteer
来
抓取
多个
网站。我正在考虑通过将每个站点实现分离到其自己的文件来组织代码。这样,我就可以
在
index.js文件中导入所有这些模块。我读过关于Nodejs缓存模块的文章,这种组织代码的方式是标准的,然而,
在
我的例子中,假设我有100个不同的网站需要
抓取
,那么我将有100个模块需要(
puppeteer
/jsdom)
在
每个
浏览 1
提问于2021-04-11
得票数 1
1
回答
如何在
抓取
puppeteer
和NodeJs时获取div标签的内容
、
、
我听说过一个叫做
puppeteer
的库,它在
抓取
网页时很有用。所以我决定
抓取
一个游戏网站的内容,这样我就可以存储它的数据,然后再浏览它。但是
在
我复制了div标记的XPATH之后,我希望
puppeteer
抓取
它的内容,它返回的是空字符串“请注意我做错了什么”。这是我试图
抓取
here的
url
我想刮掉显示6个不同颜色球的结果的div标签。这样我就可以每隔45秒得到这些颜色的数量。 const
puppeteer
= require(&q
浏览 137
提问于2021-01-08
得票数 0
2
回答
使用
Apify进行Web
抓取
、
、
、
、
我正在尝试从中
抓取
URL
我的Apify角色
使用
Puppeteer
平台。所以我
使用
浏览 17
提问于2020-02-25
得票数 1
1
回答
未能在木偶技师中
使用
xpath刮取到下一页的链接
、
、
、
、
我正在尝试从这个中
抓取
下一页的链接。我知道如何
使用
css选择器来
抓取
。但是,当我试图
使用
xpath解析同样的内容时,事情就会出错。是我得到的,而不是下一个页面链接。const
puppeteer
= require("
puppeteer
");
浏览 1
提问于2021-09-16
得票数 0
回答已采纳
1
回答
一个浏览器中的
多个
页面与木偶剧中
多个
浏览器中的
多个
页面之间的差异
、
我正在
使用
puppeteer
从网站上
抓取
内容,我需要打开
多个
页面。我想知道一个浏览器中的
多个
页面和
多个
浏览器中的
多个
页面有什么不同?
浏览 1
提问于2017-10-13
得票数 0
1
回答
使用
Apify和
Puppeteer
抓取
URL
、
、
、
、
我正在尝试
使用
()从中
抓取
URL
async function pageFunction( context ) {
浏览 18
提问于2020-02-28
得票数 1
回答已采纳
2
回答
抓取
背景-
使用
木偶操纵者的图像
、
、
有没有人能解释一下我如何
使用
Puppeteer
从网页上
抓取
背景图片?图像位于image-background类中,但其中没有存储任何内容。jpg
URL
位于如何
抓取
网址''? 谢谢
浏览 1
提问于2020-06-05
得票数 0
1
回答
如何在
多个
傀儡窗口中
使用
用户数据-dir
、
、
、
、
0410/181437.893:ERROR:cache_util_win.cc(20)] Unable to move the cache: Access is denied. (0x5) const browser = await
puppeteer
.launch({ headless:false
浏览 2
提问于2021-04-10
得票数 2
回答已采纳
1
回答
木偶操纵者的性能分析
、
我正在运行网页
抓取
的
puppeteer
。我需要
使用
puppeteer
分析网页性能。我需要时间分割木偶剧中的每个组件,如timetaken连接到
url
,timetaken用于page.evaluate方法等。 我还想知道,有没有同样的节点模块?
浏览 1
提问于2019-09-25
得票数 0
1
回答
错误:
使用
虚拟链接器进行网络扫描-无法读取未定义的属性“getProperty”
、
我试图
在
RightMove中为所有返回的搜索项
抓取
URL
。这一页是: const
puppeteer
= require('
puppeteer
'); const browser= await
puppeteer<
浏览 0
提问于2021-05-01
得票数 0
回答已采纳
3
回答
JavaScript傀儡
抓取
变量
、
、
、
、
我试图从一个保存HTML数据的变量中
抓取
HTML数据。你可以看到我的注解,它们标有“<<”。不幸的是,evaluate只能在页面上工作,而不能在div中工作。有人能告诉我如何从包含HTML的变量中
抓取
信息吗?我也
在
forEach循
环中
尝试过这一点,但这会产生原始文档的第一个mealname。htmlOfOneProduct.document.querySelector("div.meal__description-texts.js-meal-descrip
浏览 9
提问于2020-03-16
得票数 1
回答已采纳
1
回答
在
DevTools上工作但在page.evaluate()中不工作的代码
、
、
我对javascript和
Puppeteer
也很陌生。 我正试图从一个论坛内的一系列网页中
抓取
一些innerHTML。页面的
URL
遵循具有前缀和结尾的'/ page -N‘的模式,N是页码。因此,我决定
使用
for循环和模板文字遍历页面,以便在每个循
环中
加载一个新的页面
URL
,直到达到变量C.numberOfPages中包含的最终页面数。由于我
抓取
的页面的结构,所有这些。children[]连接都是必需的,并且它们
在
浏览器中工作得很好
浏览 2
提问于2020-08-12
得票数 0
1
回答
如何
使用
Cheerio获取已动态填充的LI tat之间的数值
、
如何
使用
Cheerio获取由UL和class标记包装的li标记中的数字。class="ball winNum2"></li>','<li class="ball winNum4"></li>'] 并且
在
li
浏览 25
提问于2019-06-25
得票数 0
1
回答
点击href链接后,木偶师如何进行页面访问?
、
、
假设,
在
一个网站中,我有一些链接来测试每个链接是工作的good.For,我需要点击每个页面链接,需要测试每个页面是打开的,我需要断言打开的页面内容。
使用
木偶师怎么可能做到呢?
浏览 19
提问于2020-07-16
得票数 1
1
回答
如何在
抓取
网站的同时持续监听新项目
、
、
我正在
使用
puppeteer
抓取
一个正在实时更新的网站,以便在其他地方报告最新的项目。目前,我认为实现这一点的方法是
在
我的异步
抓取
上运行一个setInterval调用,并比较最后一项是否发生了变化,每30秒检查一次。我想一定有比那更好的方法来做这件事。下面是我当前的代码: const
puppeteer
= require('
puppeteer
'); console.log(
浏览 13
提问于2021-01-01
得票数 0
1
回答
使用
木偶连接时访问页面时出现问题
、
、
我正在尝试
使用
puppeteer
库从现有的chrome页面中
抓取
信息以用于学习目的。我已经
在
调试模式下打开了chrome,收到了我所在的chrome页面的ws
url
,并且连接成功。({ }); 我所连接的页面
在
一个youtube视频的
url
中。当我在打开一个新浏览器时
使用
这段代码时,这是非常容易的,但现在我已经连接
浏览 21
提问于2020-03-25
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
web自动化测试-puppeteer入门与实践
如何利用 Puppeteer 爬取数据?
搭建自动化测试框架的思路及实例演示
Puppeteer的入门与实践
获取 GitHub 热榜数据并写入数据库,一文带你见识 JavaScript 强大之处
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券