腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Puppeteer
:
从
使用
延迟
加载
的
页面
抓取
整个
html
javascript
、
node.js
、
web-scraping
、
puppeteer
我正在尝试
抓取
网页上
的
整个
html
,
使用
惰性
加载
。我尝试
的
方法是一直滚动到底部,然后
使用
page.content()。我还尝试过在滚动到
页面
底部之后再滚动回
页面
顶部,然后
使用
page.content()。这两种方法都抓住了表中
的
一些行,但不是所有行,这是我
的
主要目标。我相信网页
使用
的
是来自react.js
的
<e
浏览 158
提问于2019-05-09
得票数 2
1
回答
如果源
HTML
没有包含实际
的
编号,我如何才能*webscrape*?
python
嗨,我是电脑研发界
的
新手。所以我可能会问些愚蠢
的
问题。我正在尝试构建一个web
抓取
工具,
使用
python
从
韩国统计局( some )收集一些统计数据。因此,我就是这样做
的
,它保持了返回错误,即"'NoneType‘对象没有属性'find'“import requests from bs4 import BeautifulSouptable", attrs = {"id" : "main
浏览 3
提问于2021-02-23
得票数 0
1
回答
使用
cheerio
从
亚马逊获取问题和答案
node.js
、
cheerio
、
amazon-product-api
我想从亚马逊获得产品
的
所有问答,我
使用
这个来获得对此产品
的
所有评论,但我不知道我需要填写
的
类名是什么,而不是.reviews,以便获得客户
的
问题和答案。function parseHtml(
html
) { // Load the reviews const reviews = $(
浏览 10
提问于2020-07-04
得票数 0
1
回答
Puppeteer
不会提取所有元素
node.js
、
puppeteer
我正在用NodeJS编写一个脚本来提取过去24小时内交易最多
的
加密货币。我想提取一个数组中
的
Name、ticker和24小时百分比列,如下所示: [{ name: 'Bitcoin', ticker: 'BTC', percentage: '20.62%' },... ] 我
的
脚本看起来像这样,但是一旦你
浏览 25
提问于2021-02-09
得票数 0
1
回答
如何在动态呈现中向搜索引擎用户代理提供静态
HTML
服务?
rendering
、
puppeteer
、
static-html
我录下了我
的
URL
的
预录版本。( a)我净化了CSS。( b)我删除了所有不必要
的
代码和资源。( c)为了更快
的
速度,我改变了资源顺序/组织。e)缩小了请求
的
大小。f)缩小
页面
大小。但主要
的
问题是: 我有一个rootdomain.com/示例-动态呈现
页面
。这是原版。而且,我有我
的
预先录制<e
浏览 4
提问于2019-12-10
得票数 0
回答已采纳
2
回答
如何
使用
javascript添加
的
动态内容爬行webPage
javascript
、
web-crawlers
我想有消息说Google机器人有能力理解我们
的
javascript代码。这意味着这是可能
的
,完全
抓取
一个网页,其中有
延迟
加载
功能启用。我正在
使用
Apache来
抓取
网站,但我认为它没有能力在
页面
向下滚动时获取
HTML
页面
中注入
的
URL。我看到很多网站都在为性能问题做
延迟
加载
。那么,请有人解释一下,我如何在懒惰
的
加载
下爬行
H
浏览 0
提问于2012-08-31
得票数 5
2
回答
puppeteer
中
页面
选择器
的
奇怪行为
javascript
、
puppeteer
我试图
从
我在
puppeteer
中
抓取
的
页面
的DOM中获取一个元素。
页面
加载
后,我调用page.$('.class-name')。它返回一些奇怪
的
{ ClickTale: {} }形式
的
对象。当我
从
chrome控制台调用document.querySelector('.class-name')时,我得到了一个完全不同
的
对象,它对应于我正在寻找
的</em
浏览 10
提问于2019-03-16
得票数 0
1
回答
Puppeteer
:如何下载
整个
网页以供脱机
使用
javascript
、
html
、
css
、
web-scraping
、
puppeteer
我如何用Google
的
Puppeteer
抓取
整个
网站,所有的CSS/JavaScript/媒体都完好无损(而不仅仅是
HTML
)?在成功地尝试了其他
抓取
工作之后,我想它应该能够。然而,通过在线查看许多优秀
的
示例,没有明显
的
方法来做到这一点。我能找到
的
最近
的
电话是
html
_contents = await page.content() 并保存结果,但这会保存一个没有任何非
H
浏览 60
提问于2019-02-22
得票数 14
1
回答
WaitUntil不等待/获取WaitForSelectorAsync上
的
超文本标记语言
puppeteer-sharp
过去在node中
使用
过
puppeteer
,但由于某些原因,在锐化版本上遇到了问题。基本上,我正在
抓取
一个WaitUntil设置为WaitUntilNavigation.Networkidle0
的
网页,这是最长
的
等待时间。在我
的
节点代码中,这可以正确地运行和
加载
我
的
网站,但在C#版本中,我得到
的
页面
没有角度
加载
。
从
最好
的
情况来看,我可以断定它不是在等待并返回初始负载
浏览 91
提问于2019-04-02
得票数 2
回答已采纳
1
回答
如何
使用
木偶师来拍摄几个网站
的
完整截图?
javascript
、
node.js
、
puppeteer
、
browser-automation
我正在尝试
使用
Node.js和来截图。我不
使用
,因为屏幕截图需要包含
整个
桌面。相反,我正在
使用
ImageMagick
的
命令进行屏幕截图。 添加
延迟
是可行
的
,但并不理想,因为有时
页面
加载
非常慢。问题似乎是没有等待
页面
完全
加载
。
浏览 0
提问于2019-06-27
得票数 3
1
回答
使用
cheerio nodeJS进行网络
抓取
node.js
、
cheerio
我正试着刮一个网页来尝试
使用
cheerio
的
一些技能,但我做不到。我正在
使用
axios来生成http 请求。{ axios.get('https://www.idealo.es/precios/4102124/the-north-face-men-s-mcmurdo-parka-tnf-black.
html
浏览 2
提问于2021-01-12
得票数 1
回答已采纳
1
回答
抓取
JS渲染
页面
的方法?
javascript
、
node.js
我目前正在
使用
request-promise npm模块在我
的
网站上
抓取
URL列表。 这很好地满足了我
的
需求,然而,我注意到并不是所有的div都会出现,因为有些div是在
使用
JS之后呈现
的
。我知道我不能远程运行JS代码来强制呈现,但是有什么方法可以在添加这些元素之后才能
抓取
页面
吗? 我目前正在
使用
Node做这件事,如果可能的话,我更愿意继续
使用
Node。-1', 'fake.com/li
浏览 5
提问于2019-04-17
得票数 1
回答已采纳
2
回答
木偶师:如何在没有CSS/JS/字体/图像
的
情况下
加载
html
?
node.js
、
typescript
、
google-chrome
、
puppeteer
我正在
使用
Puppeteer
来
抓取
一些数据,并且需要在相对较短
的
时间内访问多个
页面
。经过观察,我注意到这是相当低效
的
,因为我只对标记文件中
的
数据感兴趣,而
整个
页面
中所有的图像、字体和诸如此类
的
内容都非常缓慢。因此,如果有一种方法可以跳过其他内容类型并使
Puppeteer
只返回
HTML
文件内容,那就太好了。这是我
的
代码: const browser = await
浏览 3
提问于2021-11-27
得票数 3
回答已采纳
1
回答
页面
加载
后
的
问候语选择器
javascript
、
html
、
node.js
、
web-scraping
、
cheerio
我想在这个网站上
的
url值:还是我
的
选择错了?请有人帮我检查一下我
的
选择器,或者我需要为代码做些什么。async function getDetail(res, url) { const <e
浏览 1
提问于2021-06-21
得票数 0
回答已采纳
1
回答
如何获得angular google-charts to
puppeteer
angular
、
google-visualization
、
puppeteer
我有一个angular应用程序,它
使用
google-chart angular包装器来生成报表图表。这个示例angular应用程序
从
elasticsearch查询( REST Api调用)获取数据。Angular应用运行良好,google-chart可视化元素在
页面
加载
时生成。现在我想用
puppeteer
生成这些图表
的
pdf。但是
puppeteer
在pdf中不包含google图表元素。最初我认为问题出在对elasticsearch
的
Rest API调用
浏览 16
提问于2020-05-05
得票数 0
回答已采纳
3
回答
Chrome无头木偶操纵者CPU太多
node.js
、
google-chrome
、
cpu-usage
、
headless
、
puppeteer
我在nodejs中有一个
抓取
算法,带有
puppeteer
,它同时
抓取
5个
页面
,当它完成一个
页面
时,它从队列中拉出下一个url,并在同一
页面
中打开它。CPU始终为100%。如何让木偶戏演员
使用
更少
的
cpu?
puppeteer
.laun
浏览 0
提问于2018-02-27
得票数 22
1
回答
有没有可能用Node.js
从
多个网站
抓取
数据?
javascript
、
node.js
、
web-scraping
我有一个用JavaScript创建
的
移动应用条形码扫描器,并想
使用
网络刮刀中
的
UPC码来获得产品
的
信息。 uri: `https://barcodeindex.com/upc/722674120708/`, 应该在URL中输入UPC条形码,而不是只是测试码
的
长数字console.log($('#it
浏览 7
提问于2018-02-14
得票数 0
1
回答
使用
Node js进行Web
抓取
javascript
、
html
、
node.js
、
web
、
web-scraping
我一直在尝试
从
网站上
抓取
一些数据,并
使用
Node js将其显示在我自己
的
网站上。我已经写了一个运行良好
的
文件。我可以将它打印到控制台进行验证。我想将网页中
的
数据显示为
HTML
元素。const
puppeteer
= require('
puppeteer
'); const browser = await
puppeteer
.
浏览 3
提问于2020-08-14
得票数 0
2
回答
从
node js中
的
html
模板创建PDF
javascript
、
node.js
、
pdf
、
wkhtmltopdf
、
pdfkit
对我来说,最好
的
方法是渲染
html
模板,并
使用
任何第三方库创建一个PDF。我遇到了用ejs渲染
HTML
和用
html
-pdf创建pdf
的
解决方案。虽然它工作得很好,但我遇到了分页符
的
问题。有一个流行
的
模块pdfkit。但是它
使用
自己
的
概念和过程来渲染pdf。对于node,它不会渲染
html
文件,但对于python,它会渲染
html
模板。请告诉我如何
使用
pdfKit将
浏览 22
提问于2020-09-29
得票数 2
1
回答
在
puppeteer
中实现滚动到底部
c#
、
webautomation
、
puppeteer-sharp
我正在苦苦挣扎,希望有人能给我指明正确
的
方向。我在一个.net桌面项目中
使用
puppeteer
。我想让to
页面
加载
到
puppeteer
中以滚动到底部来处理一些
延迟
加载
,我已经找到了几篇文章,比如
Puppeteer
- scroll down until you can't anymore,其中包含了大量有用
的
信息,但是对于Javascript -我不知道如何在
Puppeteer
sharp
浏览 217
提问于2020-09-24
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
一个浏览器自动化操作的.Net开源库
针对JavaScript的SEO优化指南
Google推出的爬虫新神器:Pyppeteer,神挡杀神,佛挡杀佛!
如何利用 Puppeteer 爬取数据?
杭州建站公司:页面速度对网站第一印象很重要
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券