腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
使用
axios
和
cheerio
实现
多
页
抓取
?
node.js
、
axios
、
cheerio
、
scrape
你好,我正在
使用
axios
和
cheerio
来
抓取
一些数据。我想
抓取
多个页面,url结构类似example.com/? page =1。我
如何
用计数器
抓取
每一个页面?
axios
({ url: "https://example.com/?
浏览 26
提问于2020-01-31
得票数 1
回答已采纳
1
回答
无法在函数中应用
抓取
下一
页
的逻辑
javascript
、
node.js
、
web-scraping
、
axios
、
cheerio
我已经创建了一个脚本,
使用
axios
和
cheerio
从yellowpages获取不同的商店名称及其相关链接,然后
使用
这些链接从其内部页面
抓取
电话
和
电子邮件。脚本运行得很好。我现在想做的就是
使用
next page link从下一
页
抓取
内容。我只是不明白
如何
在getLinks()函数中应用解析
和
使用
下一
页
的逻辑。目前,这是我正在尝试的: const
浏览 13
提问于2021-09-14
得票数 3
1
回答
运行脚本时,结果总是“未定义”。
javascript
、
node.js
、
web-scraping
、
axios
、
cheerio
我一直在尝试
使用
axios
和
cheerio
迭代地从网页中
抓取
下一个页面链接。当我运行脚本时,结果总是得到undefined。在没有更多的链接之前,我
如何
获得下一
页
链接?这是我目前的尝试:const
cheerio
= require("
cheerio
"); const base = "
浏览 3
提问于2021-09-26
得票数 1
回答已采纳
1
回答
从Twitch中
抓取
数据
javascript
、
html
、
r
、
phantomjs
、
twitch
我已经尝试
使用
phantomjs打开站点,但到目前为止我还不能想出
如何
让该部分渲染。(首选R中的解决方案,但不是强制性的)
浏览 90
提问于2019-04-24
得票数 0
2
回答
如何
在视频中找到src属性?
node.js
我正在
使用
axios
和
cheerio
,并且我想在视频标签中擦除src。
如何
在视频标签中
抓取
src?
axios
.get(url) const html = res.data.;
浏览 0
提问于2020-11-16
得票数 1
1
回答
br编码中的
Axios
响应
javascript
、
node.js
、
web-scraping
、
axios
、
cheerio
我正在尝试从中进行web
抓取
,我正在
使用
NodeJS库(
cheerio
)
和
axios
进行
抓取
。这是我的密码:const
axios
= require("
axios
") const config = { metho
浏览 19
提问于2022-11-26
得票数 1
回答已采纳
1
回答
访问div下的第一个<ul>元素
web-scraping
、
cheerio
我是一个网络
抓取
的新手,我正在尝试
使用
教程创建一个简单的网络
抓取
器。我这样做了,然而,我想尝试
实现
我自己的另一个功能。在链接()中,我试图从“指南”(页面右侧)中获取所有要点。现在,我可以从“指南”、“信息”
和
“relatedReddits”中获取所有信息。然而,我只是试图从“指南”中获得信息。谁知道
如何
修改我的代码,只访问div下的第一个ul标记,因为现在,它访问所有的ul标记。谢谢你的光临。 const
axios
= require('
a
浏览 3
提问于2020-07-30
得票数 0
2
回答
缩短
axios
text/html响应
javascript
、
node.js
、
web-scraping
、
axios
、
screen-scraping
我正在向一个网页发送一个
Axios
请求,要求从其中
抓取
一个小字符串,但返回的响应是一个很大的html,而我只需要它的一小部分,有没有办法缩短响应,这样我就可以保存数据并使请求更快?const longHtml = await
axios
.get('https://example.com'); const shortHtml = longHtml.data //get short
浏览 20
提问于2021-01-27
得票数 0
回答已采纳
1
回答
努力
抓取
多个页面-
Cheerio
.js
javascript
、
node.js
、
asynchronous
、
web-scraping
、
cheerio
我正在尝试
使用
Javascript
和
Cheerio
创建一个网络爬行器,当我试图从
抓取
的页面中的url中
抓取
数据时,我遇到了一些困难。例如,我
抓取
第一个页面的一些细节(包括链接页面的URL ),然后当我尝试
使用
回调函数
抓取
链接页面时,我无法将返回值赋给对象。这两个
抓取
器单独工作,但是我在让它们异步运行时遇到了问题,并且变量detailsPage总是以未定义的形式返回。 任何帮助都将不胜感激!const
cheerio
浏览 0
提问于2020-02-19
得票数 0
1
回答
使用
Javascript进行网络
抓取
javascript
、
express
、
web-scraping
、
axios
、
cheerio
我试图
使用
javascript刮
多
页
网站的内容,并将其导出到excel或csv文件中。const PORT =8000const
cheerio
= require('
cheerio
') constd-3998960-p=1&selectedItem=viewA
浏览 8
提问于2022-11-09
得票数 -2
1
回答
在对象数组中插入新的键值对,但值是由
axios
.get创建的
javascript
、
node.js
、
axios
在我尝试
抓取
单个链接的数据之前,一切都很好。 现在来解释一下:我有一个
抓取
器,它可以
抓取
关于公寓的数据。现在第一个url是文章所在的页面(大约。29-30应被获取)。现在在那个页面上,我没有关于平方米的信息,所以我需要为每个被
抓取
的链接运行另一个
抓取
器,并从那里
抓取
平方米。下面是我的代码: const
axios
= require('
axios
'); const
cheerio
= require('<
浏览 37
提问于2021-02-11
得票数 1
回答已采纳
2
回答
NodeJs分页,递归承诺问题
javascript
、
node.js
、
recursion
、
web-scraping
、
promise
我在node.js中用
cheerio
和
axios
抓取
了多个页面我在承诺方面遇到了困难,如果我点击了最后一
页
,有人能帮我退还JSON吗?谢谢!const getWebsiteContent = async (url) => { pageNum = getTotalpages($);
浏览 15
提问于2021-04-04
得票数 2
1
回答
欢迎网页
抓取
Twitter加载不同的数据
javascript
、
html
、
node.js
、
web-scraping
、
twitter
我刚开始
使用
Web
抓取
,我
使用
Axios
获取URL,然后
使用
Cheerio
访问数据。位于此
页
源中:在查看我的twitter页面时,我需要的元素是:这是我的JS代码:const
axios
= require('
axios
')
axios
(
浏览 6
提问于2022-01-21
得票数 -1
1
回答
当我
使用
cheerio
时,这个选择器出错。
javascript
、
node.js
、
web-scraping
、
cheerio
我
使用
node、express、
cheerio
和
axios
来创建一个简单的网络爬行器。在这个例子中,
axios
有数据,但是在
使用
cheerio
加载数据后,我得到了这个错误:
抓取
器代码:app.get('/users', (req, re
浏览 27
提问于2021-02-16
得票数 2
回答已采纳
1
回答
使用
NodeJS
Cheerio
从维基百科的表中刮取单个列
node.js
、
web-scraping
、
axios
、
scrape
我正试图从位于上的表中
抓取
一列。我试图在NodeJS的数组中获取第一列、第一个符号并
使用
这些符号。我试图只
使用
Cheerio
和
Axios
来
抓取
这个专栏。我不确定我加载的元素是否正确,但是关于
如何
将符号列刮到数组中的任何建议都是有帮助的。;const http = require('http');const
浏览 7
提问于2021-11-17
得票数 0
2
回答
在node.js中
抓取
已认证的网站
javascript
、
python
、
node.js
、
meteor
我
使用
RoboBrowser在python中只用了10行代码就完成了:url = "https://cas.upc.edu/login
浏览 0
提问于2016-05-17
得票数 3
1
回答
使用
Axios
发送多个HTTP请求
node.js
、
axios
、
http-headers
、
httprequest
我正在尝试
使用
Node JS
Axios
爬行这个网站来获取大学名称。我注意到网站
使用
分页API,所以要
抓取
所有的大学名称,我必须发送多个请求。我不知道
如何
抓取
超过1个页面。以下是我的代码const
cheerio
= require('
cheerio
'); var request = require('
浏览 20
提问于2020-05-11
得票数 0
1
回答
HTML网页
抓取
-
如何
获得所有的数据加载到Node.js?
html
、
node.js
、
web-crawler
我正在尝试
使用
Node.js来
实现
数据
抓取
。我
使用
axios
获取HTML文件,并
使用
cheerio
获取数据。谢谢。
浏览 0
提问于2019-02-06
得票数 0
1
回答
如何
抓取
使用
过滤器动态渲染的网站?
node.js
、
axios
、
cheerio
我想要
抓取
屏幕上显示的产品。我在node.js中
使用
了
cheerio
和
axios
,但是
cheerio
只得到了源代码主体,这并不是我所需要的。
浏览 13
提问于2020-03-20
得票数 0
回答已采纳
1
回答
如何
用
axios
.all捕捉所有的承诺?
node.js
、
promise
、
axios
我正在
使用
和
抓取
一个网页我想刮每一个链接,而滚动直到我到达终点。这是我的代码示例:
axios
= require('
axios
') return
axios
(options).then(function(response) {
浏览 3
提问于2020-04-02
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用JS和NodeJS爬取Web内容
给女朋友写的一个简书爬虫
为什么我不再用Redux了
所见即所得-基于Node.js的页面数据实践
国际酒店用户服务能力提升(一)
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券