我使用Puppeteer获取网站HTML，然后用Cheerio抓取数据。以下是我的代码的一部分。它几乎每次都工作得很好，但有时我在companyAddress和companyIntro中得不到定义。一开始，我认为这可能是由于不同页面的差异，但即使我在不同的时间抓取相同的页面也会发生这种情况(大多数时候我会获得数据，但有时它是未定义的)。页面渲染成功，通过devtool确认属性及其值存在。我想知道它背后的原因。会不会是
浏览 42提问于2021-02-24得票数 3
我得到了TypeError：$不是一个函数，我试图使用nodejs中的傀儡和啦啦队从一个网站上抓取数据错误：import puppeteer
浏览 3提问于2021-10-17得票数 0
1回答
br编码中的Axios响应
、、、、
我正在尝试从中进行web抓取，我正在使用NodeJS库( cheerio )和axios进行抓取。这是我的密码：const axios = require("axios")
const config = { url:"https:&#
浏览 19提问于2022-11-26得票数 1
回答已采纳
我现在正在做一个项目，遇到了一个错误，需要你的帮助！基本上，我尝试选择以下锚标记内的包装文本 <a href="..." class="productDetailsLink js-productName">Product Name</a> 这是我当前的代码关于如何抓取这样的文本，我已经没有想法了。
浏览 24提问于2020-04-10得票数 3
回答已采纳
4回答
这是一个简单的打招呼应用程序。这个标签有一个名为product的类，我想访问它的href，但是当我控制台记录它时，我不会得到任何html。有人能遮住光线，看看发生了什么事，以及如何从这里得到我想要的数据吗？
浏览 0提问于2019-04-24得票数 7
回答已采纳
1回答
我正在使用cheerio.js和puppeteer.js跟随这个来尝试做一些基本的web抓取。当我试图在服务器端编写它时，我并没有完全遵循教程的做法，我的想法是让我的后端处理所有的抓取，然后在将来将数据传递到前端。nodemon] starting node server.js Your app is listening on port 8080 [Function]
看起来dynamicScraper正在返回[Function]，而我希望它是教程中的</e
浏览 1提问于2019-03-30得票数 0
回答已采纳
我使用Cheerio解析html，然后运行以下命令： +$("#price1").text()|| +$("#price2").text() || undefined 基本上，如果第一次失败，它会尝试获取价格，如果所有失败，最后都会返回undefined。我如何在Puppeteer中做同样的事情？我不确定如何使用page.evaluate来执行这一系列if-else命令。(我也在使用Typescript。)
浏览 23提问于2020-12-06得票数 1
回答已采纳
3回答
我正在尝试在一个nodejs应用程序中获取https://www.example.com/的innerText。我尝试使用request npm模块获取URL的正文，如下所示： request({
url:'https://www.example.com
浏览 3提问于2018-01-20得票数 0
我建了一个在线体育比分的网络搜索器。我有两个文件，一个用作服务器的index.js和一个执行抓取的scraper.js文件。module.exports = app;
try{
浏览 0提问于2019-12-30得票数 0
我正在使用Puppeteer，并试图使用document.querySelectorAll来获取元素列表，然后循环执行某些操作，然而，似乎我的代码中出现了一些错误，它要么什么都不返回，要么返回undefined，要么返回一个空的{}，尽管我的元素在页面上，我的JS： let elements = await page.evaluate(() => document.querySelectorAll("div[class
浏览 66提问于2020-03-29得票数 0
回答已采纳
在网站html上返回"function map() { native code }“之前，我有Object，Object。。。返回到HTML <body> <h1>demo</h1>索引路由：/models/conn&#x
浏览 40提问于2020-03-12得票数 0
回答已采纳
我得到的div与class=“成员限制-节捕获-区域”使用cheerio和node.js，但我不能从跨度的文本。 rp(url) var getHtml = $("div[class='membership-limit-section capture-area
浏览 16提问于2020-04-22得票数 1
我不知道如何在puppeteer中迭代div的每个子项。我已经尝试了很多像page.evaluate这样的东西，但它并不像我想要的那样工作。我想迭代每个子对象并进行检查/操作，但是对于page.evaluate (我不知道它是如何工作的)，它不是这样工作的。$x('/html/body/div[1]/div[2]/div/div/div[3]/div[3]/di
浏览 37提问于2020-07-28得票数 0
我最近开始与NodeJS和Cheerio合作。我将获得一个外部URL，并使用Cheerio加载html。我偶然发现了一个问题，每当我试图获得元素的css属性时，$.css([property])总是返回null，不管我给它提供了什么选择器或属性。cheerio = require('cheerio');
app.get('/
浏览 3提问于2016-05-11得票数 2
回答已采纳
1回答
我正在尝试获取所有类名为calendarCellRegularPast的td元素，我尝试过多次尝试page.$、page.$$、page.eval和许多其他元素，但似乎无法获取正确的元素。我知道有一种方法可以做到这一点，但老实说，我对puppeteer和Javascript是个新手，就是搞不明白。
到目前为止，以下是我
浏览 1提问于2021-08-27得票数 1
我试图使用Puppeteer从eBay中抓取这个元素：但是，当我运行我的代码时，我会收到一个错误，上面写着“无法读取null的属性(读取'textContent')”。这是我的密码： const browser = await puppeteer.launch({ });
浏览 3提问于2022-06-06得票数 1
1回答
页面加载后的问候语选择器
、、、、
我想在这个网站上的url值：还是我的选择错了？请有人帮我检查一下我的选择器，或者我需要为代码做些什么。async function getDetail(res, url) { const html = await scrapin
浏览 1提问于2021-06-21得票数 0
回答已采纳
我似乎在cheerio查询中返回的元素上找不到innerHTML属性。 下面的代码在jQuery中运行得很好，即输出Para 2。const d = $("p","<div><p>Para 1</p> <p>Para 2</p></div>");
console.log(d[d.length-1].innerHTML) 但是，在cheerio中，即使d中的<
浏览 27提问于2021-01-25得票数 0
我正在从网页上抓取数据，分页也是有效的。我有一张有tr的桌子。对于每个tr，都有位置、标题和URL。.map((index，element) => {I要调用每个tr "async url => { await page.goto(${url});“中，转到”详细信息“，从”详细信息“页中抓取数据并返回列表(在.map()内调用异步) const puppeteer = require("puppeteer");
const che
浏览 19提问于2019-12-11得票数 0
回答已采纳
2回答
我在用cheerio，我怎么才能得到contentrequest('https://example.com', function (error, response, html) {error && response.statusCode == 200) { console.log(html);
}property="og
浏览 5提问于2017-09-16得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
