使用node js进行web抓取页表时面临的问题

javascript、node.js、web-scraping、screen-scraping、cheerio

我正在抓取网页这里arr总是空的。该图像显示了表的结构任何帮助都将不胜感激。

浏览 5提问于2017-06-21得票数 0

1回答

使用BeautifulSoup和web抓取自动填写web表单

python、html、web、beautifulsoup

我正在尝试使用BeautifulSoup(或其他web scraping API)来自动化web表单。例如，在Facebook的登录页面上也有一个注册表，所以假设我想通过自动化填写此表单。所以我需要能够找到相关的html标签(例如名字，姓氏等的输入)，然后我想要接受所有的输入，并向Facebook推送一个请求来创建该帐户，这将如何完成？

浏览 2提问于2018-07-21得票数 0

1回答

网络抓取是安全的吗？

windows

我正在为Alexa世界排名第一的网站进行网络抓取和数据挖掘。我不认为使用一个像样的抓取/ web请求库来进行</em

浏览 0提问于2020-12-26得票数 0

1回答

如何在同一个javascript程序中部署和获取智能契约的地址

javascript、node.js、ethereum、smartcontracts

我希望部署一个智能契约(在.json文件中提供)，并需要它的地址(在testnet块链上)，然后尝试向它发送一些事务。所有这些都应该通过javascript来完成。下面是我尝试部署的代码，但无法运行。此外，我也很困惑，为什么在这里我们不使用我们的私钥在合同部署期间签署。/loader.js:831:12) at bo

浏览 0提问于2019-11-11得票数 1

回答已采纳

1回答

使用python从同一网页中的多个链接中提取数据

python、web-scraping、beautifulsoup、python-requests

我是蟒蛇和网络抓取的新手。测试索引有用于各种临床测试的测试组件的名称列表。单击每个名称将带您到另一个页面，其中包含有关单个测试组件的详细信息。我想从这一页中提取出有共同问题的部分。最后，将包含测试组件名称的数据框架放在一列中，将常见<

浏览 1提问于2018-01-19得票数 0

2回答

将Python脚本连接到Nodejs

python、node.js

完成Node.js新手入门。最近，我接到一个任务，用python在web上抓取一个网站，然后使用Node.js中的python-shell包将python脚本连接到Node.js。我已经完成了抓取部分，但对Node.js没有任何先验知识。你能指导我如何解决这个问题吗？

浏览 0提问于2020-01-07得票数 0

1回答

Web-抓取一个带有javascript的网站(使用javascript)

javascript、web-scraping

我正试着从足球/足球报道中收集排成一列的队伍。我决定从一个报告提供者那里收集数据，但是他们的网站上装载了javascript。function readurl(url, elementID){ var url = "http:我猜问题是闪存网站正在使用javascript来加载数据，但是allorigins.me并没有“等待”直到整个网站

浏览 0提问于2018-10-07得票数 0

1回答

对象没有“单击”方法: web抓取

jquery、web-scraping、cheerio

我试图为我们的内部项目创建一个web抓取模块，这与任何其他网站相似，我面临的问题是，在第一页登录是不起作用的。在输入用户名和pasword后，当我单击登录按钮时，它显示对象没有方法单击，我尝试在facebook登录上进行相同的操作，只是为了验证我们的站点哪里出了问题，或者我做错了什么，我再次从facebook上发现了相同的错误TypeError：

浏览 3提问于2015-07-12得票数 0

1回答

在iisnode中运行噩梦节点js应用程序

javascript、node.js、hapijs、nightmare

我们已经创建了一个使用hapi node js的node js应用程序，并包含了一些使用nighmare node js的web抓取功能。使用hapi公开的应用程序接口很少，在命令行中运行应用程序时一切都很好，比如"node app.js“。但当应用程序使用iisnode托管在II

浏览 0提问于2016-12-27得票数 0

2回答

是否可以使用node.js作为更快、更优雅、启用数据库的替代方案来替代greasemonkey？

javascript、node.js、greasemonkey、scriptish

我使用自动调用一个页面，从一个网站中抓取一些数据，这是很尴尬的，原因有两个：我必须将所有持久化信息存储在JSON中，而不是直接存储在数据库中。是否可以使用node.js作为Greasemonkey的替代方案，因为node.js可以直接将记录存储在数据库中，并且不需要像Greasemonkey那样直观地加载页面？此外，我认为node.js

浏览 18提问于2012-06-22得票数 1

回答已采纳

1回答

请求()和fs.createReadStream()不返回“右”值

javascript、arrays、node.js、request、fs

我试图用Node.js抓取网页的内容，并将其与作为文件存储的同一页的副本进行比较，如下所示：var request = require("requestconsole.log("checkpoint 1"); console.log("checkpoint 2"););

浏览 1提问于2016-11-18得票数 1

回答已采纳

2回答

Node.js强制等待功能完成

javascript、node.js、file、npm、x-ray

在使用Node.js运行的程序中，我有一个for-循环。函数是来自包的x()，我使用它从网页中抓取和接收数据，然后将数据写入文件。这个程序是成功的，当使用刮约100页，但我需要刮~10000页。当我试图抓取大量的页面时，文件将被创建，但它们不包含任何数据。我认为存在这个问题是因为for -循环没有等待x()返回数据，然后再<em

浏览 1提问于2015-11-17得票数 1

回答已采纳

1回答

无法在gatsby (react)组件中使用npm包

reactjs、node-modules、gatsby

大家好，我正在尝试使用这个npm包，它是我在gatsby js项目中找到的。我目前在我的控制台和我的localhost窗口的空白页面中得到了这个错误。 ℹ ｢wdm｣: Compiling.../

浏览 2提问于2019-09-27得票数 1

2回答

在使用r进行web抓取时，无法找到所有的页表

r、web-scraping、rvest

我正尝试使用r从NOAA站点收集6分钟的潮汐数据表。我尝试了几种不同的方法，但似乎没有人能找到我想要的表格： html_nodes("table") %>% html_table()

浏览 6提问于2022-02-05得票数 0

3回答

React中没有定义FormData

reactjs、unit-testing、jestjs

但是当我测试的时候我会出错我试着用这个模块但是没有运气..。我不想只测试axios，我需要测试全部功能。

浏览 3提问于2020-01-14得票数 6

回答已采纳

1回答

使用selenium使用python从表中抓取数据时面临的问题

python、selenium、xpath、web-scraping、web-crawler

我编写了一个脚本，使用python和selenium结合从目标页面解析表，为了清晰起见，可以在下面描述的一些步骤中找到该脚本。它确实到达了目的地，但是在从该表中抓取数据时，它会抛出控制台中显示“无法找到元素”的错误。我尝试使用在线xpath测试器来检查它是否错误，但我发现我在脚本中使用的"td_data“的xpath是正确的。我想，我在这里所缺少的是我所

浏览 1提问于2017-06-24得票数 0

回答已采纳

1回答

Node.js +打字稿+ Webpack =模块未找到

javascript、node.js、typescript、webpack、webpack-2

我是Webpack，Node.js和类型记录的新手，我很难配置我的开发环境。当运行webpack以编译src/server.ts以生成/server/bundle.js时，我将得到以下错误： "scripts": { "serve": &quo

浏览 5提问于2017-03-03得票数 3

回答已采纳

2回答

JavaScript中的屏幕抓取

javascript、screen-scraping

我正在尝试建立一个客户端屏幕抓取。对于这样的需求，有没有一个好的JavaScript解决方案？

浏览 2提问于2012-12-08得票数 2

回答已采纳

1回答

运行一个Flask服务器是否可以防止Node.JS中的web抓取？

javascript、node.js、python-3.x、web-scraping

我有兴趣尝试一个网络抓取项目。目标站点使用Javascript动态加载和更新内容。大多数在线讨论都表明，在尝试这样一个项目时，node.js、casper.js、phantom.js和nightmare.js都是相当流行的工具。Node.js似乎是最常用的。如果我正在运行一个烧瓶服务器，并且希望显示一个node.js的结果，例如

浏览 6提问于2017-04-19得票数 0

回答已采纳

5回答

LinkedIn网络抓取

data-mining、social-network-analysis、crawling、scraping

最近，我发现了一个用于连接到新R包 API的LinkedIn。不幸的是，从一开始，LinkedIn API似乎是非常有限的；例如，您只能获得公司的基本数据，这与个人的数据是不同的。我想获取某一公司所有员工的数据，您可以使用在现场手动操作，但是通过API是不可能的。如果import.io是识别LinkedIn分页，那么它将是完美的(参见页面末尾)。是否有人知道适用于LinkedIn站点当前格式的任何web</

浏览 0提问于2015-05-13得票数 11

回答已采纳

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

使用node js进行web抓取页表时面临的问题

相关·内容