如何使用got库从给定的url下载文件到缓冲区？
使用got库从给定的url下载文件到缓冲区的步骤如下：
- 首先，确保已经安装了Node.js和npm（Node包管理器）。
- 在命令行中使用以下命令安装got库：
- 在命令行中使用以下命令安装got库：
- 在代码中引入got库：
- 在代码中引入got库：
- 使用got库的stream方法发送GET请求，并将响应数据流式传输到缓冲区：
- 使用got库的stream方法发送GET请求，并将响应数据流式传输到缓冲区：
- 这将从指定的URL下载文件，并将文件内容存储在缓冲区中。
完整的示例代码如下：
const got = require('got');
async function downloadFileToBuffer(url) {
try {
const buffer = await got.stream(url).buffer();
console.log('文件下载成功！');
return buffer;
} catch (error) {
console.error('文件下载失败：', error.message);
return null;
}
}
const fileUrl = 'https://example.com/file.txt'; // 替换为实际的文件URL
const fileBuffer = await downloadFileToBuffer(fileUrl);
if (fileBuffer) {
// 处理文件缓冲区
console.log(fileBuffer.toString());
}请注意，这只是使用got库下载文件到缓冲区的一种方法，还有其他方法和库可供选择。在实际应用中，还需要考虑错误处理、文件大小限制、下载进度等因素。
相关·内容
2回答
通过管道将axios请求发送到pkgcloud存储上传会导致“结束后写入”错误
node.js、async-await、axios、nodejs-stream、pkgcloud
我正在尝试使用axios下载一个外部文件，然后使用pkgcloud将其传输到openstack对象存储容器中。上载流似乎在文件完全下载之前结束。 async function upload(url, name, extension, container) {
const uploadStream = storage.createClient({
...
}).upload({
container: container,
remote: name + "." + extension,
});
aw
浏览 24提问于2019-06-04得票数 2
回答已采纳
1回答
打开blob文件的问题
javascript、reactjs、blob
无法理解为什么它不显示Blob文件。守则是：
openBlob = fileBuffer => {
const file = new Blob([fileBuffer], { type: "image/bmp" }); // You could also add the MIME type here as { type: "application/pdf" }
const fileURL = URL.createObjectURL(file);
console.log("fileURL" + fileURL)
window.open(fil
浏览 2提问于2019-09-21得票数 1
3回答
将文件从外部url上载到S3
javascript、node.js、amazon-web-services、amazon-s3
我正在尝试从外部url上传一个图片到S3。
目前，我可以成功地上传一个文件，但是在我下载并打开它之后，我发现它已经损坏了。
下面是我使用的代码(got正是我用来获取资源的代码)：
const got = require('got');
const Web3 = require('web3');
const s3 = new AWS.S3({
accessKeyId: AWS_ACCESS_KEY_ID,
secretAccessKey: AWS_SECRET_ACCESS_KEY,
});
const response = await got
浏览 2提问于2021-10-14得票数 0
回答已采纳
1回答
使用Node.js和Busboy将多个文件上传到S3
node.js、aws-sdk-js、busboy
我正在尝试实现一个允许多个文件上传的API端点。 我不想将任何文件写到磁盘上，而是缓冲它们并通过管道传输到S3。 这是我上传单个文件的代码。一旦我尝试将多个文件发送到route.js中的端点，它就不能工作了。 route.js -我将尽可能保持框架不可知 import Busboy from 'busboy'
// or const Busboy = require('busboy')
const parseForm = async req => {
return new Promise((resolve, reject) => {
浏览 19提问于2019-12-12得票数 3
回答已采纳
1回答
通过转换文件缓冲区将文件上载到google
javascript、typescript、express、google-cloud-platform
我试图通过接受缓冲区并使用save函数将一个文件上传到google。然而，我的问题是我的文件没有以正确的格式上传到google云。它们被上传，但是当我尝试下载该文件时，它们都是缓冲区的.txt文件。
我不太确定我应该在这里做什么。任何帮助都将不胜感激！
upload.ts
const upload = async (fileBuffer: any, filePath: string, fileName: string) => {
const file = bucket.file(path.join(filePath, fileName));
file.save(fileB
浏览 1提问于2021-09-03得票数 0
回答已采纳
2回答
木偶机page.goto(url)在循环中不等待负载
javascript、node.js、web-scraping、puppeteer
我有pdf文件的网址。例：
const filesUrl= ["http://example.com/animal.pdf", "https://example.com/fruit.pdf", "http://example.com/stars.pdf"]
我想下载这些文件并使用傀儡机将其保存到我的服务器文件夹中。
我所做的是：
使用page.goto(url)write文件使用fs.writeFilenext循环实现循环filesUrl第一循环im
但是我有错误：ERR_INVALID_CALLBACK:回调必须是一个函数。接收未定义的
如果我
浏览 2提问于2022-01-02得票数 0
1回答
NodeJS -直接流到Azure数据湖
javascript、node.js、azure、stream、azure-data-lake
我得到了下面的示例，其中im使用流媒体下载zip文件。那很好用。
但我有个挑战。我需要下载此文件并直接发送到Azure，而不将此下载保存到本地。有可能吗？
看一下代码：
const { createWriteStream } = require("fs");
const stream = require("stream");
const { promisify } = require("util");
const pipeline = promisify(stream.pipeline);
const url = "http://...
浏览 9提问于2021-02-26得票数 1
1回答
如何将字节数组转换为base64编码格式？
javascript、blob、bytea
我有一个页面可以从Postgres数据库下载一个文件。现在，我可以按以下URL查看数据库中的文件内容(存储为bytes)-HTTP://sandbox4.wootz.io:8080/api/blob/1/UploadFile/hope%20real.txt )
由于数据存储在一个类型为字节(字节数组)的列中，当我单击“下载”按钮时，它将下载文件，当我看到它的内容时，它将显示为一个字节数组。
File.txt(内容)
[\x58595a5052415445454b3123473b4c534e44204e474f49574853474849444748445348474d70253335]
下载功
浏览 1提问于2020-07-06得票数 2
回答已采纳
1回答
Express.js -侦听中止请求
node.js、express、stream
我使用got.stream下载一个文件并以流的形式发送给客户端。
我希望有一个监测有多少下载有在任何时候，为此，我需要知道什么时候下载结束，以更新计数器。
const stream = require('stream');
const { promisify } = require('util');
const pipeline = promisify(stream.pipeline);
const got = require('got');
let currentDownloadsStream = 0;
app.get('down
浏览 8提问于2022-09-28得票数 2
回答已采纳
1回答
为什么我保存到Google云存储时图像"request“中的文件不完整？
javascript、node.js、google-cloud-storage
我正在尝试从URL上载图像到我的Google云存储(Firebase)。下面的函数将返回该文件，一个连续的函数将检索到新文件的实际签名/下载Url。在所有这些之后，我正在用新的URL更新Firestore数据库中的文档。这部分工作；函数等待上传图像(不幸的是不完整的)，并且我的文档使用新创建的文件url进行更新。但是实际的文件/图像是不完整的。:-( async function saveToStorage(fileUrl) {
var storage = admin.storage();
var urlLib = require("url");
var path
浏览 19提问于2020-04-27得票数 1
1回答
使用NodeJS从URL中保存docx文件
node.js、docx
我想使用Node从url下载docx文件内容到S3。是否有一个建议库来做同样的事情。我试图使用类似的东西在本地下载，但结果发现文档内容是胡说八道。这里有我遗漏的东西吗。
const axios = require("axios");
const fs = require("fs");
(async function () {
let article;
try {
const httpResponse = await axios.get("https://<url>/Go_Lang.docx?raw=true",
浏览 9提问于2022-09-13得票数 1
回答已采纳
1回答
如何在javascript中正确解码base64字符串
javascript、node.js、file、base64
我尝试将使用base64文件生成的字符串转换为原始格式。
在NodeJS中，我这样做了，它能够生成pdf到它的初始状态。
filebuffer = "data:application/pdf;base64,JVBERi0xLjQKJSDi48/..........."
let base64file = fileBuffer.split(';base64,').pop();
fs.writeFileSync('download.pdf',base64file,{encoding:'base64'},function(err){
浏览 4提问于2019-11-30得票数 1
回答已采纳
1回答
剧作家:缓冲区在传递给page.evaluateHandle时被错误地序列化了？
javascript、automated-tests、playwright
我需要模拟一个文件从文件系统下降到一个页面。所以我用这个例子：
let fileBuffer = await fs.readFileSync(itemFilePath)
const dataTransfer = await buildTabPage.page.evaluateHandle((fileBuffer) => {
const dt = new DataTransfer();
console.log(JSON.stringify(fileBuffer))
const file = new File([fileBuffer.toString('he
浏览 2提问于2022-05-25得票数 0
回答已采纳
2回答
用got可靠的文件下载
node.js
我正在研究几个目前广泛使用的请求库，以及如何使用它们来自动化文件下载+使它们足够可靠。
我被download ()绊倒了，但由于它是基于got ()的，所以我想我应该先直接尝试got。
问题
下载文件时可能遇到的一个问题是源文件(在服务器上)可能会在下载过程中被覆盖。当我尝试用got再现这种行为时，got只会停止下载过程，而不会出现任何错误。
到目前为止我拥有的
我能想到的唯一解决方案是使用got.stream --将请求转换为FileWriter，并在请求结束后将total与transferred进行比较。
const app = require('express')();
浏览 2提问于2020-12-10得票数 1
回答已采纳
1回答
Node.js应用程序性能
node.js、performance、timeout、base64
我目前在Azure上有一个node.js脚本，它获取一个文件(通过一个指向该文件的下载链接)并对其进行base64编码，然后将这个base64编码的文件发送回请求源。我遇到的问题是基于性能的。在某些情况下，下面的脚本由于运行时间超过30秒而使单独的应用程序超时。在其中一个超时时，有问题的文件的大小小于1 MB。有什么想法吗？
脚本：
const express = require('express');
const bodyParser = require('body-parser');
const https = require('https&
浏览 12提问于2017-02-28得票数 0
回答已采纳
2回答
使用流下载文件、存档和传输到S3
javascript、node.js、amazon-s3、archive、node-archiver
我正在使用来自问题的代码来使用节点存档程序来归档文件，并将它们传输到S3。我的具体任务要求我从URL下载大量文件，将它们压缩到一个归档文件中，并将它们传输到S3。
我正在使用"got“Javascript库来完成这个任务。
for (const file of files) {
const { resultFileName, fileUrl} = getFileNameAndUrl(file);
if (!fileUrl)
continue;
const downloadStream = got.stream(fileUrl, {
retry: {
浏览 15提问于2022-07-08得票数 2
1回答
如何用GridFsBucket制作快速下载链接？
node.js、mongodb、express、gridfs
正如标题所说，如何使用express与来自mongoDB(GridFsBucket)的文件建立直接下载链接？ 该文件应该可以从内存下载，因为我不想把它临时保存在服务器上。 我有这个方法： async function downloadFileFromDB(fileId) {
var gridfsbucket = new mongoose.mongo.GridFSBucket(mongoose.connection.db, {
chunkSizeBytes: 1024,
bucketName: 'filesBucket'
});
try {
浏览 37提问于2021-09-23得票数 1
2回答
readFileSync无法从URL中找到文件
javascript、node.js
我试图下载一个文件(没有保存)并转换它，但是readFileSync抛出了一个找不到该文件的错误："Error: ENOENT: no such file or directory, open 'https://s3.amazonaws.com/appforest_uf/f1631452514756x615162562554826200/testdoc.txt'"
代码：
var path = require('path');
const fs = require('fs');
const https = require('
浏览 6提问于2021-09-12得票数 0
回答已采纳
1回答
获取-下载Excel文件不工作。文件大小1kb
javascript、node.js、fetch
我正在尝试下载一个文件，它下载后不工作。我得到的文件，但大小是1kb，这不是实际的文件大小。
如果使用fetchResp.text()，则无法打开文件名。
这是完整的代码。
我认为问题可能在这里:返回等待fetchResp.text()；
这是一个例子，设置cookie也很重要，因为我想下载登录后的数据。
如何处理木偶，饼干和取？
如果我把fetch函数放在page.evaluation之外怎么办。{凭据：“包括”}是否有效？
提前谢谢你的帮助。
const puppeteer = require("puppeteer");
const cheerio = require(&#
浏览 0提问于2020-04-08得票数 0
回答已采纳
1回答
将文件从multer node.js放到云端
javascript、node.js、cloud、multer
我想做的是：
保存文件到本地临时存储，将其发送到云存储响应url，从云保存到数据库，此url
首先将文件保存到本地临时存储
router.post('/', auth, upload.single('file'), async(req, res) => {
try {
if(req.file === undefined)
return res.status(400).send({ error: 'File object is undefined' });
// upload
浏览 5提问于2020-12-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
