使用Exceljs将文件写入s3存储桶

文章/答案/技术大牛

发布

1回答

amazon-s3、exceljs

下面的脚本从mySql查询，并在本地将结果存储在excel中。我试图解决的问题是将其保存到我的计算机上的S3存储桶中。我有一些亚马逊网络服务的经验，可以桥接到亚马逊网络服务的连接，从S3存储桶中读取文件，但我很难解决这个问题。谢谢! 我找到了以下代码，但无法将其与我已经编写的代码集成在一起。const s3 = new aws.S3(/* put your s3 configuration

浏览 5提问于2019-08-18得票数 1

1回答

获取spark数据帧写入的文件名

python、dataframe、amazon-s3、pyspark、filenames

我使用下面的代码将spark数据帧写入s3存储桶中。. \在这里，我想要获取正在写入s3 bukcet的文件的名称，并希望将该文件用作后面代码部分的一部分。我已经解决了上面的问题，因为我们不能在将数据帧写入s3<

浏览 0提问于2018-06-18得票数 1

1回答

更快地为S3编写Pyspark

amazon-s3、pyspark

我正在使用Pyspark从mysql中提取数据，并试图使用pyspark上传相同的数据。虽然这样做，它需要5-7分钟来上传一块100 K的记录。这一过程将需要几个月的数据拉出，因为源中大约有3,108,700,000 recs。是否有更好的方法可以改善S3上传过程。df = spark.read.format("jdbc"). option('

浏览 3提问于2022-06-24得票数 0

回答已采纳

1回答

如何使用Kafka connect S3接收器连接器标记s3存储桶对象

amazon-s3、apache-kafka、tags、apache-kafka-connect

我们有没有办法通过Kafka Connect S3接收器连接器来标记写在S3存储桶中的对象。我正在从Kafka读取消息，并使用S3接收器连接器在S3存储桶中写入avro文件。当文件被写入S3存储桶时，我需要标记这些文件。

浏览 1提问于2019-07-24得票数 1

2回答

rails 3，尝试使用aws-sdk gem，找不到方法的任何文档？

ruby-on-rails、amazon-s3

尝试使用Amazon aws-sdk gem将文件上传到S3。我找不到任何关于可用于浏览/创建存储桶和文件的方法的文档。他们在github repo上给出的唯一示例包括一个创建S3存储桶和写入文件的示例，但没有列出存储桶中的文件，设置存储桶中文件的权限，或

浏览 0提问于2012-09-16得票数 0

回答已采纳

1回答

对我的亚马逊网络服务S3存储桶中其他人创建的对象的访问权限被拒绝

amazon-web-services、amazon-s3

我们有一个将文件写入亚马逊S3存储桶的应用程序。我无法将文件下载或复制到不同的存储桶。我收到access denied错误。文件的所有者是其他人，但是存储桶归我们所有。如何访问文件并更改访问权限或更改文件的所有者？我尝试将对象从源存储桶复制到目标存储桶，但

浏览 14提问于2019-09-19得票数 0

1回答

是否有一种使用PySpark编写大量小文件的最佳方法？

pyspark、apache-spark-sql、amazon-emr、partitioning

我有一个作业，需要为中的每一行写一个JSON文件到s3 (然后由另一个进程获取)。df.repartition(col("id")).write.mode("overwrite").partitionBy(col("id")).json( f"s3://bucket/我知道大量的小文件对于读取性能来说并不是很好，但是写的情况也是这样吗？还是有什么可以通过分区来加快速度的呢？

浏览 1提问于2022-06-20得票数 0

1回答

如何编写仅用于更新文件的AWS Code pipeline？

amazon-web-services、aws-codepipeline、aws-codecommit

我有一个任务，我需要编写代码管道来将文件从CodeCommit复制到S3存储桶，但条件是只能复制更新/删除的文件。我已经编写了管道，但它将所有文件复制到S3存储桶中。我使用了下面的代码块， https://medium.com/@michael.niedermayr/using-aws-codecommit-and-lambda-for-automa

浏览 12提问于2021-04-27得票数 0

1回答

是否可以将数据从beam ( S3 )流到S3桶？

java、scala、amazon-s3、sbt

目前，我正在开发一个项目，该项目使用Scala中的Scio从BigQuery表中提取数据。我能够提取数据并将其摄入到ElasticSearch中，但我也试图这样做，但使用S3存储桶。当然，我能够使用saveAsTextFile方法将数据写入txt文件，然后将其从我的机器上传到s3桶中，将正确的库添加到sbt中。但是，我不知道是否有可能立即编写saveCustomOutput代码<

浏览 1提问于2022-05-03得票数 1

回答已采纳

2回答

python boto3写入S3会导致空文件

python、amazon-web-services、amazon-s3、boto3

我在向S3存储桶写入文件时遇到了Python2.7和boto3的问题。具体地说，当我在我的EC2实例上写入一个文件时，关闭它，然后尝试将新文件写入S3存储桶，我看到有一个文件被写入，但它是空的(0字节)。下面是代码片段：

浏览 4提问于2016-05-03得票数 1

2回答

我如何将S3桶挂载到EC2实例并使用EC2编写？

php、amazon-s3、fuse、s3fs

服务器设置包括两个EC2实例，一个弹性负载均衡器和一个额外的弹性块存储，web应用程序驻留在其中。这个项目应该使用S3来存储用户上传的文件。s3fs将挂载文件系统，但不允许我写到桶中(我问了这个问题:如何使用FUSE安装具有适当权限的S3卷)。RioFS将挂载文件系统，并允许我从shell写入存储桶，但是使用P

浏览 1提问于2013-05-07得票数 54

回答已采纳

1回答

限制用于多个本地服务器的AWS存储网关中的文件共享数

amazon-web-services、amazon-s3、aws-storage-gateway

看起来，AWS存储网关将在每个AWS S3桶中公开一个共享。这意味着总共将有9股，9个S3桶。是否有任何方法只使用一个文件共享就可以做到这一点？

浏览 4提问于2018-07-03得票数 0

回答已采纳

2回答

有没有办法使用boto3将文件直接写入S3？

python、amazon-web-services、amazon-s3、boto3

我编写了一个python脚本来处理非常大的文件(总共几TB )，我将在一个EC2实例上运行它。然后，我想将处理后的文件存储在一个S3存储桶中。目前，我的脚本首先将数据保存到磁盘，然后上载到S3。不幸的是，考虑到等待实例首先写入磁盘然后上传所花费的额外时间，这将是非常昂贵的。有没有办法使用boto3将文件直接写入到S3存储桶中？

浏览 3提问于2018-01-29得票数 18

回答已采纳

1回答

处理AWS ELB访问日志(从S3存储桶到InfluxDB)

amazon-s3、influxdb、amazon-elb、access-log、telegraf

我们希望处理AWS ELB访问日志并将其写入InfluxDB，以用于应用程序指标和监控(例如，Grafana)。到目前为止，我们尝试的是使用s3fs将Telegraf存储桶挂载到文件系统，然后使用S3代理进行处理。但是这种方法有一些问题: s

浏览 3提问于2018-05-23得票数 2

3回答

将R数据作为csv直接写入s3

r、csv、amazon-web-services、amazon-s3

我希望能够将data.frame\ data.table对象中的数据作为csv文件直接写入到AWS s3中的存储桶中，而无需首先使用AWS CLI将其写入磁盘。obj.to.write.s3 <- data.frame(cbind(x1=rnorm(1e6),x2=rnorm(1e6,5,10),x3=rnorm(1e6,20,1))) 此时，我首先写入csv，然后上传到现有存储桶，然后<em

浏览 1提问于2015-05-07得票数 19

1回答

如何在AWS函数执行过程中用AWS编写文件？

java、amazon-web-services、amazon-s3、aws-lambda、aws-sdk

我需要使用docx4j和iText生成文件的(.docx，.pdf)。并使用AWS函数将最终生成的文档存储在S3桶中。我试过几种选择，但没有一种解决方案对我有效。我可以使用我的S3代码将本地文件上传到S3桶，并将一个普通的文本文件写入AWS S3桶。但是，我的要求是，首先我必须创建所需位置的

浏览 2提问于2019-08-02得票数 0

回答已采纳

1回答

我们是否可以将Amazon策略传播到FSx for lustre文件系统？

amazon-web-services、amazon-s3、amazon-iam、lustre、fsx

我想为亚马逊S3存储桶支持的lustre文件系统创建一个FSx，并想将其挂载到EC2上。现在，如果我在亚马逊S3上创建了一些IAM策略，那么谁可以对亚马逊S3存储桶内容做什么。例如，不允许对亚马逊S3存储桶进行写访问，这是否也适用于FSx For lustre文件系统？如果没有，我如何管理某些用户创建对FSx文件系统的EC2计算机上的访问权限，哪些用户可以列出、

浏览 6提问于2021-06-11得票数 0

4回答

在亚马逊网络服务中将pickle文件写入s3存储桶

python、pandas、amazon-web-services、amazon-s3

我正在尝试将一个熊猫数据帧作为一个pickle文件写入到亚马逊网络服务的s3存储桶中。我知道我可以将dataframe new_df作为csv写入到s3存储桶中，如下所示： bucket='mybucket's3_resource = boto3.resource('s

浏览 39提问于2018-03-06得票数 24

回答已采纳

1回答

从AWS Lambda到雅典娜的同步调用

amazon-web-services、aws-lambda、boto3、amazon-athena

我希望从我的AWS Lambda中使用雅典娜来查询我的S3存储桶中的数据。当我查看一些示例时，Lambda对雅典娜的调用似乎是异步的。Lambda调用雅典娜，等待雅典娜将结果写入S3存储桶。有没有一种方法可以直接检索响应，而不必将其写入S3存储桶？

浏览 13提问于2019-03-05得票数 1

回答已采纳

2回答

向亚马逊S3写入Serilog日志的推荐方式是什么？

amazon-s3、serilog

我希望使用Serilog将结构化日志数据写入亚马逊S3存储桶，然后使用数据库进行分析。我以为Serilog会有一个S3接收器，但我发现我错了。我认为也许使用文件接收器和其他东西可能是门票，但我不确定这可能是什么样子。我想我可以在我的EC2实例上挂载S3存储桶并对其进行写入，但有人告诉我这是有问题的。你们能给我指个正确的方向吗？

浏览 22提问于2019-03-14得票数 4

点击加载更多