如何在s3中合并lambda的输出结果

文章/答案/技术大牛

发布

1回答

python、amazon-web-services、amazon-s3

我的s3存储桶中有一些文件，我使用boto3和lambda来查看文件内部，并统计特定单词在所有文件中的出现频率。我还添加了日期和文本。在这里之前，一切都很好。现在，我在3个不同的行中得到了输出。当我尝试将此输出放入s3中时，只有最后一行被上传到文件中。但是，当我在lambda控制台中打印输出时，所有行都在那里。我不知道哪里出了问题。= boto3

浏览 20提问于2020-06-25得票数 0

回答已采纳

1回答

在无服务器架构上使用AWS lambda和S3对音频文件进行切片

node.js、amazon-web-services、amazon-s3、aws-lambda、aws-serverless

我们的联系中心使用AWS无服务器架构。我们将录音存储在S3存储桶中，并使用lambda函数对其进行处理。我们的要求是删除音频记录中的敏感细节，如支付信息。因此，我们需要从S3存储桶中获取音频记录，并使用敏感付款细节的开始时间和持续时间进行切片，然后将剩余的录音剪辑合并为一个。我们如何通过使用AWS lambda(NodeJS/Pytho

浏览 1提问于2018-12-26得票数 0

1回答

Java阅读S3网页而不是s3object，即s3文件

java、html、file、amazon-s3、aws-lambda

我用Java11编写了一个Lambda，用于从s3读取word(docx)文件(s3对象)。但是我的lambda不是读取文件，而是读取S3网页…。输出看起来是加密的，其中包含所有unicode字符和一些单词，如footnotes.xml、settings.xml等…。如何从放置在s3上的文件中实际读取？AWS Lambda - 11(corretto) Aws s

浏览 3提问于2021-11-18得票数 0

1回答

使用ffmpeg的AWS Lambda tmp磁盘限制

amazon-web-services、amazon-s3、aws-lambda、ffmpeg

我正在使用AWS Lambda渲染视频使用ffmpeg。它是一个基本功能，可以下载外部剪辑，合并这些剪辑，然后将结果上传到S3。这个功能需要能够快速扩展，因为我需要在短时间内生成大量视频。问题是，我达到了512 by的/tmp磁盘限制，因为不同的请求重用相同的lambda环境。为了暂时解决这个问题，我增加了内存限制，但是它没有可伸缩性。我已经研究过EFS，但是使用VPC和NAT进行互联网接入的要求对于我的

浏览 13提问于2022-04-19得票数 0

回答已采纳

1回答

在所有其他lambda完成后运行lambda函数

amazon-web-services、amazon-s3、aws-lambda、aws-step-functions

我想知道是否有人知道在所有其他lambda函数完成/停止后运行lambda函数的方法。我研究了AWS的步骤函数，但它似乎不适合我的用例，或者如果它符合我的用例，我不确定如何去做。我试图实现的流程看起来有点像这样： ? 这样的事情有可能发生吗？如果没有，还有其他建议(比如cron-job)吗？我正在使用MongoDB (Atlas)，如果这也有帮助的话。

浏览 13提问于2021-08-24得票数 0

2回答

有没有办法合并多个CSV文件上传到亚马逊网络服务S3存储桶使用Python？

python、amazon-web-services、amazon-s3

我需要设置一个AWS Lambda函数，该函数在新的CSV文件上传到S3存储桶时触发，以将CSV文件合并为一个主文件(它们将具有相同的列数和列名)，然后将新的主文件上传到另一个S3存储桶。我使用Python实现Lambda函数。我用我的Lambda函数和我使用的依赖项(Pandas和Numpy)创建了一个zip文件夹，并上传了它。目前，我必须将我想要合并在一起的C

浏览 1提问于2019-07-02得票数 1

1回答

AWS DMS -如何将RDS表数据写入单个S3目标文件？

amazon-web-services、csv、amazon-s3、amazon-rds、dms

我已经成功地将DMS设置为以csv格式(满载)将数据从RDS (SQL Server)复制到S3。但是，在运行任务时，DMS会复制源表，并在S3中为单个表创建多个csv文件。有没有办法确保对于一个表，DMS只在S3中创建一个目标csv文件？

浏览 6提问于2021-06-14得票数 0

2回答

是否可以将AWS雅典娜中的数据卸载到一个文件中？

amazon-web-services、amazon-athena

指出：我想这对于读和写都更有效，所以卸载到单个文件是没有意义的。但是，如果由于某种原因，最终用户希望将输出作为一个文件，这可能吗？

浏览 9提问于2022-06-01得票数 2

回答已采纳

1回答

如何在S3中的多个文件准备就绪时触发AWS函数

amazon-web-services、amazon-s3、architecture、aws-lambda

我正在尝试构建一个AWS Lambda/S3服务，它以用户电子邮件为输入，并输出带有PDF附件的回复电子邮件。我发送给用户的最终PDF是通过合并两种类型的PDF来生成的，这两种类型的PDF是我在流程早期根据输入的电子邮件生成的。在下图中可以找到完整的体系结构图。我遇到的问题是合并PDF Lambda函数，它接受类型1和

浏览 1提问于2019-11-18得票数 0

1回答

如何使用Spark Map Reduce将一堆镶木地板文件合并在一起？

hadoop、apache-spark、mapreduce、pyspark、parquet

我在代表相同数据模式的不同表的目录中有大量的拼图文件，我想将它们合并到一个大的RDD中。理想情况下，我想做一个map reduce，映射器发出小的RDD，reducer合并它们。然而，我不知道如何在映射器中发出RDD。有什么想法吗？下面的第一行生成目录中的文件列表，第二行应该生成完整的RDD。但是，它给出了一个unable to serialize错误，因为我认为您不能在map实

浏览 1提问于2017-09-06得票数 1

1回答

Terraform -在文件夹之间共享输出

amazon-s3、aws-lambda、terraform

对于terraform，我有以下文件夹结构：--dev----- s3--------- s3_create_bucket_1.tf---------- main.tf在create_lambda_1.tf中，我可以使用根文件夹(dev)中创建的资源的输出

浏览 1提问于2020-11-16得票数 0

1回答

将Apache波束变换的输入正向并合并到其输出

python、parallel-processing、google-cloud-dataflow、apache-beam

假设我有一个数据转换(如map)，它接受一些dict输入，输出一些其他dict，我无法控制转换的输出dict中的确切内容，我想将整个输入dict与转换产生的输出dict合并。data' >> beam.Create([ {'A': 3}, | 'Transform' >> be

浏览 0提问于2021-01-15得票数 0

4回答

跟踪AWS上的异步Lambda执行

java、amazon-web-services、architecture、aws-lambda、amazon-sqs

我试图构建一个调用AWS的进程，然后使用AWS发送触发更多lambda的消息。每个触发的lambda都将一个输出文件写入S3。这个过程如下所示- 经常监视s3的输出文件与SNS消

浏览 0提问于2018-10-31得票数 2

1回答

创建无服务器应用程序的“逻辑胶水”的优雅方法是什么？

amazon-web-services、aws-lambda、serverless-framework、aws-step-functions

我需要实现以下逻辑：一旦对所有图像进行了分析，运行最后一个lambda，将所有结果结合在一起。我的主要问题之一是如何在步骤3中<

浏览 5提问于2017-07-10得票数 1

3回答

使用pydub和AWS Lambda

aws-lambda、pydub

下午都是-从pydub导入AudioSegment 所以我不太明白的是，如何在lambda/serverless代码的世界中导入

浏览 14提问于2020-05-08得票数 3

1回答

aws lambda逐行读取并写入文件

python、amazon-web-services、amazon-s3、aws-lambda、readlines

如何使用AWS、lambda和python将我的结果从文件处理步骤写入文件？我正在从S3读取一个文件，并在每一行中寻找一个特殊的表达式。如果包含此表达式，则操作行。由于lambda无法写入文件(或者S3不允许这样做)，如何收集行转换的结果并将所有转换行写入文件？代码如下所示：import botocore s3 = boto3.resource('s3

浏览 1提问于2018-12-14得票数 3

2回答

使用python从AWS lambda中的部署包(添加为层)调用.py脚本

python、aws-lambda、invoke-command

我的lambda函数应该从包中调用xxx.py脚本。我的lambda函数如下：download_path = '/tmp/{}{}'.format(uuid.uuid4task/local/lib python xxx.py "/tmp/52513240-a9 returne

浏览 18提问于2020-05-07得票数 1

1回答

用Java从S3读取EC2中的CSV文件

java、amazon-web-services、amazon-s3、amazon-ec2、amazon-dynamodb

在当前的实现中，我有Java代码，它实际读取2个或更多CSV文件，基于业务逻辑组合数据，并将数据保存到一个新的CSV文件中。这个java jar文件是在TIBCO中通过目录监视来触发的，也就是说，当新的一组文件被放置时，这个java代码就会被触发。由于我不是来自Java背景，所以我不确定如何实现这个独立/背景进程，它保留一个S3文件夹并触发该进程。任何帮助都将不胜感激。

浏览 2提问于2019-06-11得票数 0

2回答

多个s3存储桶对象创建事件触发相同的lambda

c#、amazon-web-services、amazon-s3、aws-lambda

我需要在两个s3存储桶中通过对象创建事件触发单个lambda，然后将它们复制到redshift中各自的表中。感谢您的指点。

浏览 3提问于2020-01-17得票数 0

2回答

如何在没有参数的情况下运行“deploy部署-无服务器”命令？

.net、amazon-web-services、jenkins、aws-lambda、aws-cli

当我尝试在Jenkins管道中运行这个命令时： steps { bat "cd MyFinance.ApiProject：，输入CloudFormation堆栈名称：( AWS应用程序的CloudFormation堆栈名称)输入S3 Bucket：(上传构建输出的S3桶)输入CloudFormation模板：(CloudForm

浏览 7提问于2020-10-01得票数 4

回答已采纳

点击加载更多