我正在尝试为我的计时工作创建一个无服务器处理器,在这项工作中,我从我的一个客户的S3存储桶中收到一个压缩文件,文件的大小约为50MB,但一旦解压缩它,它就会变成1.5GB大小,并且AWS Lambda上的可用空间有一个硬限制,即500MB,由于此原因,我无法从S3存储桶下载此文件并将其解压缩到我的Lambda上,我能够成功地解压缩我的文件,并使用unix脚本中的funzip逐行流式传输来自S3的内容。for x in $files ;
我已经创建了一个python程序,将数据从elasticsearch流式传输到S3存储桶中。因为它将是一个连续的流,所以我想实现一种方法,在程序完成一个完整的循环后终止它。break
Write data to file in S3 bucket 有没有办法导入和重新导入另一个文件,并检查While True:子句下的变量,或者更好的方法是在脚本的末尾检查变量
我正在做一个项目,在这个项目中我需要将财务数据流式传输到web浏览器。我从数据提供者那里得到了一个Java API (我不擅长Java),使用它我可以将数据流式传输到我的服务器。当数据传入时,我需要对其进行一些计算,并将其存储在MongoDB数据库中,然后将其发送到任何连接的客户端。如果我不想使用Java,那么构建解决方案的最佳选择是什么?我在考虑使用Node的socket.io,但不确定如何监视<
现在,我在google云存储(GCS)上存储了大约300 GCS的图像。我有一个在google计算引擎(GCE)虚拟机(VM)上运行的软件,需要读取所有这些映像并按顺序处理它们。这些图像不需要加载到内存中,可以作为程序的输入进行流式传输。我很难找到一种有效的方法来做到这一点。1) GCSfuse。这允许我使用"gsutil cp gs:// my -gcs-bucket/training_ data /*.jpg -|“将数据流式传输