首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在S3中使用Ruby实现大文件的流式传输和解密

如何在S3中使用Ruby实现大文件的流式传输和解密
EN

Stack Overflow用户
提问于 2018-01-28 17:04:59
回答 1查看 782关注 0票数 0

我正在处理S3中的非常大的文件,这些文件需要解密并保存回S3。我们的磁盘空间和内存是有限的,所以流媒体是我们最好的选择。

我使用的是ruby-gpgme gem。

这是我到目前为止所知道的:

代码语言:javascript
复制
require 'gpgme'
require 'aws-sdk'

s3_credentials = Aws::Credentials.new(AWS_ACCESS_KEY_ID, AWS_SECRET_KEY_ID)
s3_client = Aws::S3::Client.new(credentials: s3_credentials)

source_file = 'in_file.gpg'
object_key = "upload/#{source_file}"
destination = File.open('out.txt', 'w+b')

crypto = GPGME::Crypto.new
source = File.open(source_file)

s3_client.get_object(bucket: bucket, key: object_key) do |chunk|
  crypto.decrypt(chunk, password: password, output: destination)
end

# As a follow-up, I will setup the script to stream directly back out to S3
# S3.get_object > GPG.decrypt > S3.upload_part

这将成功解密并写入第一个块,但在处理下一个块之前解密失败。

我假设这是因为第一个块没有正确终止,并且.decrypt没有连续地从流本身读取。

关于如何将数据块作为流进行解密,有什么想法吗?

EN

回答 1

Stack Overflow用户

发布于 2018-06-28 21:00:10

下面是你可以参考的另一种方法:

https://speakerdeck.com/julik/streaming-large-files-with-ruby

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/48484749

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档