S3上传/下载超时问题

文章/答案/技术大牛

发布

1回答

ruby-on-rails、amazon-s3、zip、aws-sdk-ruby

我正在尝试通过Heroku上的ruby- on -rails应用程序使用S3文件存储和sdk访问来创建带有地理标记的图像的kmz格式文件。当“项目”视图加载时，我正在运行文件进程，但我编写的用于访问S3和处理文件的实例方法需要大约40秒才能完成，导致504超时错误。我已经研究过在没有本地下载的情况下在S3上进行压缩，但这似乎并不可行。有没有更好的方法来处理这个下载/上传过程来加速它，或者一个更好的地方来运行它，以避免超时？folder

浏览 64提问于2019-06-16得票数 0

回答已采纳

2回答

AWS Lambda函数、API网关和ffmpeg超时问题

amazon-web-services、aws-lambda、ffmpeg、aws-api-gateway

lambda函数可以很好地处理小文件，但是对于更大的文件，它需要更多的时间，然后我将遇到API网关超时，根据我的理解，这个超时设置为最多29秒。

浏览 15提问于2022-11-03得票数 0

1回答

上传文件到解析(Javascript)

javascript、parse-platform、google-drive-api

本质上它是如何工作的，用户从google驱动器中选择上传的文件，并从选择的文档中选择我要存储到Parse中。下面是我找到的一段代码，它允许用户将文件上传到Parse。问题是我不希望文件来自用户计算机(用户使用文件输入上传文件)，而是来自Google drive提供的URL。

浏览 0提问于2014-12-29得票数 1

1回答

使用Rails、Postgres和Sidekiq导入CSV

postgresql、csv、heroku、ruby-on-rails-5、sidekiq

我用Sidekiq将数据库移到后台，但首先需要关于将文件上传到哪里以进行导入的建议。在S3上托管文件真的是最好的解决方案还是没有使用第三方存储服务的更简单的解决方案？该应用程序将每天使用，但多达10名员工和庞大的CSV文件正在上传约100,000行。谢谢。

浏览 7提问于2017-06-13得票数 1

回答已采纳

2回答

使用php从存储在S3上的文件动态创建压缩文件

php、amazon-s3、zipfile

我有一个Laravel网络应用程序，其中用户可以上传文件。这些文件可能是敏感的，尽管它们存储在S3上，但它们只能通过我的can服务器访问(流式下载)。一旦上传，用户可能希望下载这些文件的选择。以前，当用户下载选定的文件时，我的web服务器会从S3下载文件，在本地压缩它们，然后将压缩后的文件发送到客户端。但是，一旦投入生产，由于文件大小的原因，服务器响应将经常超时。如果可以将S3上的文件的流资源传递给ZipStream

浏览 2提问于2016-07-08得票数 8

回答已采纳

1回答

通过AFNetworking上传到亚马逊-S3

ios、amazon-s3、afnetworking

我无法通过AFNetworking将文件上传到S3。当我尝试上传时，我得到的回调表明上传了一小部分文件，然后回调停止，一到两分钟后我收到一条超时消息。我使用的是，但它似乎是AFHTTPClient的一个非常简单的子类，所以问题似乎不太可能出在那里。因为我对AFNetworking和S3都是新手，所以我很确定问题出在输入下面的消息:) 我已经下载了AWS-IOS SDK，并且能够从他们的示例代码中毫无问题地发布一张图片

浏览 2提问于2012-05-09得票数 3

1回答

将小文件上传到带carrierwave_direct的S3时，Heroku上的H12间歇性超时

ruby-on-rails、heroku、amazon-s3、ruby-on-rails-3.2、carrierwave

我在Heroku上运行了一个rails 3.2.11应用程序，遇到了一个间歇性的问题，我一直无法解决。我正在使用carrierwave_direct gem直接上传到<

浏览 0提问于2013-02-25得票数 1

2回答

上载文件时来自独角兽的超时错误

ruby-on-rails、carrierwave、unicorn

我遇到的问题之一就是文件上传。我们使用载波进行上传，基本上，即使是2MB大小的文件，当完成50-60%的上传时，Unicorn也会超时。我们在本地测试时不使用独角兽，我在本地测试大文件时也没有任何问题(尽管这些文件是使用载波上传到AWS的，就像生产+分期一样)。然而，在分阶段和生产服务器上，我看到我们得到了一个超时。有解决这个问题的策略吗？我不确定我能不能把这个文件上传到一个延迟的工作上(因为我需要向我的用户确认这个

浏览 7提问于2013-09-26得票数 6

回答已采纳

1回答

AWS Lambda在下载VGG16 imagenet模型数据时超时

keras、deep-learning、aws-lambda

因此，当lambda函数尝试下载VGG16 imagenet模型时，它会超时。lambda超时的代码：-model = VGG16(weights='imagenet', include_top=True) def download(url, lo

浏览 0提问于2018-10-24得票数 1

1回答

“您没有上传文件的权限”- AWS S3桶

amazon-web-services、amazon-s3

试图上传一个视频到AWS S3桶。上传更小的文件，如PDF / txt - works。每次提升视频都会带来这样的错误：尝试不同的视频+不同的桶策略。还试图将其公开/私密上传。

浏览 8提问于2022-05-10得票数 1

回答已采纳

1回答

Lambda管理超时

aws-lambda

但是，当我试图将zip文件上传到lambda时，我得到了以下错误：我甚至不能把我的文件保存到lambda Management。

浏览 0提问于2018-03-19得票数 1

1回答

在桶之间复制对象时出现AWS S3权限错误

amazon-web-services、amazon-s3、aws-lambda、boto3

我编写了一个AWS函数，它使用BOTO3库在S3桶中将对象从一个文件夹复制到另一个文件夹。本地逻辑工作正常，但是将其部署到lambda，获得权限错误。我在代码中使用的S3函数： IA

浏览 4提问于2020-04-25得票数 0

3回答

Ruby on rails在大型上传过程中超时

amazon-s3、ruby-on-rails-3.2

我正在尝试使用ruby on rails将我的文件上传到aws s3上。代码对于较小的上传效果很好，但对于大于3-4mb的上传，我得到了超时错误。我正在使用代码将文件上传到s3：我如何解决更大上传的问题。我可以增加ruby脚本的<em

浏览 6提问于2012-10-09得票数 2

回答已采纳

1回答

在rackspace上载图片需要更多时间

ruby-on-rails-3、heroku、paperclip

我有一个应用程序，我正在上传一个图像使用回形针和回形针-云文件宝石上传图像在rackspace。通过localhost将图片上传到rackspace大约需要几分钟。或者延迟的任务可以帮助我上传图片?如何？

浏览 1提问于2013-03-25得票数 0

回答已采纳

1回答

通过delayed_job将图片上传到heroku

ruby-on-rails、heroku、amazon-s3、paperclip

我试图使用延迟作业将图片上传到Heroku的s3桶中。但似乎heroku延迟作业无法获得tmp图像路径。请让我知道我做错了什么或者更好的方法。

浏览 2提问于2015-07-15得票数 0

回答已采纳

3回答

如果上传的文件在s3存储桶中很大，Lambda不会调用吗？

amazon-s3、aws-lambda

当我在目标源存储桶中上传较小的文件时，这是正常工作的。如果有人能在这类问题上提供帮助，我会很感激？谢谢

浏览 0提问于2020-04-09得票数 1

1回答

上传大尺寸视频时Ruby on Rails 4 Heroku应用程序崩溃

ruby-on-rails-4、heroku、amazon-s3、ffmpeg、paperclip

无法在heroku上载大型视频文件并引发应用程序崩溃错误has_attached_file :video, :styles => { :geometry => "640x480", :convert_options => { :vcodec => 'libx264', }

浏览 0提问于2016-07-22得票数 1

1回答

利用Laravel将文件从服务器传输到AWS

laravel、amazon-web-services、amazon-s3

有没有一种简单的方法可以将服务器中的所有文件传输到AWS S3，而无需下载它们并将它们重新上传到服务器？我有大约200 K的文件，我需要转移到我的S3桶。它们的大小非常小(10 to )，但我想这将与超时或错误的服务器陷入困境。$images = Image::all(); { $aws->put('/images是否有可能<e

浏览 0提问于2016-06-23得票数 0

回答已采纳

4回答

Lambda S3 Put函数对于较大的文件不触发

amazon-web-services、amazon-s3、aws-lambda、amazon-ses

当存储桶检索电子邮件时，S3 Put Lambda函数解析原始电子邮件(MIME格式)，base64对附件缓冲区进行解码，并对每个附件和原始.eml文件执行putObject操作，将其发送到新的存储桶。我的问题是，这个Lambda函数不会在附件超过~3-4MB的电子邮件中触发。邮件会被接收并存储在初始存储桶中，但接收时不会触发该函数。此外，该事件不会出现在CloudWatch中。但是，当使用硬编码的S3 Put有效负载进行手动测试时，以及在手动将.eml文件上传到分配的存储桶时，该函数工作得非常好。你知道为什么会有这样的

浏览 1提问于2016-11-03得票数 11

4回答