腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
视频
沙龙
4
回答
添加s3存储桶作为扩展坞卷
amazon-web-services
、
docker
、
volume
我在我们的内部数据中心中有一个spring启动应用程序,它处理主机上特定文件夹中的文件。 我们希望将其部署到亚马逊网络服务,并希望使用s3存储桶来上传文件进行处理。 我们有没有办法将s3存储桶空间作为docker卷添加?
浏览 0
提问于2018-10-12
得票数 8
2
回答
亚马逊CloudFront延迟
amazon-web-services
、
amazon-s3
、
amazon-cloudfront
我正在为我正在开发的一个web应用程序尝试亚马逊网络服务S3和CloudFront。 在应用程序中,我允许用户上传文件到S3存储桶(使用AWS SDK),并通过CloudFront CDN提供,但问题是,即使当文件上传到S3存储桶并准备就绪时,也需要大约一分钟或2分钟才能在CloudFront CDN url中提供,这正常吗?
浏览 0
提问于2016-02-21
得票数 32
回答已采纳
20
回答
亚马逊网络服务S3在两个存储桶之间复制文件和文件夹
amazon-s3
、
copy
、
amazon-web-services
我一直在寻找一种工具,可以帮助我将亚马逊网络服务S3存储桶中的内容复制到第二个亚马逊网络服务S3存储桶中,而无需先将内容下载到本地文件系统。 我曾尝试使用亚马逊网络服务S3控制台复制选项,但这导致一些嵌套文件丢失。 我已经尝试使用传输应用程序(由于恐慌)。duplicate命令首先将文件下载到本地系统,然后将它们上传回第二个存储桶,这是非常低效的。
浏览 1
提问于2012-02-15
得票数 124
回答已采纳
9
回答
是否将文件直接从一个S3帐户移动到另一个帐户?
file
、
amazon-s3
、
amazon-web-services
、
transfer
这是一个很基本的问题,但我还没能找到答案。使用Transit可以将文件从一个亚马逊网络服务账户上的一个S3存储桶“移动”到另一个亚马逊网络服务账户上的另一个S3存储桶,但它实际上所做的是从第一个存储桶中下载文件,然后将它们上传到第二个存储桶中。 有没有一种方法可以直接将文件从一个S3帐户移动到另一个帐户,而无需在两者之间下载文件?
浏览 2
提问于2011-04-02
得票数 90
回答已采纳
3
回答
在两个不同的亚马逊网络服务S3账户之间复制
c#
、
amazon-s3
、
amazon-web-services
我正在使用亚马逊网络服务的C#库。我们有一个场景,第三方授予我们对他们的S3存储桶的读取权限。是否有可能将对象从他们的S3存储桶复制到我们的存储桶中,而无需进行往返(即GET和PUT)? 我在亚马逊网络服务的文档中找到了这个: 但这似乎只适用于他们的REST API,而不适用于我正在使用的C#库 谢谢
浏览 4
提问于2012-08-15
得票数 1
回答已采纳
1
回答
使用Lambda将S3数据从一个亚马逊网络服务账户推送到另一个S3存储桶
amazon-web-services
、
amazon-s3
、
aws-lambda
我的用例是不断地将数据从一个亚马逊网络服务账户S3桶推送到另一个亚马逊网络服务账户S3桶。跨账号推送。 我正在使用lambda来完成这项工作。 假设在亚马逊网络服务账户A中,数据经常从某些来源落地到S3存储桶中。我需要创建一个S3触发器,它将调用亚马逊网络服务账户A中的Lambda函数,并将账户A的S3存储桶数据推送到亚马逊网络服务账户B中的另一个S3存储桶。 这个是可能的吗?
浏览 1
提问于2019-06-11
得票数 0
2
回答
谁删除了S3存储桶中的文件?
amazon-web-services
、
amazon-s3
找出谁在亚马逊网络服务S3存储桶中删除文件的最佳方法是什么? 我在亚马逊网络服务的S3桶上工作。正在浏览亚马逊网络服务的文档,但还没有找到监控S3存储桶的最好方法,所以我想看看是否有人可以在这里帮助我。
浏览 1
提问于2020-08-04
得票数 1
1
回答
我想知道如何通过修改这个lambda代码将数据导入到应用程序中
amazon-web-services
、
amazon-s3
、
aws-lambda
、
amazon-cloudformation
、
translate
import boto3 import json s3 = boto3.client('s3') def lambda_handler(event, context): bucket = "cloud-translate-output" key = "key value" try: data = s3.get_object(Bucket=bucket, Key=key) json_data = data["Body"].read()
浏览 3
提问于2020-11-23
得票数 0
1
回答
用于从亚马逊网络服务S3位置复制.sh文件的Curl命令
amazon-web-services
、
curl
、
amazon-s3
从亚马逊网络服务S3存储桶复制.sh文件的curl命令(在.config文件中)是什么。从S3位置复制fluent安装程序文件并安装在EC2实例中 我需要替换下面的命令 curl -L 从S3位置复制
浏览 0
提问于2020-08-04
得票数 0
3
回答
Spring Boot Amazon AWS S3存储桶文件下载-访问被拒绝
java
、
spring
、
spring-boot
、
amazon-s3
我有一个自动配置的亚马逊网络服务,Spring Boot应用程序,我正在尝试设置一个端点,它可以简单地从亚马逊S3中的给定存储桶中下载特定的文件。我使用AWS控制台将JPEG文件从我的计算机上传到存储桶中-现在我正尝试使用我的Spring Boot API下载该文件。 我收到以下错误:com.amazonaws.services.s3.model.AmazonS3Exception: Access Denied (Service: Amazon S3; Status Code: 403; Error Code: AccessDenied; 我已经在亚马逊网络服务控制台上创建了一个用户和一个组(
浏览 0
提问于2016-07-26
得票数 8
回答已采纳
1
回答
Spring服务器本地运行,指向Kubernetes中的船长
spring-cloud
、
spring-cloud-stream
、
spring-cloud-config
、
spring-cloud-dataflow
、
spring-cloud-skipper
我正在开发春云数据流应用程序。我能够在本地运行Spring云数据流服务器,并通过以下配置在cloud中运行server。现在,我试图在kubernetes集群中运行的船长也是如此。如何指定相同的内容? manifest.yml --- applications: - name: poc-scdf-server memory: 1G instances: 1 path: ../target/scdf-server-1.0.0-SNAPSHOT.jar buildpacks: - java_
浏览 4
提问于2019-10-29
得票数 0
1
回答
在Google Cloud中,AWS Cloudfront服务的等价物是什么?
amazon-s3
、
google-cloud-storage
、
amazon-cloudfront
今天,我正在使用亚马逊网络服务S3存储桶,除此之外,我还在使用亚马逊网络服务CloudFront。 我也想有一个谷歌云存储与CloudFront,所以我找到了存储,我可以创建存储桶,并将我的静态文件/图像,这相当于S3桶。但是CloudFront呢?我应该在谷歌云的什么地方设置CloudFront? 提前谢谢。
浏览 1
提问于2017-01-18
得票数 11
回答已采纳
2
回答
如何使用python访问S3存储桶中新添加的文件
amazon-web-services
、
amazon-s3
、
aws-lambda
我是亚马逊网络服务的新手,我使用python访问S3中的文件,我需要访问存储桶中新添加的文件。而不是访问存储桶中存在的每个数据。有人能帮我解决这个问题吗?谢谢
浏览 2
提问于2018-10-26
得票数 0
2
回答
AWS S3存储桶不一致
amazon-web-services
、
amazon-s3
、
command-line-interface
当我使用AWS CLI列出存储桶时,我看到一堆存储桶。同样的存储桶也可以在亚马逊网络服务S3管理控制台中看到。 但是,当我尝试从CLI中删除存储桶时,它抛出一个错误,如下所示。在S3状态中似乎有一些不稳定。也无法从亚马逊网络服务S3管理控制台中删除它们。 为什么会发生这种情况,以及如何避免这种情况?
浏览 3
提问于2019-11-24
得票数 2
1
回答
将云存储中的文件动态摄取到亚马逊网络服务S3存储桶
amazon-web-services
、
amazon-s3
、
google-cloud-platform
、
google-cloud-storage
、
serverless-framework
我正在做一个基于多云(AWS和GCP)的宠物项目,它基于无服务器架构。 现在,GCP中的业务逻辑(使用Cloud Functions和Pub/Sub)生成了文件,这些文件存储在GCP云存储中。我想从云存储中将这些文件动态摄取到亚马逊网络服务S3存储桶中。 一种可能的方法是使用gsutil库(),但这将需要一个计算实例,并手动运行gsutil命令,这是我想要避免的。
浏览 1
提问于2020-07-08
得票数 1
1
回答
亚马逊S3存储桶与谷歌云存储存储桶之间的实时同步
amazon-web-services
、
amazon-s3
、
google-cloud-platform
、
google-cloud-storage
、
rsync
我有亚马逊网络服务的s3存储桶,在亚马逊网络服务的firehose中执行一些操作后,我每分钟都会收到多个拼图文件。现在我必须用GCP云存储桶实时同步这些文件,因为我们有多个云环境,进一步的过程将在GCP云中进行。但我有一个问题,我如何在两个云存储桶之间进行实时同步,以便任何文件一到达亚马逊网络服务s3,同时它也应该到达GCP bucket。请输入任何内容
浏览 1
提问于2020-04-12
得票数 2
1
回答
来自另一个帐户的Cognito身份访问存储桶
amazon-web-services
、
amazon-s3
、
amazon-cognito
这是一个场景。 亚马逊网络服务accountA有一个S3存储桶。亚马逊网络服务acountB已经设置了认知用户池和认知身份。此外,accountB正在运行一个amplify应用程序(因此有一个固定的原始url) 我希望允许从accountB登录的用户从AccountA中的存储桶中放入/获取对象。 如何配置存储桶才能允许这样做?如何配置身份池?
浏览 9
提问于2020-08-09
得票数 0
2
回答
使用AWS Lambda在AWS Sagemaker上执行jupyter笔记本
amazon-web-services
、
aws-lambda
、
amazon-sagemaker
我用Python做了一个分类器,它使用了很多库。我已经将模型上传到亚马逊S3作为泡菜(我的 _ model.pkl)。理想情况下,每次有人将文件上传到特定的亚马逊存储桶时,都应该触发一个AWS Lambda,它将加载分类器,返回预测,并在S3 S3存储桶上保存一些文件。 我想知道是否可以使用Lambda在亚马逊网络服务SageMaker中执行Jupyter Notebook。这样,我就不必担心依赖关系,通常会使分类更直接。 那么,有没有办法使用AWS Lambda来执行Jupyter Notebook呢?
浏览 112
提问于2020-10-18
得票数 0
回答已采纳
3
回答
直接在AWS S3目标存储桶上运行java操作
amazon-web-services
、
amazon-s3
我们在我的工作中有以下工作流程: 将数据从亚马逊网络服务s3存储桶下载到工作区: aws s3 cp --only-show-errors s3://bucket1 解压缩数据 unzip -q "/workspace/folder1/data.zip" -d "/workspace/folder2" 运行java命令 java -Xmx1024m -jar param1 etc... 将归档文件同步回s3目标存储桶 aws s3 sync --include #{archive.location} s3://bucket 正如您所看到的,从s3存储桶下载数据、
浏览 3
提问于2017-09-05
得票数 0
2
回答
使用boto3生成存储桶中最新object的预签名s3 URL
amazon-web-services
、
amazon-s3
、
boto3
我有一个包含多个文件夹的s3存储桶。如何使用亚马逊网络服务中的python为用户询问的每个文件夹生成最新对象的s3预签名boto3?
浏览 33
提问于2020-04-22
得票数 1
1
回答
如何在没有S3密钥的情况下导入亚马逊API存储桶?
python
、
amazon-web-services
、
amazon-s3
、
boto
从我的研究来看,似乎S3存储桶通常是从同一个AWS帐户下载的,而API密钥来自同一个帐户。 我已经获得了一个新的亚马逊网络服务帐户的访问权限,这个帐户包含一个我需要每天下载的S3存储桶。问题是我的API密钥与另一个AWS帐户关联。有没有办法将新的S3存储桶导入到我现有的亚马逊网络服务账户中,或者尝试在已经拥有我需要的S3存储桶的亚马逊网络服务账户上创建一个新的API会更简单? 我使用的是python和boto3。谢谢!
浏览 6
提问于2017-07-12
得票数 0
1
回答
S3备份的高可用性+可靠性
amazon-s3
、
backup
、
high-availability
、
reliability
我对此做了一些研究,但找不到任何实质性的答案,所以转向StackOverflow。 亚马逊的S3在高可用性和可靠性方面的可靠性如何?我知道它有SLA,但如果AWS中的可用区(AZ)或整个区域出现故障怎么办? 我查阅了亚马逊的文档,了解S3是如何设置的。当您尝试创建存储桶时,它会显示:“在创建存储桶时,您可以选择一个区域来优化延迟、最小化成本或满足监管要求。” 亚马逊也这样说():“存储在任何给定亚马逊S3存储桶中的数据都会在一个地理区域的多个数据中心之间进行复制。” 因此,看起来S3数据确实分散在多个a中,但在一个区域内。 如果一个区域宕机了怎么办(这种情况以前发生过)?那么S3是不可用的吗?
浏览 3
提问于2012-09-19
得票数 12
回答已采纳
1
回答
采用S3端点和存储桶策略的AWS胶水
aws-glue
我有一个目前的S3和胶水基础设施如下。 部署在VPC S3存储桶中的S3端点具有仅允许来自端点的流量的存储桶策略。粘合有权访问所述存储桶的IAM角色。 当我运行一个AWS Glue Crawler作业时,我得到了一个错误“用户没有访问IAM存储桶的权限”,我试图提供S3用户ID访问S3存储桶。我在S3存储桶策略中添加了IAM角色和IAM ID。但错误仍在继续。 当我删除存储桶策略时,即使IAM用户ID对存储桶没有访问权限,爬虫作业也是成功的。 根据亚马逊网络服务文档,亚马逊网络服务胶水使用S3端点。如果是这样,为什么我会得到这个错误?
浏览 28
提问于2020-03-25
得票数 0
2
回答
如何将数据从Scrapinghub动态上传到Wordpress?
wordpress
、
amazon-s3
、
scrapy
、
scrapinghub
我在Scrapy Cloud中运行定期蜘蛛,并将结果导出到一个亚马逊网络服务S3桶中。我需要动态上传我的Wordpress表格和这些结果,我目前正在使用TablePress插件,它有一个“导入表格”选项,但它只允许我每15分钟更新一次表格。 有没有办法让我每5分钟执行一次定期更新,或者更好的是,当亚马逊网络服务的S3文件发生变化时? 一个可以直接与Scrapinghub协同工作的Wordpress插件也可以解决我的问题,但我已经搜索过了,没有找到任何插件。
浏览 4
提问于2019-03-26
得票数 1
2
回答
亚马逊S3计费类似于请求者付费,但用于存储
amazon-web-services
、
amazon-s3
亚马逊网络服务是否有功能将亚马逊S3存储桶的账单发送到另一个亚马逊网络服务账户?我见过请求者付费,但我只对存储费感兴趣。 我们正在构建一个归档应用程序,该应用程序将数据从中央源复制到亚马逊S3存储桶中。存档应用程序将在中心应用程序所在的同一aws帐户中运行。每个团队都有自己的AWS帐户。我们正在尝试使用跨账户的S3访问,然而它给我们的归档应用程序增加了大量的复杂性。有没有办法在我们的主账户中创建多个s3存储桶,并将存储账单发送到其他亚马逊账户?
浏览 2
提问于2021-10-21
得票数 0
2
回答
如果在aws S3中未收到文件,如何接收警报
amazon-web-services
、
amazon-s3
、
aws-lambda
、
amazon-cloudwatch
我正在运行一个ETL管道,它的最终结果被丢弃在一个亚马逊网络服务的S3桶中,现在有时管道是成功的,但我不能在S3中接收文件,经过一些调试和查看日志,我可以处理这个问题。但我想要做的是,如果S3存储桶中没有接收到文件,则设置一个警报。考虑管道每24小时调度一次。我是AWS的新手,所以用雷曼的话回答将不胜感激。谢谢
浏览 0
提问于2021-05-20
得票数 1
1
回答
亚马逊网络服务S3存储拷贝功能
amazon-web-services
、
amazon-s3
、
google-cloud-storage
、
aws-cli
任何存储提供商如何提供复制功能,例如亚马逊网络服务S3提供存储桶到存储桶复制,位的实际传输发生在哪里?在使用aws sdk执行copy cmd时,它会等待复制完成,但没有任何位通过我的机器传输。
浏览 8
提问于2020-02-11
得票数 1
1
回答
Spring任务-远程分区关注点
spring
、
spring-batch
、
spring-cloud
、
spring-cloud-dataflow
、
spring-cloud-task
我们有Spring数据流本地设置,任务是运行Spring作业,它从数据库读取并写入AWS S3,所有这些都很好。 当涉及到停止作业时,任务会停止,但由于状态处于“已启动”状态,因此无法恢复作业,我认为我们可以在代码中处理这个问题,方法是在触发停止时将批处理状态设置为‘stop’,如果无法处理,纠正我吗?同样,在尝试停止单个从任务时,也会出错: 2020-03-27 10:48:48.140 INFO 11258 -- nio-9393-exec-7 .s.c.d.s.s.i.DefaultTaskExecutionService :在平台默认情况下id 192的任务执行停止请求已提交2020-
浏览 2
提问于2020-03-27
得票数 0
回答已采纳
1
回答
数据流任务无法处理Spring批处理
spring-batch
、
spring-cloud-dataflow
我正在使用Spring job,它也是数据流task。当我运行这个任务时,一切似乎都正常,在Tasks > Executions中,我可以看到任务成功地完成了。另一方面,当我转到Jobs选项卡时,我得到了这个错误(在命令行中): java.lang.NullPointerException: null at org.springframework.cloud.dataflow.server.service.impl.DefaultTaskJobService.getTaskJobExecution(DefaultTaskJobService.java:240) ~[spring-
浏览 1
提问于2017-11-30
得票数 0
1
回答
S3存储桶不追加新的数据对象
amazon-s3
、
aws-iot
我正尝试将我所有的亚马逊网络服务IoT传入传感器值消息发送到同一个s3存储桶中,但是尽管在我的存储桶中打开了版本控制,该文件仍不断被覆盖,并且只显示最后输入的传感器值,而不是所有的值。我直接从亚马逊IoT控制台使用“在亚马逊S3存储桶中存储消息”。有什么简单的方法来解决这个问题吗?
浏览 1
提问于2017-11-23
得票数 0
1
回答
亚马逊网络服务s3公共存储桶自定义域名地址不安全
amazon-web-services
、
amazon-s3
我有一个要求,我已将我的亚马逊网络服务s3存储桶设为公共存储桶,以访问存储桶内的图像。我已在第53路由中创建了一个自定义域,其中包含指向s3亚马逊网络服务公共存储桶的CNAME。我可以访问来自亚马逊网络服务s3公共桶的图像与自定义域名,如https://mywebsite.abc.xyz/abc/img1.png,但这是给我的not secure链接,因为证书丢失。我不知道该怎么解决这个问题? 一种方法是让cloudfront在两者之间,但在根对象中定义什么,因为这只是用于存储图像的s3存储桶。
浏览 35
提问于2020-04-14
得票数 0
1
回答
在亚马逊网络服务s3中,如何在单个存储桶中实现文件夹级别的安全性?
amazon-s3
、
bucket
我对亚马逊网络服务s3非常天真。最近,我们需要使用亚马逊网络服务的s3存储桶来存储大文件。我想知道,在s3中,如何在单个存储桶中实现文件夹级别的安全性?S3会处理这件事吗?若有,以甚麽方法?我能理解。他们对数据进行加密和解密,但这还不够。我们是一个服务提供商,其中多个租户将使用相同的存储桶。如何对AWS存储桶中的文件夹进行安全隔离?对于一个存储桶,将有单个访问密钥,但是存储桶中的文件夹又如何呢?
浏览 37
提问于2020-06-19
得票数 0
回答已采纳
2
回答
如何创建IAM角色,使用户能够创建加密的s3存储桶
amazon-s3
、
amazon-iam
我必须确保在亚马逊网络服务控制台中创建S3存储桶的用户必须对其进行加密。如果没有,则不允许他们创建S3存储桶。我们如何实现这一点。
浏览 4
提问于2019-08-14
得票数 0
2
回答
我如何授予我的亚马逊网络服务协议服务器访问另一个亚马逊网络服务账户中的亚马逊S3存储桶的权限?
amazon-web-services
、
amazon-s3
、
sftp
、
file-transfer
我希望我的亚马逊网络服务传输服务器(亚马逊网络服务传输服务)能够访问我在另一个亚马逊网络服务账户中的亚马逊简单存储服务(亚马逊S3)存储桶。如何授予此跨帐户访问权限?
浏览 24
提问于2019-01-31
得票数 1
1
回答
在亚马逊S3存储桶中创建新文件后,是否有任何服务/谷歌云应用编程接口支持调用从亚马逊S3到谷歌存储的文件传输?
amazon-s3
、
google-cloud-storage
、
aws-lambda
、
file-transfer
、
cloud-storage
我想问你们是否有任何服务/ google cloud api支持在AWS S3存储桶中创建新文件后立即调用从AWS S3到google storage的文件传输? 我知道谷歌云有存储传输服务,但据我所知,它不能为单个文件调用,也不能在新文件添加到亚马逊网络服务S3存储桶时立即触发。我们希望在AWS S3中有新文件时立即传输。 我们需要这个解决方案,因为我们已经实现了angularJS应用程序上传视频到亚马逊S3,但从S3观看视频是非常糟糕的体验,性能非常糟糕。所以我们想写后台移动文件到谷歌存储,一旦它被添加到S3,这是一个短期的解决方案,直到我们还没有提供将视频直接上传到谷歌存储的时候。
浏览 1
提问于2017-03-22
得票数 1
2
回答
如何确保雅典娜生成具有bucket-owner-full控制S3对象
amazon-web-services
、
amazon-s3
、
permissions
、
amazon-athena
我们(帐户A)想通过编程的方式在不同的亚马逊网络服务帐户(帐户B)中触发雅典娜查询(StartQueryExecution),我们使用假定的角色来实现。在雅典娜查询完成后,我们期望结果应该写入我们的亚马逊网络服务帐户s3存储桶(帐户A)。我们设法做到了这一点,方法是设置两端IAM策略,允许B写入A的S3存储桶。 但是,帐户A中的S3对象似乎仍归帐户B所有,帐户A中的用户/角色无权访问这些对象。 我在考虑任何一种方法来解决这个问题,但我找不到任何一个如何做的例子 在创建对象后,以某种方式确保雅典娜使用acl =bucket-owner- s3 -control将s3对象acl更改为bucket-
浏览 1
提问于2019-06-13
得票数 3
2
回答
如果我在同一存储桶中运行亚马逊网络服务s3同步命令,我应该支付多少费用?
amazon-s3
、
price
如果我在同一存储桶中运行亚马逊网络服务s3同步命令,我应该支付多少费用?该目录的大小为9.3T,包含820156个对象。我不能通过aws文档来弄清楚。
浏览 2
提问于2020-03-24
得票数 0
2
回答
如何在android应用中显示AWS存储桶中的图片?
android
、
amazon-web-services
、
amazon-s3
我是亚马逊网络服务s3的新手。我的亚马逊网络服务s3存储桶中有一些图像。如何检索图片并在android应用程序中显示。 如果有人知道,请告诉我。
浏览 10
提问于2018-12-14
得票数 1
2
回答
当在中创建新文件或文件夹时,windows上的文件夹如何同步到AWS S3
windows
、
amazon-web-services
、
amazon-s3
、
aws-cli
我的目的是让我电脑里的本地文件夹与亚马逊网络服务的S3存储桶保持同步。我需要从安装了AWS CLI的windows服务器建立它。
浏览 1
提问于2021-03-19
得票数 1
2
回答
允许从特定账户的所有EC2实例访问S3存储桶
amazon-web-services
、
amazon-s3
、
amazon-ec2
有没有办法允许特定亚马逊网络服务账户创建的所有实例访问S3存储桶? 我想提供的数据应该是非常简单的客户端下载到他们的实例。理想情况下,通过的post_install脚本选项自动执行。 然而,这似乎需要大量的设置,正如AWS在本教程中所描述的: 这对我来说是不可行的。客户端不应创建IAM角色。 目前我想出的最好办法是允许S3存储桶访问特定的亚马逊网络服务账户,然后使用访问密钥: export AWS_ACCESS_KEY_ID=<key-id> export AWS_SECRETE_ACCESS_KEY=<secret-key> aws s3 cp s3://<
浏览 3
提问于2019-05-22
得票数 0
1
回答
SQS触发器Lambda,在S3中使用FileName进行文本提取
amazon-web-services
、
amazon-s3
、
text-extraction
我有一个用例,我有一个存储在S3存储桶中的pdf文件列表,我已经列出了它们,并将它们推送到SQS中进行文本提取,通过提供存储桶信息和TextExtraxtion信息创建了一个用于处理这些文件的Lambda。 问题是,Lambda超时了,因为SQS触发了所有文件的多个lambda实例,它们都在等待文本提取服务。 Lambda为所有TextExtract消息(FileName)逐个触发,这样就不会发生超时,因为我们对访问亚马逊网络服务TextExtract确实有限制
浏览 21
提问于2019-10-10
得票数 0
1
回答
阻止查看亚马逊网络服务S3存储桶中的单个文件
amazon-s3
我目前正在寻找托管一个应用程序与角度前端在亚马逊网络服务S3桶连接到后端使用亚马逊网络服务弹性豆茎。我已经把它设置好了,它工作得很好。 但是,使用S3创建静态网站,任何人都可以查看您的代码,包括各种Angular JS文件。这基本上没问题,但我想创建一个文件或文件夹来保存敏感信息,任何人都无法查看,但所有其他文件都可以包含/需要这些信息。本质上,我想要一个密钥,我可以附加到后端的所有调用,以确保只有授权的请求通过。 我尝试过不同的权限,但似乎总是能够查看所有文件,这可能是因为静态网站托管存储桶策略确保了所有内容都是公开的。 非常感谢您的任何建议!干杯。
浏览 0
提问于2017-06-30
得票数 0
1
回答
S3跨帐户复制不复制文件
amazon-web-services
、
amazon-s3
、
replication
、
amazon-iam
我有以下配置,并且我已经尝试了很多东西。有没有人能检查一下,说一下可能是什么问题?我已经将源的规范帐号添加到目标存储桶中。在源存储桶上启用复制。正在复制整个存储桶。 源存储桶。 "Version": "2012-10-17", "Id": "PutObjPolicy", "Statement": [ { "Sid": "DenyUnEncryptedObjectUploads", "Eff
浏览 18
提问于2019-11-15
得票数 0
1
回答
在亚马逊网络服务的S3存储桶上组合7z块
python
、
amazon-web-services
、
amazon-s3
、
7zip
我已经使用7zip将一个文件压缩成几个块: 将以下内容保存在亚马逊网络服务S3存储桶中: pic.7z.001 pic.7z.002 pic.7z.003 pic.7z.004 pic.7z.005 每个区块大小为700MB。 WANT -以下内容也保存在亚马逊网络服务S3存储桶中: first step: pic.7z second step: a folder called 'pic' 如果可能的话,我想在亚马逊网络服务的S3上做这一切。 如何使用python解压缩并组合这些块以获得单个文件?
浏览 15
提问于2020-04-24
得票数 1
回答已采纳
2
回答
从EC2读取用于ML培训的S3存储桶
amazon-web-services
、
amazon-s3
、
amazon-ec2
我正在尝试在亚马逊网络服务EC2上训练一个机器学习模型。我目前有超过50 S3的数据存储在亚马逊网络服务的S3存储桶中。在EC2上训练我的模型时,我希望能够访问这些数据。从本质上讲,我希望能够调用此命令: python3 train_model.py --train_files /data/train.csv --dev_files /data/dev.csv --test_files /data/test.csv 其中/data/train.csv是我的S3存储桶s3://data/。我该怎么做呢?我目前只看到了将S3数据cp到我的EC2中的方法。
浏览 0
提问于2020-06-22
得票数 0
1
回答
不使用AWS版本控制存储重复文件
python-3.x
、
amazon-web-services
、
amazon-s3
、
aws-cli
、
versioning
我正在尝试将大量文件上传到亚马逊网络服务s3存储桶。我还需要启用文件版本控制来备份,以防某些文件被意外覆盖。 然而,当我上传已经存在的完全相同的文件时,如果当前启用了亚马逊网络服务s3版本控制,亚马逊网络服务将存储完全相同文件的两个版本。这是一个问题,因为我会多次上传相同的文件,在这种情况下,我希望版本控制不会被用来防止由于存储同一对象的多个版本而产生的额外数据费用。但是,如果对文件进行了更改,那么我希望使用aws版本控制。 有没有办法配置亚马逊网络服务s3存储桶版本控制,以便忽略重复的上传文件,但更改或激活新文件的版本控制?(如果有帮助,我使用的脚本使用python和awscli)
浏览 1
提问于2020-12-05
得票数 1
2
回答
允许用户访问特定S3存储桶以进行备份的AWS IAM策略
amazon-web-services
、
amazon-s3
、
backup
、
amazon-iam
我有一台支持将文件备份到亚马逊网络服务S3的网络连接存储。我在亚马逊网络服务控制台中的IAM下创建了一个用户,并尝试生成一个策略,该策略仅允许该用户访问具有读/写权限的特定S3存储桶。以下是我生成的策略: { "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1465916250000", "Effect": "Allow", "Action": [
浏览 2
提问于2016-06-17
得票数 0
3
回答
尝试将数据上传到AWS-S3时,rails 3出现管道断开错误
ruby-on-rails-3
、
amazon-s3
我正在尝试将一些静态数据上传到我的亚马逊网络服务s3帐户。为此,我使用了aws/S3GEM。 我在我的网页上有一个简单的上传按钮,它点击控制器,它创建亚马逊网络服务连接,并尝试上传数据到亚马逊网络服务S3。 连接到亚马逊网络服务是成功的,然而,当尝试在S3中存储数据时,我得到了以下错误: Errno::EPIPE:Broken“...always。我尝试从s3sh (S3外壳)运行相同的代码段,并且我能够正确地执行所有调用。 我是不是漏掉了什么?我已经有一段时间没有面对这个问题了。 我的配置是:Ruby1.8,Rails3,混合,s3存储桶区域我们。 任何帮助都是最好的。
浏览 1
提问于2011-08-10
得票数 0
1
回答
如何从一个账号访问s3存储桶中的数据,以处理另一个账号的红移数据?
amazon-web-services
、
amazon-s3
、
amazon-redshift
、
amazon-iam
我在S3存储桶中的一个亚马逊网络服务账户中有大量数据,我想使用Redshift处理另一个亚马逊网络服务账户中的数据,因为我已经在第一个账户中有数据,所以我想节省数据传输和存储的成本。 Redshift是否提供此功能来处理来自共享S3存储桶的数据? 提前谢谢。
浏览 0
提问于2018-09-28
得票数 0
2
回答
jenkins中从s3存储桶到aws codedeploy的部署作业
amazon-web-services
、
jenkins
、
amazon-s3
、
aws-code-deploy
尝试使用插件post-build aws codedeploy在jenkins上创建一个简单的部署作业。我面临的问题是无法将s3压缩文件作为部署目标。我不想从codedeploy上传任何东西,只是简单地从jenkins使用适当的配置(存储桶、区域,当然还有已经存在于存储桶中的package.zip )触发部署,有什么“简单”的方法可以做到这一点吗? 当前设置的效果很好,部署是在亚马逊网络服务上触发的,但是目标文件错误,所以部署现在失败了。没有机会将构建(并上载到s3)和部署作业合并在一起。
浏览 0
提问于2019-07-11
得票数 0
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spring Cloud微服务-全栈技术与案例解析目录
Spring Cloud 基于Bus 的AB-TEST组件
Java近期新闻:JDK 20的JEP提升为Targeted状态,亚马逊云科技推出Lambda SnapStart特性
云上高并发数据分析【架构选型篇】
Spring Cloud Alibaba基础教程:Nacos的数据持久化
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券