腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
关于
SQS
和
S3
的
问题
是否
可以
将
SQS
连接
为
直接
发布
到
S3
消息
amazon-web-services
、
amazon-s3
、
amazon-sqs
我猜答案是一个很大
的
不。但是,有没有一种方法
可以
将
S3
消息
直接
发布
到
SQS
。我知道这个模式是
SQS
->
S3
。我想知道有没有一种方法
可以
直接
从
SQS
发布
到
S3
Bucket。
浏览 32
提问于2021-11-18
得票数 0
1
回答
使用与
直接
引用现有
S3
桶
amazon-web-services
、
amazon-s3
、
amazon-sqs
背景:在创建对象时,我们有一个
S3
桶(Bucket )
将
事件通知
发布
到
SQS
。对于大型
SQS
消息
,AWS建议使用(参考),它引导一个完全独立
的
S3
桶(Bucket ),并将对桶B中该对象
的
引用传递给
SQS
。我
的
问题
是:这与简单地向所有
消息
的
SQS
队列传递对Bucket A中
的
对象
的</
浏览 3
提问于2022-09-28
得票数 0
回答已采纳
1
回答
将
AWS
S3
事件转发给
SQS
最终会成为不同于
S3
的
消息
吗?
amazon-web-services
、
amazon-s3
、
amazon-sqs
、
amazon-sns
、
splunk
我正在使用Splunk技术插件,它将从
SQS
队列中提取
消息
。虽然TA建议使用
S3
转发到SNS,并且它订阅了
SQS
,但是
S3
也有
直接
转发到
SQS
的
可能性。 SNS会改变
S3
发送给它
的
内容吗?还是一种对
SQS
完全透明
的
传输方法?
浏览 0
提问于2019-02-13
得票数 0
回答已采纳
2
回答
通过
S3
和
SQS
事件触发
消息
传递变量值
amazon-web-services
、
amazon-s3
、
aws-lambda
、
amazon-sqs
我已经
将
aws管道设置
为
S3
->
SQS
-> Lambda。
S3
PutObject事件
将
生成事件触发
消息
并将其传递给
SQS
,而
SQS
将
触发lambda。我需要将变量值从
S3
传递
到
SQS
,最后作为事件
消息
的
一部分传递给Lambda。变量值
可以
是文件名,也
可以
是某些字符串值。我们
浏览 15
提问于2021-05-17
得票数 0
1
回答
AWS处理
S3
文件不够快
amazon-web-services
、
amazon-s3
、
aws-lambda
、
amazon-sqs
我
的
要求是处理在
S3
中创建
的
文件,并将文件
的
内容流到
SQS
队列中,该队列将由其他进程使用。当在
S3
桶中创建新文件时,通知
将
发布
到
SQS
,这将触发lambda
和
用编写
的
lambda处理该文件,并将内容
发布
到
SQS
。文件
的
最大大小是100 MB,所以它可能有300 K
的
消息
,但它
浏览 2
提问于2021-12-23
得票数 -2
2
回答
使用SQSPHP语法
将
AWS上传到
S3
php
、
amazon-web-services
、
amazon-sqs
使用
SQS
上传到
S3
会使进程更具容错性吗?如果我
的
逻辑不正确,我如何使用
SQS
设置系统以上传到
S3
//instantiate the class $
s3</em
浏览 0
提问于2012-06-18
得票数 0
回答已采纳
1
回答
配置
S3
桶以同步
发布
事件
amazon-web-services
、
amazon-s3
我知道我
可以
配置一个亚马逊
的
S3
桶。 但是,
是否
可以
配置桶先将事件
发布
到
SQS
,然后当
消息
被发送到
SQS
时,存储桶
是否
可以
将
事件
发布
到
SNS (类似于同步
发布
这些事件)?
浏览 4
提问于2014-11-24
得票数 0
回答已采纳
1
回答
如何永久保存AWS
SQS
消息
?
amazon-web-services
、
aws-lambda
、
pipeline
、
amazon-sqs
、
amazon-sns
目的:我创建了一个
SQS
队列,希望
将
坏数据存储到死信队列中。我
的
目标是
将
SQS
连接
到SNS,以便订阅者能够得到存储在死信队列中
的
不良数据
的
通知。但是,我现在了解
到
,数据不能通过
SQS
永久存储,因为它
的
保留期。我也知道SNS是以推送而不是拉而闻名
的
,因此它不能接收
SQS
消息
并将这些
消息
发送给订阅者。那么,我
的
<e
浏览 10
提问于2022-08-02
得票数 0
1
回答
使用lambda批量处理
s3
对象
amazon-web-services
、
amazon-s3
、
aws-lambda
、
amazon-sqs
用例是,每分钟都会将1000 s非常小
的
文件上传到
s3
,所有传入
的
对象都将使用lambda处理并存储在一个单独
的
桶中。但是使用
S3
对象创建作为触发器将使许多lambda调用
和
并发需要得到处理。我试图每5-10分钟对新创建
的
对象进行批处理。
S3
提供批处理操作,但它每天/每周生成报告。有什么服务
可以
帮助我吗?
浏览 2
提问于2021-02-05
得票数 0
回答已采纳
1
回答
新文件上传至
S3
存储桶时未
发布
SQS
事件
amazon-web-services
、
amazon-s3
、
amazon-sqs
、
aws-cli
、
boto3
今天我遇到了一个
问题
,我不知道
是否
有解决方案,或者是一个bug。今天早些时候,我部署了一个新版本
的
服务并使用
SQS
消息
。为了测试一切
是否
按预期工作,我创建了一个新
浏览 3
提问于2016-08-15
得票数 1
回答已采纳
1
回答
使用Lambda保证
SQS
队列中文件处理
的
模式
amazon-web-services
、
amazon-s3
、
amazon-sqs
当许多文件上传到
S3
桶时,我有一个非常简单
的
任务要执行。该任务
可以
通过一个简单
的
Lambda函数轻松地执行,并将结果文件写回
S3
。
将
这个Lambda函数
连接
到由
S3
事件触发
的
事件是很简单
的
,但是我有一些附加
的
复杂因素: 我需要知道所有文件何时已经完成处理在我看来,在系统中放置<
浏览 4
提问于2015-12-18
得票数 3
回答已采纳
1
回答
估计
SQS
处理时间
和
负载
amazon-web-services
、
amazon-sqs
我将使用AWS
SQS
(常规队列,而不是FIFO)来处理不同
的
客户端指标。read
SQS
message -> take
S3
location from
SQS
浏览 26
提问于2018-11-27
得票数 1
回答已采纳
1
回答
S3
跨帐户通知
amazon-s3
、
notifications
可以
将
S3
事件从帐户A发送到帐户B中
的
SQS
主题。但是,我能够实现这一点
的
唯一方法是在
SQS
中打开sendMessage操作
的
权限,以允许everyone访问。
是否
可以
将
S3
事件配置
为
sendMessage
到
另一个帐户,并在
SQS
主题上设置一些权限限制?例如,如果我尝试限制对特定帐户
的
访问(例如12345678
浏览 3
提问于2015-10-06
得票数 8
1
回答
Azure与AWS之间基于事件
的
集成
amazon-web-services
、
azure
、
aws-lambda
、
azure-blob-storage
到目前为止,我们已经有了一个基于AWS
的
解决方案--每当一个新对象被添加到
S3
桶中时,它就会向
SQS
发布
一个事件,从而触发Lambda函数来执行某些业务逻辑。
S3
-> Event ->
SQS
-> Lambda 现在我们想要满足Azure存储
和
AWS
S3
- On Azure Blob存储,当一个Blob文件被添加到存储容器时,我们希望触发现有的AWS-> AWS
SQS
-> AWS Lambda
浏览 7
提问于2022-06-16
得票数 1
2
回答
使用
S3
而不是
SQS
进行集成
amazon-web-services
、
amazon-s3
、
architecture
、
amazon-sqs
、
serverless
这是我最近遇到
的
一个
问题
,它带来了一些担忧
和
犹豫。我正在使用AWS创建一个“几乎无服务器”
的
微服务。下面是它
的
工作流程:
问题
是输入
消息
可能很大,但AWS
SQS
将
消息
大小限制在256KB。因此,我决定使用
S3
和
S3
通知来处理输入:客户端放置一个对象;它
的
创建触发Lambda函数,等等。在这种情况下,256KB
的
限制无关紧要,但
浏览 0
提问于2020-04-13
得票数 1
3
回答
在更新
S3
文件时触发Jenkins作业
jenkins
、
amazon-s3
、
deployment
、
jenkins-plugins
我正在寻找一种在
S3
中创建或更新文件时触发Jenkins作业
的
方法。用通常
的
搜索方法,我似乎找不到任何东西。它总是
将
工件上传到
S3
,但很少下载,即使这样,我似乎也找不到一种方法来触发实际
的
更新过程。我目前唯一能弄清楚如何做到这一点
的
方法是定期同步文件,并将哈希与以前
的
版本进行比较,但这是一个非常糟糕
的
解决方案。这背后
的
想法是让一个代理(它不能访问我们
的
Jenkins)上传他们
的
构建
浏览 4
提问于2017-08-09
得票数 6
2
回答
如何
将
所有cloudtrail日志移动到一个集中位置
python
、
amazon-s3
、
aws-lambda
我正在尝试
将
CloudTrail日志收集到我们
的
SIEM中。SIEM供应商只能从单个文件夹中从
S3
收集日志,但Cloudtrail每天都会创建一个文件夹。ca-central/2019/06/03/files.json.gz我们希望看到
的
示例ca-central/files2
浏览 0
提问于2019-07-23
得票数 0
4
回答
带有Amazon
和
S3
事件
的
芹菜
amazon-s3
、
celery
、
amazon-sqs
我想使用芹菜来消费由亚马逊在
SQS
上交付
的
S3
事件。但是,与不匹配。 我如何以最少
的
恶意来使用这些
消息
?我应该写一个自定义序列化程序吗?我应该放弃使用boto或boto3建立一个自定义桥吗?作为一个sidenote,我还想将芹菜
连接
到另一个代理(RabbitMQ),用于应用程序
消息
传递
的
其余部分(如果这一点重要的话)。
浏览 8
提问于2015-05-07
得票数 4
回答已采纳
1
回答
为什么我们不能
直接
从
s3
投票
amazon-web-services
、
amazon-s3
、
amazon-sqs
、
amazon-sns
、
system-design
现在为了有效
的
系统设计,我们在AWS
S3
上推送
消息
,我们向它订阅一个主题( AWS ),然后
将
AWS订阅
到
它以进行轮询(可取
的
方法)。现在
的
问题
是: direcltyAdvantages 为什么不能在
S3
->
SQS
上投票S3->SNS>
SQS
(如果有的话)。有人能帮忙吗?我也读过其他答案,但它们对没有多大帮助。
浏览 1
提问于2020-01-11
得票数 0
回答已采纳
1
回答
防止AWS Lambda从异步调用中节流
amazon-web-services
、
amazon-s3
、
aws-lambda
、
amazon-sqs
我目前正在建模一个无服务器应用程序,该应用程序广泛使用
S3
事件作为lambda函数
的
源。我已经
为
lambda配置了死信队列(DLQ)以提供一些恢复能力,但我仍然想知道:还有其他方法
可以
降低lambda并发性并防止节流
问题
吗?理论上,AWS文档声明,对于异步调用,Lambda使用内部队列来处理事件
和
重试,这意味着Lambda不需要节流就
可以
处理这个队列。在一个非服务器应用程序中,我会用一个队列和数量有限
的
队列工作者来组织它,然而,对于AWS来说,这并不是
浏览 2
提问于2021-03-23
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
我是如何在AWS Lambda中用几分钟处理50万个事务的?
我们为什么从 Lambda 迁移到了 ECS?
AWS 瘫痪:DNS 被 DDoS 攻击了 15 个小时
HashiCorp 发布 Terraform 操作符管理Kubernetes基础设施
Serverless现状研究报告
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券