腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Firehose
数据
转换
lambda
-
从
单个
运动
记录
生成
多个
记录
amazon-web-services
、
amazon-redshift
、
amazon-kinesis-firehose
我已经创建了一个Kinesis
数据
流,并将如下格式的
记录
输入到其中: { "unicorn": 7,} 我正在尝试编写一个
转换
lambda
,它将
转换
上面的
记录
并将三个
记录
插入到Redshift中。,
从
单个
Kinesis
记录
中,我需要在Redshift中
生成</em
浏览 16
提问于2020-07-16
得票数 1
回答已采纳
1
回答
无法将日志
从
运动
消防软管发送到开始搜索
amazon-web-services
、
aws-lambda
、
amazon-cloudwatchlogs
、
amazon-kinesis-firehose
、
opensearch
但是,Kinesis未能将
数据
放入opensearch并返回错误。我已经尝试了所有可用的兰伯达的消防蓝图,以
转换
记录
,但没有运气。谢谢。
浏览 9
提问于2022-03-01
得票数 2
1
回答
Kinesis流未获取日志
amazon-web-services
、
amazon-athena
、
amazon-kinesis
我正在接收Kinesis
数据
流中的cloudtrail日志。我正在调用一个流处理
lambda
函数,就像here描述的那样。然后将返回到流的最终结果存储到S3存储桶中。到目前为止,处理失败,并在S3存储桶中创建了以下错误文件: {"attemptsMade":4,"arrivalTimestamp":1619677225356,"errorCode":"
Lambda
.FunctionErrorresult status of Dropped, Ok, or Processi
浏览 15
提问于2021-04-29
得票数 0
1
回答
从
Kinesis
Firehose
转换
Lambda
发出网络/API调用
amazon-web-services
、
amazon-s3
、
aws-lambda
、
amazon-kinesis-firehose
我有一个用例,在这个用例中,我需要对发送到我的Kinesis
Firehose
流的有效负载进行API调用,然后将其存储到S3中。流程如下: Kinesis
数据
流-> Kinesis
Firehose
->
转换
Lambda
->调用以获取与当前
记录
相关的附加
数据
-> Kinesis
Firehose
-> S3。基本上,对于由我的Kinesis
Firehose
流使用的
记录
,我需要调用另一
浏览 15
提问于2021-04-13
得票数 0
回答已采纳
1
回答
如何重播
从
AWS消防软管推到S3的流
数据
?
amazon-web-services
、
amazon-s3
、
amazon-kinesis
、
amazon-kinesis-firehose
但是我找不到任何关于
从
s3桶中回放这些
数据
的良好做法,以防处理应用程序被破坏。我可以考虑用火喉或兰博达重放它,但是: 或者,也许还有其他方法可以将
数据
从</e
浏览 0
提问于2018-12-12
得票数 5
回答已采纳
2
回答
在AWS
Firehose
中添加故障处理
amazon-web-services
、
aws-lambda
、
amazon-redshift
、
amazon-sqs
、
amazon-kinesis-firehose
我正在使用
Lambda
通过
Firehose
向Redshift发送批量消息。根据,如果有一些传递问题(有毒的消息,端点关闭等),
Firehose
将继续尝试24小时并删除该消息。最好的方法是什么,最好不交叉检查目标Redshift
数据
库?
浏览 0
提问于2016-02-16
得票数 3
1
回答
AWS
Firehose
数据
转换
并发限制
amazon-web-services
、
lambda
、
aws-lambda
、
amazon-kinesis-firehose
我有一个用例,在这个用例中,我必须每秒从不同的生产者收集数千条
记录
,并使用AWS
firehose
将它们推送到弹性搜索。我还在
firehose
上使用了一个
数据
转换
lambda
,它在将
记录
传递回
firehose
之前进行了大量的计算。
Firehose
应该在
数据
被再次缓冲以传送到目的地之前,对每个缓冲的批处理异步调用
lambda
。 我在15分钟内以每秒4k条
记录
的入口率运行了一个基本测试
浏览 0
提问于2017-05-30
得票数 2
3
回答
使用AWS Kinesis
Firehose
写入S3存储桶中的特定文件夹
amazon-web-services
、
amazon-s3
、
aws-lambda
、
amazon-kinesis
、
amazon-kinesis-firehose
我希望能够发送
数据
到kinesis
firehose
根据
数据
里面的内容。例如,如果我发送以下JSON
数据
: "name": "John",} 我想根据id过滤
数据
,并将其发送到我的s3存储桶的子文件夹中,如: S3://myS3Bucket使用Kinesis
Firehose
或AWS
Lambda
可以做到这一点吗?
浏览 2
提问于2018-05-15
得票数 9
1
回答
lambdas会按顺序执行操作吗?
amazon-web-services
、
aws-lambda
、
amazon-kinesis-firehose
其中上游流将把消息推入kinesis,稍后这些消息将被馈送到
lambda
中,这些消息在处理之前将按顺序排列。据我所知,AWS lambdas将根据消息的数量横向扩展。我们有每秒400条消息的数量,这意味着AWS
lambda
将响应消息数量,并将在单独的容器上实例化新流程,以利用并行性,为了实现并行性,必须折衷排序。因此,在订购了10条消息的情况下,命中
lambda
函数,并且一个函数比另一个函数花费更多的时间,AWS将在一些容器中提供一个新函数来服务于该请求。 在所有这些过程之后,最终的输出将是有序的吗?
浏览 0
提问于2018-04-04
得票数 0
2
回答
按内容将AWS
Firehose
转换
为S3前缀
amazon-web-services
、
amazon-kinesis-firehose
我有一个Kinesis
Firehose
Stream,其中
生成
了不同模式的JSON。由于这些
数据
最终应该由其他依赖于模式的工具(胶水、雅典娜)访问,所以我想按模式将它们与某些S3存储桶中的不同前缀分开。 我不想对不同的模式使用不同的流。
浏览 1
提问于2021-06-05
得票数 0
4
回答
什么是S3扩展目标配置?
amazon-web-services
、
amazon-kinesis-firehose
它看起来部分与输入
记录
转换
或
记录
处理有关。 如果您希望Kinesis将输入
数据
的格式
从
JSON
转换
为Parquet或ORC,请在ExtendedS3DestinationConfiguration中指定可选的ExtendedS3DestinationConfigurationresource "aws_kinesis_
firehose
_delivery_stream&qu
浏览 9
提问于2020-03-12
得票数 3
0
回答
缺少kinesis
firehose
终结点
amazon-kinesis-firehose
我已经设置了消防管,通过代理收集
数据
,并将其推送到弹性搜索。它适用于使用pyhon代码的
单个
记录
。但我无法使用Kinesis Agent发送
数据
。根据文档,应该有消防水带和
运动
端点。"cloudwatch.emitMetrics": true, "
firehose</
浏览 6
提问于2016-07-04
得票数 1
4
回答
AWS如何
从
S3抓取一个文件夹
amazon-s3
、
aws-glue
、
amazon-kinesis-firehose
我有一个Kinesis工作,将流
数据
倾倒到一个S3桶中。我正在尝试运行一个S3
数据
目录爬虫,而我遇到的问题是Kinesis格式本身并不是有效的JSON,这让我感到困惑。相反,它是一堆JSON文档,它们之间有一个断行符。我想写一个
lambda
函数来“修复”
Firehose
文件,因为它是在桶上创建的,但是对于两个应该整齐地结合在一起的部分来说,它听起来是一个廉价的解决方案。另一种选择是完全绕过
数据
目录,在Glue脚本本身中执行必要的
转换
,但我不知道如何开始。 我有遗漏什么吗?是否有一种更简单
浏览 0
提问于2018-09-24
得票数 5
回答已采纳
3
回答
Firehose
转换
输出的格式设置
amazon-web-services
、
amazon-kinesis
、
amazon-kinesis-firehose
我正在使用带有自定义
数据
转换
的AWS Kinesis
Firehose
。
Lambda
是用Python 3.6编写的,返回的字符串如下所示: "records": [ "recordId": "...", "data": "..."
浏览 16
提问于2017-08-30
得票数 4
1
回答
如何更改文件名和文件夹层次结构
python-3.x
、
amazon-s3
、
amazon-kinesis
、
amazon-kinesis-firehose
我必须在s3上上传数百万张图片。瓶颈是s3的速率限制,它小于3500 /s。我真正想做的是。
浏览 5
提问于2021-01-11
得票数 0
1
回答
使用AWS kinesis-
firehose
将
数据
写入文件
amazon-web-services
、
amazon-s3
、
amazon-kinesis
、
amazon-kinesis-firehose
我有一个节点应用程序,它使用
firehose
流将
数据
写入s3。我使用putRecord方法来实现同样的目的。对象成功进入s3存储桶。但是,我希望将
数据
写入文件(.txt格式),而不是对象。
从
kinesis-
firehose
更新s3对象。有时
firehose
会将
多个
条目添加到一条
记录
中。如果我在一分钟或更长的时间间隔后写入,它会
生成
新的
记录
。
浏览 14
提问于2021-02-24
得票数 0
2
回答
AWS如何将更新和删除请求发送到ElasticSearch?
amazon-web-services
、
elasticsearch
、
aws-lambda
、
amazon-kinesis-firehose
recordId'], 'data': base64.b64encode(payload)除了示例之外,我还没有找到
运动
消防软管
lambda
处理程序应该返回的输出格式的定义。
浏览 9
提问于2022-03-02
得票数 1
回答已采纳
1
回答
Kinesis的
多个
目标
amazon-kinesis
、
amazon-kinesis-firehose
我们可以
从
单个
Kinesis
Firehose
获得
多个
目的地吗?我看到了这张照片 从这一点上看,似乎有可能添加s3,红移和弹性搜索
从
单一的消防水带。我真的很想这么做。但当我
从
aws控制台执行此操作时,它只要求提供单一目的地。对于弹性搜索,它还要求使用S3。所以,我可以添加elastic search和s3,但redhift仍然是左转的。我不确定如何
从
相同的
运动
中做到这一点。请帮帮忙。
浏览 4
提问于2017-06-17
得票数 8
回答已采纳
1
回答
用DynamoDB
Lambda
配置动态流
amazon-web-services
、
aws-lambda
、
amazon-redshift
、
amazon-kinesis-firehose
从下面这个问题开始,我创建了一个DynamoDB表(购买销售),并添加了DynamoDB流。然后,我配置了
Lambda
函数以拾取DynamoDB流。我的问题是如何配置Kinesis来获取
Lambda
函数源?我知道如何配置
Lambda
转换
,但是我想作为源代码来选择。不确定如何配置下面的
浏览 1
提问于2018-06-11
得票数 0
回答已采纳
1
回答
使用
Lambda
与带有CloudWatch订阅过滤器的
Firehose
发布到ElasticSearch
elasticsearch
、
amazon-cloudwatch
、
amazon-kinesis-firehose
最终,我们希望处理日志以
从
查询字符串和响应头中提取统计信息,并将结果发布到ElasticSearch或S3。在
Lambda
中处理
数据
并将其发送到ElasticSearch/S3。 创建CloudWatch订阅筛选器并从
Firehose
目标进行订阅。使用
Lambda
转换
函数提取
数据
,将其放回流中,并让
Firehose
将
数据
发布到ElasticSearch/S3。订阅筛选器基本上会传递包含“
转换
前的方
浏览 2
提问于2018-07-07
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
AWS Lambda 增加对 .NET 6 的支持
遇见YI算法之初识Pyspark(二)
手把手介绍函数式编程:从命令式重构到函数式
技术讲解:用人工智能进行人物动作捕捉
神经网络生成极慢视频,从此不再错过任何细节
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券