Kinesis Firehose Putrecordbatch示例

文章/答案/技术大牛

发布

2回答

amazon-web-services、amazon-kinesis、amazon-kinesis-firehose、amazon-kinesis-kpl、amazon-kinesis-agent

我正在寻找一个使用putrecordbatch发送多个记录到kinesis streams的示例。我目前正在使用putrecord命令，通过以下方式将记录发送到kinesis streams。aws firehose put-record --delivery-stream-name csvtoredshiftstreamingjson --record='Data="{\"productid\":1，\"productname\":\&quo

浏览 17提问于2017-03-02得票数 1

回答已采纳

0回答

Kinesis Firehose putRecord vs putRecordBatch

amazon-kinesis-firehose

我正在使用Java API for Kinesis Firehose，并在可能的情况下使用putRecordBatch()。putRecordBatch返回一个整数，表示发送的一组记录提交失败的次数，例如，2次失败，4次失败，而putRecord()要么成功，要么抛出异常。我更喜欢在任何地方都使用putRecordBatch()，但是文档说只有在有多个记录要提交时才使用它。这可能有点冒险，但是在座的任何人都有使用这个API，特别是这些方法的经验吗？您是否做了我正在考虑的事情，并且在所有地方都使用了<em

浏览 0提问于2016-12-23得票数 4

1回答

无法解决与setTimeout的承诺

node.js、amazon-web-services、promise、amazon-kinesis-firehose

我正在编写一个函数来使用Node写到AWS Kinesis消防软管。写入消防水管流的AWS函数调用根据操作结果返回“错误”或“数据”。“ var readingObjects = getReadings(records); DeliveryStreamName: process.env.KINESIS_FIREHOSE_STREAM_DELIVERY,R

浏览 0提问于2019-10-22得票数 1

回答已采纳

2回答

Kinesis Firehose上的慢PutRecordBatch

amazon-web-services、amazon-kinesis-firehose

我们对EU-West-1中的所有Kinesis firehose流的PutRecordBatch写入速度变得非常慢。这已经断断续续地发生了好几天了。它一开始是一个运行缓慢的Lambda函数，所以我们查看了Lambda X-ray，以了解减速发生在哪里，以及它一致地写入连接以放置Firehose。我们写入多个Firehose流，并且流间的减速似乎是随机的(见下文)。非常感谢您的帮助。感觉就像我们达到了某种限制，正在限制我们的请求？

浏览 0提问于2018-01-09得票数 4

2回答

是否可以使用PutRecord Core2.2在AWS上使用FireHose执行.Net？

amazon-web-services、aws-lambda、amazon-iam、amazon-kinesis、amazon-kinesis-firehose

我之所以问这个问题，是因为我没有看到任何正式文档提到从AWS函数到FireHose执行FireHose。我想在PutRecord FireHose上执行AWS的操作。我得到以下错误用户: arn:aws:sts::accountnumber:assumed-role/listener-role/lambda未被授权执行：：PutRecord on ：arn:aws:kinesis:us-west-1:accountnumber:assumed:stream/firehose

浏览 1提问于2020-02-06得票数 0

1回答

如何使用Terraform基于Cloudwatch日志指标过滤器向SNS发送Cloudwatch警报

terraform、amazon-cloudwatch、amazon-cloudwatch-metrics

我正在测试一个cloudwatch警报过滤器(准确地说，检查lambda在内存中是否已满)，以发送到SNS，然后再发送到SQS队列。但是，我没有在日志中看到筛选器。设置为cloudwatch (filtered alarm) -> SNS -> SQS ->splunkresource "aws_cloudwatch_metric_alarm" "general_lambda_error" { "aws_cloudwatch_log_metric_filter

浏览 5提问于2019-03-27得票数 3

1回答

将Spark结构化流中的数据加载到ArrayList

apache-spark、apache-kafka

我不知道如何将流查询的数据集处理为一个ArrayList变量(例如，recordList )，例如100条记录(可能是任何其他值)，然后调用Firehose的putRecordBatch(recordList

浏览 1提问于2019-08-08得票数 3

回答已采纳

2回答

未授权执行的AWS动态代理:消防软管:PutRecordBatch

amazon-web-services、amazon-kinesis

我已经安装了一个Amazon，其中安装了Kinesis，并将其配置为将日志发送到Firehose。EC2实例被附加了一个带有KinesisFirehoseFullAccess权限的IAM角色。: arn:aws:sts::1245678012:assumed-role/FirstTech-EC2-KinesisFireHose/i-0bdf3adc7a4d97afa是未授权执行的：消防喉:PutRecordBatchon资源: arn:aws:firehose:ap-southeast-1:124567

浏览 5提问于2020-03-31得票数 1

2回答

FirehoseDestination -无法承担IAM的角色

amazon-web-services、terraform

" { effect = "Allow" "firehose:PutRecord", name = "SesfirehosedestinationPolicy" policy = d

浏览 18提问于2022-01-20得票数 0

3回答

将格式正确的JSON写入S3以在Athena/Redshift中加载

amazon-web-services、aws-lambda、amazon-athena、amazon-kinesis-firehose

我有一个触发器，它为在Kinesis上接收到的每个事务执行lambda函数。生产者通过PutRecordsRequest()方法发送多个事务。Lambda函数如下；var firehose = new AWS.Firehose(); if (err) {

浏览 8提问于2017-03-24得票数 3

回答已采纳

1回答

Firehose无法承担Terraform上的角色错误

amazon-web-services、terraform、amazon-kinesis、amazon-kinesis-firehose

当我尝试在Terraform中创建Kinesis Firehose传送时，我一直收到此错误： Error: error creating Kinesis Firehose Delivery Streamaws:kinesis:us-east-2:173115710334:stream/log_stream]aws_ki

浏览 26提问于2020-04-01得票数 0

2回答

如何使用Terraform创建一个连接到S3的AWS动态消防软管？

amazon-web-services、amazon-s3、terraform、amazon-iam、amazon-kinesis

我正在尝试使用kinesis_firehose_delivery_stream资源来创建一个带有Direct PUT源、没有数据转换和extended_s3目的地的Kinesis。"} acl = "

浏览 4提问于2021-05-17得票数 1

回答已采纳

1回答

将内部部署日志转发到Kinesis Firehose

amazon-kinesis、amazon-kinesis-firehose

对于我的应用程序日志记录，我计划将日志从我的本地服务器转发到AWS Kinesis firehose。Kinesis数据流，然后我们可以创建到Kinesis Firehose的管道。如果我们指向Kinesis Firehose传递流，则会收到错误- ResourceNotFoundException消息:帐户XXXX下的流测试未找到但是，如果我们将log-stash指向Kinesis数据流，然后通过管道将其传输到Kinesis <e

浏览 14提问于2019-03-25得票数 0

2回答

应该如何格式化AWS动态消防软管的记录到红移？

amazon-web-services、amazon-redshift、amazon-kinesis-firehose

下面是代码与由制表符分隔的数据的示例：let firehose = new AWS.Firehose(); // id,name,age}; firehose.putRecordBatch</

浏览 4提问于2015-12-27得票数 6

1回答

何时需要将Kinesis数据流与Kinesis* Firehose一起使用？*

amazon-web-services、amazon-kinesis、amazon-kinesis-firehose

我不确定何时需要在使用Kinesis Firehose之前使用Kinesis数据流。在文档中，它说Kinesis Firehose可以从Kinesis数据流获取数据，但用例并不清楚。https://aws.amazon.com/kinesis/data-firehose/faqs/?nc=sn&loc=5

浏览 26提问于2020-06-08得票数 1

1回答

从动态数据流到CloudFront消防软管到S3桶的实时日志

amazon-web-services、terraform、terraform-provider-aws

= [ "firehose:*" resources = [ aws_kinesis_firehose_delivery_stream.extended_s3_stream.arn sid = "kinesisId"}resource "aws_i

浏览 4提问于2021-03-07得票数 1

5回答

Kinesis Firehose是Kinesis Streams的替代品吗？

amazon-web-services、streaming、amazon-kinesis、amazon-kinesis-firehose

Kinesis Firehose以及Kinesis Streams用于根据AWS博客中提到的详细信息加载流数据。在Firehose的情况下，没有分片或维护的概念。在这种情况下，Kinesis Firehose是Kinesis Streams的替代品吗？

浏览 0提问于2017-10-15得票数 3

1回答

属性“bucket_arn”的值不正确:在terraform中创建AWS firehose资源时需要输入字符串

amazon-web-services、terraform-provider-aws、terraform0.12+

我正在尝试创建AWS firehose delivery流，但在尝试生成计划时遇到错误。我试图将我创建的角色和s3 buck传递给firehose资源，但得到了错误。提前谢谢。resource "aws_s3_bucket" "bucket1" { }, "

浏览 32提问于2020-04-10得票数 0

1回答

“动态数据流”和“动态数据流”是一样的吗？

amazon-web-services、amazon-kinesis-firehose

通过创建一个Kinesis数据传递流，然后将数据发送给它，您就可以使用Kinesis数据消防软管了。

浏览 2提问于2020-03-13得票数 0

1回答

如何在多个AWS帐户上流畅地输出到多个动态消防软管

amazon-kinesis-firehose、fluent-bit、aws-kinesis

[OUTPUT] Match aaa[OUTPUT] Name kinesis_firehose:kinesis_firehose.1] Failed

浏览 11提问于2022-06-21得票数 0

回答已采纳

点击加载更多