腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(3185)
视频
沙龙
1
回答
将
内部
部署
日志
转
发到
Kinesis
Firehose
、
对于我的应用程序
日志
记录,我计划
将
日志
从我的本地服务器转
发到
AWS
Kinesis
firehose
。我正在尝试使用Logstash和log-stash-output-plugin https://github.com/samcday/logstash-output-
kinesis
但我认为这个插件需要将
日志
数据转
发到
Kinesis
数据流,然后我们可以创建到
Kinesi
浏览 14
提问于2019-03-25
得票数 0
1
回答
Kinesis
Firehose
在多个区域中使用相同的流
、
、
、
我有一个使用flask构建的应用程序接口,它使用
kinesis
firehose
将
数据
转
储到s3。目前只在一个地域,有多个实例的负载均衡和弹性伸缩组。但是,我可以找到一种方法来为不同地区配置
Kinesis
Firehose
流。这意味着,即使我将我的应用程序放在不同的地区,
Kinesis
Firehose
也会成为瓶颈。
浏览 13
提问于2020-02-06
得票数 0
回答已采纳
1
回答
Kinesis
防火墙未将数据发送到S3存储桶
、
、
、
、
我已经设置了一个带有
Firehose
的
Kinesis
流,该流应该获取放入流中的数据,并将其存储在S3存储桶中。
Kinesis
firehose
读取数据:然后我可以在这里看到它没有将其传递给S3:消防站的IAM角色有权从
Kinesis
读取和对S3进行读/写。下面是我用来
部署
所有东西的无服务器文件。 以下是该
浏览 2
提问于2020-04-02
得票数 1
1
回答
如何拆分亚马逊网络服务CloudWatch
日志
流?
、
、
有一组亚马逊网络服务的CloudWatch
日志
,其中有几个线程。据我所知,每个线程都是来自单独服务器或容器的
日志
。 我把整组
日志
放在
Kinesis
Firehose
中,以便将它们发送到S3存储桶中。但在
Kinesis
Firehose
中,所有
日志
都被合并为一个
日志
。如何
将
这些
日志
放到S3存储中,以便每个线程都有自己的目录?
浏览 0
提问于2020-02-05
得票数 0
1
回答
作为云监视
日志
用户的
、
、
、
我的要求是从AWS收集VPC流
日志
。我已经创建了一个VPC流
日志
,并将其与云监视
日志
组“流
日志
组”相关联。从CloudWatch
日志
订阅中,我想通过AWS来订阅它,但是在订阅列表中我找不到"
Kinesis
“,只有"Lambda”和"ElasticSearch服务“。你能帮我一下吗。我们不能订阅CloudWatch
日志
使用AWS动态消防软管。
浏览 0
提问于2017-01-12
得票数 4
1
回答
云视频流
日志
实时移至红移
、
、
、
、
我是AWS新手,我想将我的aws实时cloudwatch流
日志
移动到Redshift表中,我在想,首先我想将我的cloudwatch流
日志
从那里移动到Redshift。如果您有任何想法如何获得这些cloudwatch
日志
到lambda函数,请让我知道。我对此一无所知。我查阅了很多文档,但我没有找到合适的lambda函数来从cloudwatch获取流
日志
。
浏览 7
提问于2018-07-20
得票数 2
1
回答
连接AWS
日志
、
Kinesis
、S3和ElasticSearch的AWS策略
、
、
、
、
我正在尝试流的AWS云监视
日志
到ES通过
Kinesis
。下面的地形代码给出了一个错误。任何建议..。"aws_iam_role" "
firehose
_role" {{ } Domain = "
浏览 5
提问于2017-05-12
得票数 13
1
回答
Kinesis
代理不通过
firehose
发送.log文件
、
、
我已经设置了一条
Kinesis
消防软管,并按照AWS docs中的说明安装了
Kinesis
代理。我可以
将
测试数据发送到S3存储桶,但
Kinesis
代理不会发送任何.log文件。我已经验证了aws-
kinesis
-agent服务正在运行。 我没有使用
kinesis
.end/kinesisStream,但我
将
流留在了agent.json文件中。这会是一个问题吗?{ &quo
浏览 11
提问于2019-06-26
得票数 1
1
回答
我们是否可以在单个云形成模板中
部署
两个。如果是,怎么做?
、
我只能使用CFN
部署
一个交付流。有两个运动消防软管输送流。是否有其他方法可以在单一模板中完成两个动态消防软管。谢谢!!AWSTemplateFormatVersion:'2010-09-09‘参考资料:##
Kinesis
Firehose
1 DeliveryStreamLogGroup:## Cloudwatch
日志
组类型:AWS::Logs::LogGroupName: LogGroupName:-- DeliveryStreamLogStreamS3:# Cloudwatch
日志
流类型:AW
浏览 0
提问于2021-06-17
得票数 1
1
回答
导出原始格式的Cloudwatch
日志
、
我正在寻找一种方法,以出口CW
日志
在其原始形式到s3。我使用控制台从
日志
组中导出了一天的
日志
,似乎每一行都预先加上了一个时间戳,这打破了原来的JSON格式。
浏览 14
提问于2019-07-02
得票数 1
回答已采纳
1
回答
使用Lambda与带有CloudWatch订阅过滤器的
Firehose
发布到ElasticSearch
、
、
我目前正在研究CloudWatch
日志
的实时处理。我们每天产生大约30-40 We的
日志
(API Gateway完整的请求/响应),平均每秒大约有100个请求。最终,我们希望处理
日志
以从查询字符串和响应头中提取统计信息,并将结果发布到ElasticSearch或S3。创建CloudWatch订阅筛选器并从
Firehose
目标进行订阅。使用Lambda转换函数提取数据,将其放回流中,并让
Firehose
将
数据发布到ElasticSearch/S3。是否涉及批处理,或者订
浏览 2
提问于2018-07-07
得票数 0
1
回答
使用来自
Kinesis
数据流的
Kinesis
Firehose
传递流
将
数据写入S3时出现问题
、
、
、
我使用
Kinesis
代理(使用Docker镜像)
将
JSON文件发送到
Kinesis
数据流,然后作为
Kinesis
Firehose
交付流的源,然后
Kinesis
Firehose
交付流应该
将
文件写入S3JSON数据流入数据流,并在监控和代理
日志
中可见: 2019-04-16 19:00:14.036+0000 6ae9843658b1 (Agent.MetricsEmitter RUNNING) com.amazon.
kine
浏览 30
提问于2019-04-17
得票数 1
回答已采纳
1
回答
AWS
Kinesis
Firehose
流是否覆盖表上的锁
、
、
、
然后,我
将
一些输入输入到我的
Kinesis
Firehose
流,该流被配置为将其放到同一个表中。在观察
Kinesis
日志
时,我注意到30分钟后,
Kinesis
将
数据发布到我的红移表中,即使有一个打开的事务和表被锁定。我只想要一些信息,如果这是
Kinesis
Firehose
打破表锁的默认行为,或者我可能在锁表时遗漏了什么。我只想测试
Kinesis
的防火墙行为,当表被锁定时,它是失败的,还是每次都会打破锁,或者它会无限
浏览 19
提问于2021-10-07
得票数 2
回答已采纳
2
回答
在添加堆栈时自动化CW
日志
转发
、
、
、
、
我希望
将
CloudWatch
日志
从各种stacks/lambdas (可能是到
Kinesis
,然后)转
发到
Graylog EC2实例。重点是,我还想在以后
部署
的堆栈中自动添加
日志
。如何自动
将
新的CW lambda
日志
组添加到流中以Graylog结束?或者-当
日志
组出现在CloudWatch中时,我如何自动将它们
部署
到
日志
组? 谢谢。
浏览 7
提问于2022-08-03
得票数 0
回答已采纳
1
回答
Kinesis
代理报告来自python流数据的错误
、
、
、
、
我尝试从python代码创建一个简单的流数据,并将其附加到
日志
文件中,然后使用
Kinesis
Agent->
Kinesis
Firehose
将
流数据加载到Redshift群集。我确认python代码运行良好,创建了流数据,并将其附加到
日志
文件中。我的
kinesis
代理已成功启动并进行了验证,并且还进行了适当的配置,以便从
日志
文件中提取数据并将其推送到
firehose
流中。这只是为了执行示例
firehose
流,因
浏览 3
提问于2018-04-06
得票数 2
1
回答
忽略yaml级别的单一
日志
处理程序
、
、
在Symfony 4.3中使用Monolog,我创建了一个自定义处理程序来
将
日志
推送到AWS
Firehose
。: id:
kinesis
_stream_handler type: stream
kinesis
_stream_handler: class: App\Logger\Ha
浏览 15
提问于2019-09-13
得票数 0
回答已采纳
1
回答
如何
将
AWS cloudwatch
日志
自动发送到AWS redshift
、
、
、
、
我的要求是,我需要自动
将
AWS cloudwatch
日志
发送到AWS redshift。可以通过Lambda脚本实现吗?有没有其他可用的选项?
浏览 2
提问于2018-01-18
得票数 1
1
回答
如何使用Terraform基于Cloudwatch
日志
指标过滤器向SNS发送Cloudwatch警报
、
、
但是,我没有在
日志
中看到筛选器。
浏览 5
提问于2019-03-27
得票数 3
1
回答
可以在logstash中使用cf event作为输入吗?
、
我希望获得以下系统:一旦Cloud Foundry中发生事件,它就会加载到elasticsearch。使用logstash很好,但我研究了它的输入插件,没有找到任何我可以使用的东西。此场景的最佳解决方案是什么?目前,我可以考虑编写一个脚本,使用CF api连续拉取数据并将其加载到elasticsearch。有没有更好的方法呢?
浏览 2
提问于2018-10-24
得票数 2
2
回答
AWS动态消防软管没有
将
数据发送到Elasticsearch....IAM权限?
、
、
、
、
所以,除了最后一步,我已经做好了一切准备和工作,最后一步是
将
数据从
Firehose
发送到Elasticsearch。这是我在服务
日志
中遇到的错误: "
kinesis
:GetShardIterator", "
kinesis
:GetRecords","
kines
浏览 4
提问于2020-06-12
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
金融巨头Capital One的无服务器实践
CDC Debezium 介绍
Netflix发布DBLog:一款通用的变化数据捕获框架
Docker 日志的 10 大陷阱
为什么微服务一定要有网关?
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券