腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(6795)
视频
沙龙
1
回答
将内部部署
日志
转发到
Kinesis
Firehose
amazon-kinesis
、
amazon-kinesis-firehose
对于我的应用程序
日志
记录,我计划将
日志
从我的本地服务器转发到AWS
Kinesis
firehose。
Kinesis
数据
流
,然后我们可以创建到
Kinesis
Firehose的管道。如果我们指向
Kinesis
Firehose传递
流
,则会收到错误- ResourceNotFoundException消息:帐户XXXX下的
流
测试未找到 但是,如果我们将log-stash指向
Kinesis
数据
流
,然后通
浏览 14
提问于2019-03-25
得票数 0
1
回答
用于自定义警报的MySQL RDS错误
日志
导入
mysql
、
amazon-web-services
、
amazon-rds
目前,我们有从MySQL错误
日志
中收集数据来发出警报的scipts。我们计划将这些脚本部署在一个集中的服务器上,它应该从那里查询每个RDS实例的错误
日志
。但我无法在MySQL表中加载错误
日志
。有没有什么方法可以自动将错误
日志
从MySQL RDS实例检索到我的集中式服务器?
浏览 17
提问于2019-01-11
得票数 0
2
回答
Kinesis
能接收从CloudWatch
日志
订阅中解压缩的内容吗?
amazon-web-services
、
amazon-s3
、
amazon-kinesis-firehose
、
amazon-cloudwatchlogs
我正在使用
Kinesis
将应用程序
日志
从CloudWatch
日志
复制到S3桶中。应用程序
日志
被写入CloudWatch 这将使输入/输出大小对齐。我已经尝试过缩小流上的缓冲区大小,但是缓冲区大小限制似乎
浏览 0
提问于2019-08-19
得票数 5
1
回答
使用Lambda与带有CloudWatch订阅过滤器的Firehose发布到ElasticSearch
elasticsearch
、
amazon-cloudwatch
、
amazon-kinesis-firehose
我目前正在研究CloudWatch
日志
的实时处理。我们每天产生大约30-40 We的
日志
(API Gateway完整的请求/响应),平均每秒大约有100个请求。最终,我们希望处理
日志
以从查询字符串和响应头中提取统计信息,并将结果发布到ElasticSearch或S3。是否涉及批处理,或者订阅筛选器传递的每个
日志
事件都会触发?相反,我确实理解Firehose确实提供批处理,我可以在一定程度上控制它。 有人能在这方面给点建议吗?有没有其他我可能忽略的选择?
浏览 2
提问于2018-07-07
得票数 0
1
回答
Kinesis
流
未
获取
日志
amazon-web-services
、
amazon-athena
、
amazon-kinesis
我正在接收
Kinesis
数据
流
中的cloudtrail
日志
。我正在调用一个
流
处理lambda函数,就像here描述的那样。然后将返回到
流
的最终结果存储到S3存储桶中。configurationlogger = logging.getLogger() def unpack_
kinesis
_stream_recordsDecoded".format(len(events))
浏览 15
提问于2021-04-29
得票数 0
1
回答
Kinesis
防火墙未将数据发送到S3存储桶
amazon-web-services
、
amazon-s3
、
serverless
、
amazon-kinesis
、
amazon-kinesis-firehose
我已经设置了一个带有Firehose的
Kinesis
流
,该
流
应该
获取
放入流中的数据,并将其存储在S3存储桶中。目前,我可以看到我的数据
流
正在
获取
数据,我的消防管正在读取它,但随后没有向S3发送任何内容。
Kinesis
firehose读取数据:然后我可以在这里看到它没有将其传递给S3:消防站的IAM角色有权从
Kinesis
读取和对S3进行读/写。
浏览 2
提问于2020-04-02
得票数 1
2
回答
如何将cloudwatch指标数据发送到
kinesis
数据
流
amazon-cloudwatch
、
amazon-kinesis
、
amazon-cloudwatch-metrics
我正在尝试将perfmon的内存、磁盘空间、CPUtilization数据点等数据发送到
kinesis
数据
流
。 为此,我在EC2实例上安装了CW代理,并创建了一个CW
日志
组。
日志
组订阅了
kinesis
流
。我可以看到在CW中填充了指标,但是我没有办法将这些指标发送到
kinesis
,并且推送到
流
中的
日志
在我的下一步中没有帮助。有没有一种直接的方法将指标数据发送到
kinesis
?我不想在两者之间添加额外的脚本层。请给我建议
浏览 24
提问于2019-12-11
得票数 1
回答已采纳
1
回答
AWS
kinesis
视频流在raspberrypi。无法创建
Kinesis
视频
流
video-streaming
、
apache-camel-aws-kinesis
我正在尝试使用aws
kinesis
视频
流
从覆盆子派中流式传输视频。/
kinesis
_video_gstreamer_sample_app
流
名称 我试试这个。 然后,该
日志
出现了错误。错误:无法创建
Kinesis
视频
流
。saStream错误状态: 0xf 信息释放
Kinesis
视频
流
saStream INFO freeKinesisVideoStream():释放
Kinesis
视频
流
。初始
浏览 24
提问于2020-04-20
得票数 0
2
回答
如何使用Terraform将CloudWatch
日志
( Lambda函数的结果)导出到S3
terraform
、
terraform-provider-aws
我需要使用Terraform将
日志
从Cloudwatch导出到S3。我有几个Lambda函数,这些Lambda函数的
日志
会自动记录到Cloudwatch /aws/lambda/。我正在考虑将这些
日志
导出到S3以供开发人员查看。创建策略是
浏览 0
提问于2018-09-01
得票数 0
1
回答
我想使用向量将AWS的
日志
从CloudWatch移动到Elasticsearch和Kibana
python
、
amazon-web-services
、
elasticsearch
、
aws-lambda
、
amazon-cloudwatchlogs
我想将AWS的
日志
记录从CloudWatch移到Elk,使用ECS或Vm.All,我的Lambda函数在Python.To clarify中,我想摆脱CloudWatch,根本没有流到它。问:如何使AWS将
日志
推送到AWS任务或Vm而不是CloudWatch
日志
?
浏览 9
提问于2022-09-20
得票数 1
1
回答
Kinesis
Stream与DynamoDB streams的区别
amazon-kinesis
、
amazon-dynamodb-streams
他们似乎也在对我做同样的事情。有人能给我解释一下其中的区别吗?
浏览 5
提问于2016-07-25
得票数 25
回答已采纳
1
回答
何时需要将
Kinesis
数据
流
与
Kinesis
Firehose一起使用?
amazon-web-services
、
amazon-kinesis
、
amazon-kinesis-firehose
我不确定何时需要在使用
Kinesis
Firehose之前使用
Kinesis
数据
流
。在文档中,它说
Kinesis
Firehose可以从
Kinesis
数据
流
获取
数据,但用例并不清楚。https://aws.amazon.com/
kinesis
/data-firehose/faqs/?nc=sn&loc=5
浏览 26
提问于2020-06-08
得票数 1
1
回答
如何将
Kinesis
视频
流
与用于检测人员的
Kinesis
视频识别集成
aws-lambda
、
amazon-kinesis
、
amazon-rekognition
使用Raspberry pi,使用
Kinesis
video streaming Parser库获得实时视频
流
,并希望将
流
处理到
Kinesis
Video Rekognition以检测人员。设置所需的ARN细节,
获取
视频
流
并设置为Frame Viewer。然后尝试将
Kinesis
视频
流
与Rekognition集成。
浏览 46
提问于2019-02-06
得票数 0
回答已采纳
2
回答
如何将
Kinesis
数据
流
合并为一个数据
流
以进行
Kinesis
数据分析?
amazon-web-services
、
amazon-kinesis
、
amazon-kinesis-firehose
、
amazon-kinesis-analytics
我有多个AWS
kinesis
数据
流
/firehose和CSV格式的结构化数据。我需要使用运动数据分析对这些数据执行分析。但是如何将多个
流
合并为一个
流
呢?因为
Kinesis
数据分析仅从一个
流
中
获取
数据。数据
流
可以存在于不同的地域。 问题:如何将
Kinesis
数据
流
合并为一个用于
Kinesis
数据分析的数据
流
?
浏览 3
提问于2020-08-25
得票数 0
1
回答
Amazon
Kinesis
流
是否需要保持打开状态才能继续将数据放入其中?
php
、
amazon-web-services
、
streaming
、
twitter-streaming-api
、
amazon-kinesis
我正在运行一个脚本,可以抓取tweet并将其放入
Kinesis
流
中。如果我不停止脚本,
流
保持打开,这个“问题”似乎不会发生,我只是在任何地方的文档中都看不到这一点,我见过这样的例子,人们在没有长期运行脚本的情况下将数据放到
流
中。例如:在提交表单之后。
浏览 0
提问于2014-08-15
得票数 0
1
回答
在使用aws describe_log_streams时
获取
油门异常
aws-lambda
、
amazon-cloudwatch
我的要求是读取整个云监视
日志
,并根据特定的条件将其推送到S3。 我试着给出一些其他的价值,但没有用。请检查一下,并告诉我是否有其他的选择吗?
浏览 0
提问于2018-08-02
得票数 1
1
回答
将旧的aws lambda
日志
发送到aws
kinesis
流
amazon-web-services
、
amazon-kinesis
我刚刚创建了一个新的AWS
kinesis
流
,并将其设置为接收我正在拉入的lambda函数中的数据。在我设置
流
之前,我的云监视
日志
中有一些数据。有没有办法手动将其发送到
kinesis
?
浏览 12
提问于2019-03-07
得票数 0
1
回答
AWS动态-第三方服务器上的数据源
amazon-web-services
、
amazon-kinesis
我们试图评估将位于第三方服务器上的
日志
文件中捕获的事件放置到AWS
Kinesis
流
中是否有意义,甚至是可能的,因为我们只有VPN访问
日志
文件所在的服务器。基于对AWS文档的浏览,我假设,如果我们的客户端不允许我们在该服务器上运行
Kinesis
"Producer“应用程序的某些实现,那么这些事件就可以从所述
日志
文件中连续读取,然后将它们发送到AWS
Kinesis
流
,而没有其他可行的选项。
浏览 0
提问于2015-06-18
得票数 0
回答已采纳
1
回答
Kinesis
代理不通过firehose发送.log文件
amazon-web-services
、
amazon-kinesis-firehose
、
amazon-kinesis-agent
我已经设置了一条
Kinesis
消防软管,并按照AWS docs中的说明安装了
Kinesis
代理。我可以将测试数据发送到S3存储桶,但
Kinesis
代理不会发送任何.log文件。我已经验证了aws-
kinesis
-agent服务正在运行。 我没有使用
kinesis
.end/kinesisStream,但我将
流
留在了agent.json文件中。这会是一个问题吗?/aws-
kinesis
-agent.log处的
日志
文件显示解析了0条记录。
浏览 11
提问于2019-06-26
得票数 1
1
回答
使用来自
Kinesis
数据
流
的
Kinesis
Firehose传递
流
将数据写入S3时出现问题
amazon-s3
、
amazon-kinesis
、
amazon-kinesis-firehose
、
amazon-kinesis-agent
我使用
Kinesis
代理(使用Docker镜像)将JSON文件发送到
Kinesis
数据
流
,然后作为
Kinesis
Firehose交付
流
的源,然后
Kinesis
Firehose交付
流
应该将文件写入S3JSON数据流入数据
流
,并在监控和代理
日志
中可见: 2019-04-16 19:00:14.036+0000 6ae9843658b1 (Agent.MetricsEmitter RUNNING) com.amazon.
kine
浏览 30
提问于2019-04-17
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
金融巨头Capital One的无服务器实践
如何在Spark中处理结构化流式数据,如日志文件或传感器数据?
Spark Streaming 2.2.0 Input DStreams和Receivers
走进大数据 Spark Streaming
Spark Streaming 2.2.0 Example
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券