如何配置来自Azure Blob存储的Fluentbit / Fluentd输入？什么输入类型？
如何配置来自Azure Blob存储的Fluentbit / Fluentd输入？什么输入类型？
提问于 2020-08-31 16:04:53
我们目前正在使用tail输入收集IIS日志，并使用fluentbit将它们发送到New Relic。
fluent-bit.conf
[SERVICE]
Flush 1
Log_File C:\inetpub\logs\LogFiles\W3SVC1\*.log
Parsers_File C:\Program Files\New Relic\newrelic-infra\parsers.conf
[INPUT]
Name tail
Path C:\inetpub\logs\LogFiles\W3SVC1\*.log
Parser iis_logs_parser
Mem_Buf_Limit 1000MB
[OUTPUT]
name nrlogs
match *
api_key {{NewRelicKey}}现在，我们希望收集可以在Azure Blob存储中访问的另一个日志源。我们希望使用fluentbit，这样两个数据源的解析就会以相同的方式完成，确保收集到的字段是相同的，只使用一个源来扩展它们。这样我们就可以以几乎相同的方式处理/可视化这两个数据源。
如何配置fluentbit以从Azure Blob存储读取日志？我们需要什么样的fluentbit输入？
回答 2
Stack Overflow用户
回答已采纳
发布于 2020-08-31 21:59:35
这些是受支持的fluentbit输入：https://docs.fluentbit.io/manual/pipeline/inputs
不支持Azure Blob存储，也不支持亚马逊S3。FluentBit被设计为一个轻量级/嵌入式日志收集器，因此它的输入backlog具有相应的优先级。所有的繁重工作通常都由fluentd处理。
我还查看了fluentd -有几个Azure blob存储插件，但找不到支持输入的插件( S3插件同时支持输入/输出)。看起来解决方案将是一个由存储事件触发的azure函数，读取文件并进一步发送数据。
Local logs -> FluentBit -TCP-> fluentd-server -> destinations
Azure storage -> Azure function -TCP-> fluentd-server -> destinationsStack Overflow用户
发布于 2021-10-11 08:26:40
这个帖子是旧的，但只是想添加新的可用信息，这可能会有所帮助。
"Fluent Bit和Azure Data Explorer已同意协作，并为Azure Blob存储发布了新的输出连接器。“
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/63667031
复制相关文章
相似问题
腾讯云开发者
