前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >SlideShare案例研究:使用Fluentd呈现统一数据

SlideShare案例研究:使用Fluentd呈现统一数据

作者头像
CNCF
发布2019-12-04 10:41:29
1.4K0
发布2019-12-04 10:41:29
举报
文章被收录于专栏:CNCFCNCF

SlideShare于2006年10月成立,旨在促进在线知识共享,已发展成为世界上最大的共享演示文稿和其他内容的社区。在2013年第四季度,SlideShare平均每月有6000万独立访问者和2.15亿页面浏览量,用户查看演示文稿、信息图表、文档、视频和PDF。

用几句话:

  • 公司:Slideshare
  • 地点:加利福尼亚州旧金山和印度新德里
  • 用例概述:
    • Fluentd部署在数百台服务器上,收集应用程序和系统指标。
    • 几个自定义插件将数据发送到AMQP、HDFS、MongoDB、Ganglia等。
    • 充分利用Fluentd的可扩展架构。
    • 这是Slideshare自己对其数据架构的描述

http://engineering.slideshare.net/2014/04/skynet-project-monitor-scale-and-auto-heal-a-system-in-the-cloud/

目标:更深入、更快速的洞察以改变使用模式和系统健康

快速增长是许多公司的梦想,但它也带来了新的挑战。对于SlideShare,它意味着通过以可扩展(读取:自动化)方式密切监视其应用程序和服务基础架构,确保其服务保持吸引力和可用性。

挑战:找到一个解决方案来帮助收集和构建日志以进行近实时分析并共享到多个系统

SlideShare首先查看开源日志收集器。他们想要一些轻量级、快速并且用Ruby编写的东西:由于Slideshare在整个堆栈中使用Ruby,他们希望数据收集器用Ruby编写,以最大限度地减少技术摩擦。开源也很重要,因为他们希望确保他们可以调整软件以满足他们的需求。

解决方案:使用Fluentd在子系统之间构建智能消息总线

SlideShare最终选择了Fluentd,因为它满足了上述要求。此外,Fluentd的插件生态系统让他们相信他们可以扩展Fluentd以使用Slideshare的架构进行演变。“Fluentd擅长流处理,很容易与你选择的任何后端系统集成。”工程经理Casey Brown说。

使用Fluentd作为关键组件,SlideShare实施了一个名为Skynet的新监控系统。Skynet收集应用程序日志和系统指标,并将它们传递给Fluentd,以便可靠地收集和聚合到MongoDB中,其内部仪表板使用MongoDB。

在过去两年,SlideShare扩展了对Fluentd的使用。例如,Fluentd为电子邮件分析提供基础设施支持。Fluentd用于收集有关每周发送的数百万封电子邮件的电子邮件打、,阅读、链接等链接的统计信息。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-04-04,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CNCF 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 MongoDB
腾讯云数据库 MongoDB(TencentDB for MongoDB)是腾讯云基于全球广受欢迎的 MongoDB 打造的高性能 NoSQL 数据库,100%完全兼容 MongoDB 协议,支持跨文档事务,提供稳定丰富的监控管理,弹性可扩展、自动容灾,适用于文档型数据库场景,您无需自建灾备体系及控制管理系统。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档