SlideShare于2006年10月成立,旨在促进在线知识共享,已发展成为世界上最大的共享演示文稿和其他内容的社区。在2013年第四季度,SlideShare平均每月有6000万独立访问者和2.15亿页面浏览量,用户查看演示文稿、信息图表、文档、视频和PDF。
用几句话:
http://engineering.slideshare.net/2014/04/skynet-project-monitor-scale-and-auto-heal-a-system-in-the-cloud/
目标:更深入、更快速的洞察以改变使用模式和系统健康
快速增长是许多公司的梦想,但它也带来了新的挑战。对于SlideShare,它意味着通过以可扩展(读取:自动化)方式密切监视其应用程序和服务基础架构,确保其服务保持吸引力和可用性。
挑战:找到一个解决方案来帮助收集和构建日志以进行近实时分析并共享到多个系统
SlideShare首先查看开源日志收集器。他们想要一些轻量级、快速并且用Ruby编写的东西:由于Slideshare在整个堆栈中使用Ruby,他们希望数据收集器用Ruby编写,以最大限度地减少技术摩擦。开源也很重要,因为他们希望确保他们可以调整软件以满足他们的需求。
解决方案:使用Fluentd在子系统之间构建智能消息总线
SlideShare最终选择了Fluentd,因为它满足了上述要求。此外,Fluentd的插件生态系统让他们相信他们可以扩展Fluentd以使用Slideshare的架构进行演变。“Fluentd擅长流处理,很容易与你选择的任何后端系统集成。”工程经理Casey Brown说。
使用Fluentd作为关键组件,SlideShare实施了一个名为Skynet的新监控系统。Skynet收集应用程序日志和系统指标,并将它们传递给Fluentd,以便可靠地收集和聚合到MongoDB中,其内部仪表板使用MongoDB。
在过去两年,SlideShare扩展了对Fluentd的使用。例如,Fluentd为电子邮件分析提供基础设施支持。Fluentd用于收集有关每周发送的数百万封电子邮件的电子邮件打、,阅读、链接等链接的统计信息。