专栏首页CNCFSlideShare案例研究:使用Fluentd呈现统一数据

SlideShare案例研究:使用Fluentd呈现统一数据

SlideShare于2006年10月成立,旨在促进在线知识共享,已发展成为世界上最大的共享演示文稿和其他内容的社区。在2013年第四季度,SlideShare平均每月有6000万独立访问者和2.15亿页面浏览量,用户查看演示文稿、信息图表、文档、视频和PDF。

用几句话:

  • 公司:Slideshare
  • 地点:加利福尼亚州旧金山和印度新德里
  • 用例概述:
    • Fluentd部署在数百台服务器上,收集应用程序和系统指标。
    • 几个自定义插件将数据发送到AMQP、HDFS、MongoDB、Ganglia等。
    • 充分利用Fluentd的可扩展架构。
    • 这是Slideshare自己对其数据架构的描述

http://engineering.slideshare.net/2014/04/skynet-project-monitor-scale-and-auto-heal-a-system-in-the-cloud/

目标:更深入、更快速的洞察以改变使用模式和系统健康

快速增长是许多公司的梦想,但它也带来了新的挑战。对于SlideShare,它意味着通过以可扩展(读取:自动化)方式密切监视其应用程序和服务基础架构,确保其服务保持吸引力和可用性。

挑战:找到一个解决方案来帮助收集和构建日志以进行近实时分析并共享到多个系统

SlideShare首先查看开源日志收集器。他们想要一些轻量级、快速并且用Ruby编写的东西:由于Slideshare在整个堆栈中使用Ruby,他们希望数据收集器用Ruby编写,以最大限度地减少技术摩擦。开源也很重要,因为他们希望确保他们可以调整软件以满足他们的需求。

解决方案:使用Fluentd在子系统之间构建智能消息总线

SlideShare最终选择了Fluentd,因为它满足了上述要求。此外,Fluentd的插件生态系统让他们相信他们可以扩展Fluentd以使用Slideshare的架构进行演变。“Fluentd擅长流处理,很容易与你选择的任何后端系统集成。”工程经理Casey Brown说。

使用Fluentd作为关键组件,SlideShare实施了一个名为Skynet的新监控系统。Skynet收集应用程序日志和系统指标,并将它们传递给Fluentd,以便可靠地收集和聚合到MongoDB中,其内部仪表板使用MongoDB。

在过去两年,SlideShare扩展了对Fluentd的使用。例如,Fluentd为电子邮件分析提供基础设施支持。Fluentd用于收集有关每周发送的数百万封电子邮件的电子邮件打、,阅读、链接等链接的统计信息。

本文分享自微信公众号 - CNCF(lf_cncf)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-04-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 老司机 iOS 周报 #91 | 2019-11-18

    你也可以为这个项目出一份力,如果发现有价值的信息、文章、工具等可以到 Issues 里提给我们,我们会尽快处理。记得写上推荐的理由哦。有建议和意见也欢迎到 Is...

    用户2932962
  • Flutter轻松实现Adobe全家桶Logo列表

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://www.jianshu.com/p/760906fc2879

    AWeiLoveAndroid
  • 腾讯专家工程师:2020年,前端发展关键词有哪些?

    导语 | 迅速发展的前端开发,在每一年,都为开发者带来了新的关键词。2019年已步入尾声,2020年,前端发展的关键词又将有哪些呢?云加社区特别邀请了腾讯TWe...

    尾尾
  • 2019 TWeb 腾讯前端技术大会精彩回顾

    讲师先是介绍了 flutter, 接着讲了腾讯企鹅辅导上的实践, 包括了安卓, iOS 和 Pad 上的原生应用如何嵌入 flutter 以及原生页面与 flu...

    桃翁
  • 互联网寒冬下那些 Android 开发高手,都在研究什么技术?

    近半年来,很多人都问过我这样的问题。大家对于职业的未来,都有一些迷茫和焦虑,其实我也有,为什么会这样呢?

    Android技术干货分享
  • Flutter实战 | 从 0 搭建「网易云音乐」APP(七、歌词(二))

    本系列可能会伴随大家很长时间,这里我会从0开始搭建一个「网易云音乐」的APP出来。

    Flutter笔记
  • NATS的Dart客户端

    记得是在2015年初,我第一次听到消息代理这个词。我正在攻读硕士学位,关于P2P网络,需要模拟稳定吞吐量的传入消息。那时我不是一个极客,所以解决方法是做一个无限...

    CNCF
  • Flutter100行轻松实现自定义P站和油管的Logo及自由切换Logo功能

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://www.jianshu.com/p/004b7a56bb51

    AWeiLoveAndroid
  • Java 不让 Android 用了! Oracle 与 Google 继续开撕,闹上美最高法院!

    由于安卓系统采用java语言做应用开发,而Java又是属于甲骨文的,甲骨文的母公司就是Oracle. 这样Google 和 Oracle 两家科技巨头一直在为侵...

    用户1564362
  • 在技术洪流中看到我们的态度,第21期技术雷达正式发布!

    技术雷达是ThoughtWorks每半年发布一期的技术趋势报告,它不仅是一份持续的技术成熟度评估,其产生还源于ThoughtWorks另一个更大宏大的使命—IT...

    ThoughtWorks

扫码关注云+社区

领取腾讯云代金券