专栏首页CNCFSlideShare案例研究:使用Fluentd呈现统一数据

SlideShare案例研究:使用Fluentd呈现统一数据

SlideShare于2006年10月成立,旨在促进在线知识共享,已发展成为世界上最大的共享演示文稿和其他内容的社区。在2013年第四季度,SlideShare平均每月有6000万独立访问者和2.15亿页面浏览量,用户查看演示文稿、信息图表、文档、视频和PDF。

用几句话:

  • 公司:Slideshare
  • 地点:加利福尼亚州旧金山和印度新德里
  • 用例概述:
    • Fluentd部署在数百台服务器上,收集应用程序和系统指标。
    • 几个自定义插件将数据发送到AMQP、HDFS、MongoDB、Ganglia等。
    • 充分利用Fluentd的可扩展架构。
    • 这是Slideshare自己对其数据架构的描述

http://engineering.slideshare.net/2014/04/skynet-project-monitor-scale-and-auto-heal-a-system-in-the-cloud/

目标:更深入、更快速的洞察以改变使用模式和系统健康

快速增长是许多公司的梦想,但它也带来了新的挑战。对于SlideShare,它意味着通过以可扩展(读取:自动化)方式密切监视其应用程序和服务基础架构,确保其服务保持吸引力和可用性。

挑战:找到一个解决方案来帮助收集和构建日志以进行近实时分析并共享到多个系统

SlideShare首先查看开源日志收集器。他们想要一些轻量级、快速并且用Ruby编写的东西:由于Slideshare在整个堆栈中使用Ruby,他们希望数据收集器用Ruby编写,以最大限度地减少技术摩擦。开源也很重要,因为他们希望确保他们可以调整软件以满足他们的需求。

解决方案:使用Fluentd在子系统之间构建智能消息总线

SlideShare最终选择了Fluentd,因为它满足了上述要求。此外,Fluentd的插件生态系统让他们相信他们可以扩展Fluentd以使用Slideshare的架构进行演变。“Fluentd擅长流处理,很容易与你选择的任何后端系统集成。”工程经理Casey Brown说。

使用Fluentd作为关键组件,SlideShare实施了一个名为Skynet的新监控系统。Skynet收集应用程序日志和系统指标,并将它们传递给Fluentd,以便可靠地收集和聚合到MongoDB中,其内部仪表板使用MongoDB。

在过去两年,SlideShare扩展了对Fluentd的使用。例如,Fluentd为电子邮件分析提供基础设施支持。Fluentd用于收集有关每周发送的数百万封电子邮件的电子邮件打、,阅读、链接等链接的统计信息。

本文分享自微信公众号 - CNCF(lf_cncf),作者:CNCF

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-04-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Fluentd发布了一个新的入门视频

    我们很高兴地宣布由Nana Janashia为Fluentd制作的一个新的入门视频,它概述了日志记录的挑战、用例以及Fluentd如何工作。

    CNCF
  • CNCF宣布Fluentd毕业

    加利福尼亚州旧金山 - 2019年4月11日 - 支持Kubernetes®和Prometheus™等开源技术的CNCF®(Cloud Native Compu...

    CNCF
  • K8s Jobs/Cron Jobs入门教程,轻松搞定批处理

    Kubernetes jobs主要是针对短时和批量的工作负载。它是为了结束而运行的,而不是像deployment、replicasets、replication...

    CNCF
  • 专栏 | 后RCNN时代的物体检测及实例分割进展

    机器之心
  • Jmeter系列(59)- 详解 while 控制器

    和 java 里面的 while 循环一样,将一直运行其所有子项,直到条件为 false 为止

    小菠萝测试笔记
  • Xcode - 升级后模拟器无法响应电脑键盘

    君赏
  • 利用RNN训练Seq2Seq已经成为过去,CNN才是未来?

    翻译 | AI科技大本营(rgznai100) 参与 | Shawn、周翔 当前 seq2seq (序列到序列)学习惯用的方法是,借助 RNN(循环神经网络)将...

    AI科技大本营
  • GitHub:目标检测最全论文集锦

    目标检测(Object Detection)可以识别一幅图像中的多个物体,定位不同物体的同时(边界框),贴上相应的类别。简单来说,解决了what和where问题...

    Amusi
  • 利用 RNN 训练 Seq2Seq 已经成为过去,CNN 才是未来?

    FAIR (Facebook AI Research)则提出了一种完全基于 CNN (卷积神经网络)的架构。相比循环模型,其训练过程中所有元素的计算都可以完全并...

    AI科技大本营
  • 一文读懂遗传算法工作原理(附Python实现)

    几天前,我着手解决一个实际问题——大型超市销售问题。在使用了几个简单模型做了一些特征工程之后,我在排行榜上名列第 219 名。

    小莹莹

扫码关注云+社区

领取腾讯云代金券