本文并不分析Open-Falcon的架构或者选用它的原因,官方的文档在这里,虽然还不够完善。不过这也是我写这篇的原因,官方文档并没能把整个部署过程连在一起,而且个别地方有点问题。 安装 下载 wget https://github.com/XiaoMi/open-falcon/releases/download/0.0.5/open-falcon-0.0.5.tar.gz -O open-falcon.tar.gz 解压 mkdir tmp tar -zxvf open-falcon.tar.gz -C . install mysql-server pip install virtualenv #数据库初始化的代码来源于官方文档 git clone https://github.com/open-falcon "api": { "portal": "http://falcon.example.com", # 内网可访问的portal的地址 "uic": "http://uic.example.com
dev.mysql.com/doc/mysql-yum-repo-quick-guide/en/ 初始化数据库 导入表结构 cd /tmp/ && git clone https://github.com/open-falcon /falcon-plus.git cd /tmp/falcon-plus/scripts/mysql/db_schema/ mysql -h 127.0.0.1 -u root -pDevilf@2018 graph-db-schema.sql mysql -h 127.0.0.1 -u root -pDevilf@2018 < 5_alarms-db-schema.sql rm -rf /tmp/falcon-plus / 准备open-falcon二进制包 下载二进制包 wget https://github.com/open-falcon/falcon-plus/releases/download/v0.3/open-falcon-v0.3 以上是在部署open-falcon的环境准备,下一节是启动falcon的后端跟前端。
热卖云产品新年特惠,2核2G轻量应用服务器9元/月起,更多上云必备产品助力您轻松上云
一 Open-Falcon简介 监控系统是整个运维环节,乃至整个产品生命周期中最重要的一环,事前及时预警发现故障,事后提供翔实的数据用于追查定位问题。 Open-Falcon具有以下更优的特性: 强大灵活的数据采集:agent自动发现,支持falcon-agent、snmp、支持用户主动push、用户自定义插件支持; 高水平扩展能力:支持每个周期上亿次的数据采集 二 Open-Falcon架构 2.1 官方架构图 ? 2.2 模块架构 ? 备注:虚线所在的aggregator组件还在设计开发阶段。 所以需要监控的每台服务器,需要安装falcon-agent,falcon-agent是一个golang开发的daemon程序,用于自发现的采集单机的各种数据和指标,这些指标包括但不限于以下几个方面,共计 falcon-agent可参考 : https://github.com/open-falcon/agent 2.3 数据流程图 ?
下面本文将为大家详细介绍Mt-Falcon在原来Open-Falcon的基础上做出的一些改进。 Open-Falcon架构图 ? Mt-Falcon的架构图 ? Mt-Falcon相对Open-Falcon改造后,比较大的功能点有:报警禁用、报警ACK、报警升级、报警任务分布式消费、支持OpenTSDB存储、字符串监控、多条件监控、索引信息存储改造、过期索引信息自动删除且重新上报后会再次重建等 支持Falcon-Agent存活监控 Falcon-Agent会与HBS服务保持心跳连接,利用这个特性来监控Falcon-Agent实例的存活情况,每次心跳连接都去更新Redis中当前Falcon-Agent 另外,启动一个脚本定时获取Redis中所有的Falcon-Agent对应的时间戳信息,并与当前时间对应的时间戳做比对,如果当前时间对应的时间戳与Falcon-Agent的时间戳的差值大于5分钟,则认为该 Falcon-Agent跪掉了,然后触发一系列告警。
启动后端 准备好open-falcon的工作目录 export FALCON_HOME=/application/servers/ export WORKSPACE=$FALCON_HOME/open-falcon mkdir -p $WORKSPACE 解压open-falcon的二进制包至工作目录 tar -zxvf open-falcon-v0.3.tar.gz -C $WORKSPACE 修改open-falcon /open-falcon start [falcon-graph] 11114 [falcon-hbs] 11125 [falcon-judge] 11134 [falcon-transfer] 11137 [falcon-nodata] 11147 [falcon-aggregator] 11157 [falcon-agent] 11173 [falcon-gateway] 11177 [falcon-api /open-falcon restart api [falcon-api] down [falcon-api] 37167 以上就是open-falcon的前端和后端的部署方式,这只是简单的单机版安装,
三、 架构 [X2yzf3waxRFwHXBkyFXPE7TH5wnQiWyn.png] 每台服务器,都有安装falcon-agent,falcon-agent是一个golang开发的daemon程序 另外,falcon-agent提供了一个proxy-gateway,用户可以方便的通过http接口,push数据到本机的gateway,gateway会帮忙高效率的转发到server端。 transfer的数据来源,一般有三种: 1、falcon-agent采集的基础监控数据 2、falcon-agent执行用户自定义的插件返回的数据 3、client library:线上的业务系统,都嵌入使用了统一的 open-falcon在这块,投入了较大的精力。我们把数据按照用途分成两类,一类是用来绘图的,一类是用户做数据挖掘的。 对于绘图的数据来讲,查询要快是关键,同时不能丢失信息量。 运维架构服务监控Open-Falcon(http://www.roncoo.com/course/view/ae1dbb70496349d3a8899b6c68f7d10b)
/falcon-plus.git 1.9 初始化数据库 cd $GOPATH/src/github.com/open-falcon/falcon-plus/scripts/mysql/db_schema 1.10 编译源码并打包 步骤: 1)进入本地源码路径下 cd $GOPATH/src/github.com/open-falcon/falcon-plus/ “open-falcon-v0.2.0.tar.gz”。 /falcon-plus/”路径下。 /open-falcon start 可以用下面的命令检查各个模块的启动情况 ./open-falcon check 更多命令的用法(命令的例子是启动agent模块) # .
open-falcon的agent用于采集机器负载监控指标,比如cpu.idle、load.1min、disk.io.util等等,每隔60秒push给Transfer。 agent项目之前是一个独立项目名字叫falcon-eye ,其自带有web页面来自于linux-dash项目。 参考:https://book.open-falcon.org/zh/quick_install/graph_components.html 客户机上只需要配置启动agent即可: [root@IDC-Admin -02 ~]# cat /data/work/open-falcon/agent/cfg.json { "debug": true, "hostname": "", "ip": /plugin", "git": "https://github.com/open-falcon/plugin.git", "logs": ".
falcon 简单的接口 实现代码 # /usr/local/bin python # coding="utf-8" # __author__="ErrolYan" # __Describe__="web_server " import os import io,wave import argparse import librosa.filters import falcon import scipy import
一、Open-Falcon介绍: 监控系统业界有很多杰出的开源监控系统。 因此,从各位SRE、SA、DEVS的使用经验和反馈出发,结合业界的一些大的互联网公司做监控,用监控的一些思考出发,设计开发了小米的监控系统:open-falcon。 二、特点: 1、强大灵活的数据采集:自动发现,支持falcon-agent、snmp、支持用户主动push、用户自定义插件支持、opentsdb data model like(timestamp、endpoint
Stealth Falcon黑客组织,自2012年以来一直活跃,其主要目标是中东的政治活动家和记者。citizen lab机构在2016年发表了一份针对某一网络攻击的分析报告。 2019年1月,路透社发表了一份关于“Raven计划”的调查报告,该计划目标与Stealth Falcon相同。 根据这两份关于同一目标和攻击的报告可以看出Stealth Falcon和Raven计划实际上是同一个群体。 ? 这些相似之处证明了win32/stealthfelcon属于Stealth Falcon黑客组织。 Win32/StealthFalcon后门是在2015年创建的,允许攻击者远程控制受损的计算机。 结论 我们发现并分析了一个后门,它采用了一种罕见的C&C通信技术,使用Windows BITS以及一些先进的技术来阻碍检测和分析,代码和基础框架与Stealth Falcon先前已知的恶意软件相似。
/open-falcon 2 [root@falcon open-falcon]# git clone https://github.com/open-falcon/falcon-plus.git /github.com/open-falcon/falcon-plus/ 2 [root@falcon falcon-plus]# go get github.com/open-falcon/rrdlite =/data/falcon 2 [root@falcon ~]# export WORKSPACE=$FALCON_HOME/open-falcon 3 [root@falcon ~]# mkdir falcon/open-falcon/ 3 [root@falcon open-falcon]# scp -r agent/ root@172.24.10.216:/data/falcon/open-falcon / 4 [root@falcon open-falcon]# scp -r open-falcon root@172.24.10.216:/data/falcon/open-falcon/ 6.3
cd /tmp/ && git clone https://github.com/open-falcon/falcon-plus.git cd /tmp/falcon-plus/scripts/mysql /falcon-plus/releases/download/v0.2.1/open-falcon-v0.2.1.tar.gz 六、 创建工作目录 export FALCON_HOME=/home/work /open-falcon check falcon-graph UP 53007 falcon-hbs UP 53014 falcon-judge UP 53020 falcon-transfer UP 53026 falcon-nodata 53044 falcon-gateway UP 53050 falcon-api UP 53056 falcon-alarm
nginx状态码监控 #falcon的agent部署目录 [root@nginxtest scripts]# pwd /home/falcon/scripts [root@nginxtest scripts GAUGE\",\"tags\": \"code=$code,nginx_cluster=nginxtest\"}]" http://127.0.0.1:1988/v1/push 调用数据 在open-falcon 参考文档 http://book.open-falcon.org/zh/usage/data-push.html http://book.open-falcon.org/zh/philosophy/tags-and-hostgroup.html https://github.com/GuyCheung/falcon-ngx_metric ---- etcd监控 action1 #!
counterType: 是Open Falcon定义的数据类型,取值只能是COUNTER或者GAUGE二选一,前者表示该数据采集项为计时器类型,后者表示其为原值 (注意大小写) - GAUGE:即用户上传什么样的值
调研了一下开源的监控系统,最终选择了open-falcon。 从以下列表可以了解到各监控系统都有他在特定场景下的优势,如果以时间进行分类可以了解到新起之秀譬如open-falcon和prometheus设计思路都很像。 但最终选择open-falcon的原因主要还是在当前笔者所在的场景下解决了一些痛点、譬如大量数据上报页面展示渲染速度很快、模块化开发、有丰富的插件和中文文档等。 image.png 关于open-falcon的安装与使用文档见(http://book.open-falcon.org/zh_0_2/api/)
下载编译好的二进制包并解压 wget https://github.com/open-falcon/falcon-plus/releases/download/v0.2.1/open-falcon-v0.2.1 /open-falcon start # 检查所有模块的启动状况 . /open-falcon check falcon-graph UP 3020 falcon-hbs UP 3030 falcon-judge UP 3039 falcon-transfer UP 3045 falcon-agent UP 3067 falcon-gateway UP 3073 falcon-api
扫码关注腾讯云开发者
领取腾讯云代金券