从对象存储服务同步数据到Elasticsearch

AWS的S3, 阿里云的OSS, 腾讯云的COS, 都是常见的对象存储服务。对象存储服务面向非结构化数据,支持通过HTTP/HTTPS协议访问,支持存入文本、图片、视频等多种类型的数据。

实际应用中,部分云计算产品会把业务日志存进对象存储中,如腾讯云容器服务的容器运行日志,腾讯云负载均衡服务的实例访问日志等。日志虽然存进相对廉价的对象存储bucket中了,但是查看或检索起来比较麻烦,还是把日志存进Elasticsearch,通过Kibana进行检索比较靠谱。

本文利用之前自行开发的logstash-input-cos插件,将存放在腾讯云对象存储服务COS中的日志,通过logstash同步到Elasticsearch中,以实现日志的快速查看与检索。

logstash-input-cos插件

logstash-input-cos插件的github地址:https://github.com/gaobinlong/logstash-input-cos.git

安装logstash-input-cos插件

拉取logstash-input-cos插件:

git clone https://github.com/gaobinlong/logstash-input-cos.git

进入logstash的解压目录,执行:

./bin/logstash-plugin install ~/logstash-input-cos/logstash-input-cos-0.0.1-java.gem

执行结果为:

Validating /usr/local/githome/logstash-input-cos/logstash-input-cos-0.0.1-java.gem
Installing logstash-input-cos
Installation successful

编写配置文件

编写配置文件cos.logstash.conf

input {
    cos {
        "endpoint" => "cos.ap-guangzhou.myqcloud.com" # COS访问域名
        "access_key_id" => "*****" # 腾讯云账号secret id
        "access_key_secret" => "****" # 腾讯云账号secret key
        "bucket" => "******" # 腾讯云COS bucket
        "region" => "ap-guangzhou" # 腾讯云COS bucket所在地域
        "appId" => "**********" # 腾讯云账号appId
        "interval" => 60 # 数据同步时间间隔,每60s拉取一次数据
    }
}

output {
    elasticsearch {
    hosts => ["http://172.16.0.39:9200"] # ES endpoint地址
    index => "access.log" # 索引
 }
}

执行logstash

./bin/logstash -f cos.logstash.conf

通过kibana查看日志

通过kibana查看从COS中同步到ES中的日志:

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏田超学前端

微信小程序 navigator 组件跳转小程序或者小游戏(二)

其实,也就是只能获得固定的值,为什么这么说呢,因为我就踩了坑,一个巨大到用了我一下午时间还没整明白的坑。。汗!

4554
来自专栏自由而无用的灵魂的碎碎念

Mac快速上手指南

上周刚入手了2017版MacBookPro,预装macOS High Sierra。第一次接触Mac系统,经过一周的使用,简单总结下与Windows相比最常用的...

1563
来自专栏互联网杂技

入门Webpack(上)

写在前面的话 阅读本文之前,先看下面这个webpack的配置文件,如果每一项你都懂,那本文能带给你的收获也许就比较有限,你可以快速浏览或直接跳过;如果你和十天前...

3219
来自专栏卡少编程之旅

React项目的服务端渲染改造(koa2+webpack3.11)

4267
来自专栏守候书阁

[杂谈]了解一些额外知识,让前端开发锦上添花

在前端学习里面,很多人都是注重学习代码(html,css,js)。或者是一些框架,库(jquery,vue,react),或者是各种工具(webpack,gul...

1063
来自专栏软件测试经验与教训

SoapUI测试WS接口实战

4339
来自专栏别先生

Postman 安装及使用入门教程(我主要使用接口测试)

1、Postman 安装及使用入门教程(我主要使用接口测试) Postman的English官网:https://www.getpostman.com/ chr...

1974
来自专栏企鹅号快讯

10条让web app更快的HTML5最佳实践

简介 本文重点关注如何充分利用HTML5和CSS让web app运行更加流畅. Tip 1: 使用web storage代替cookie cookie最大的缺陷...

2196
来自专栏ASP.NET MVC5 后台权限管理系统

ASP.NET MVC5+EF6+EasyUI 后台管理系统(76)-微信公众平台开发-网页授权

 前言 网页授权是:应用或者网站请求你用你的微信帐号登录,同意之后第三方应用可以获取你的个人信息 网上说了一大堆参数,实际很难理解和猜透,我们以实际的代码来...

2898
来自专栏云飞学编程

Python爬虫技巧!网站有反爬?我们有selenium!

框架底层使用JavaScript模拟真实用户对浏览器进行操作。测试脚本执行时,浏览器自动按照脚本代码做出点击,输入,打开,验证等操作,就像真实用户所做的一样,从...

4711

扫码关注云+社区

领取腾讯云代金券