专栏首页腾讯云Elasticsearch Service从对象存储服务同步数据到Elasticsearch
原创

从对象存储服务同步数据到Elasticsearch

AWS的S3, 阿里云的OSS, 腾讯云的COS, 都是常见的对象存储服务。对象存储服务面向非结构化数据,支持通过HTTP/HTTPS协议访问,支持存入文本、图片、视频等多种类型的数据。

实际应用中,部分云计算产品会把业务日志存进对象存储中,如腾讯云容器服务的容器运行日志,腾讯云负载均衡服务的实例访问日志等。日志虽然存进相对廉价的对象存储bucket中了,但是查看或检索起来比较麻烦,还是把日志存进Elasticsearch,通过Kibana进行检索比较靠谱。

本文利用之前自行开发的logstash-input-cos插件,将存放在腾讯云对象存储服务COS中的日志,通过logstash同步到Elasticsearch中,以实现日志的快速查看与检索。

logstash-input-cos插件

logstash-input-cos插件的github地址:https://github.com/gaobinlong/logstash-input-cos.git

安装logstash-input-cos插件

拉取logstash-input-cos插件:

git clone https://github.com/gaobinlong/logstash-input-cos.git

进入logstash的解压目录,执行:

./bin/logstash-plugin install ~/logstash-input-cos/logstash-input-cos-0.0.1-java.gem

执行结果为:

Validating /usr/local/githome/logstash-input-cos/logstash-input-cos-0.0.1-java.gem
Installing logstash-input-cos
Installation successful

编写配置文件

编写配置文件cos.logstash.conf

input {
    cos {
        "endpoint" => "cos.ap-guangzhou.myqcloud.com" # COS访问域名
        "access_key_id" => "*****" # 腾讯云账号secret id
        "access_key_secret" => "****" # 腾讯云账号secret key
        "bucket" => "******" # 腾讯云COS bucket
        "region" => "ap-guangzhou" # 腾讯云COS bucket所在地域
        "appId" => "**********" # 腾讯云账号appId
        "interval" => 60 # 数据同步时间间隔,每60s拉取一次数据
    }
}

output {
    elasticsearch {
    hosts => ["http://172.16.0.39:9200"] # ES endpoint地址
    index => "access.log" # 索引
 }
}

执行logstash

./bin/logstash -f cos.logstash.conf

通过kibana查看日志

通过kibana查看从COS中同步到ES中的日志:

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • logstash input插件开发

    logstash作为一个数据管道中间件,支持对各种类型数据的采集与转换,并将数据发送到各种类型的存储库,比如实现消费kafka数据并且写入到Elasticsea...

    bellen
  • 记一次在线跨集群迁移ES数据

    业务所有的服务器日志都是通过filebeat进行采集,然后写入到一个公共的ES集群中。因为当前使用的集群无法继续扩容了并且版本也较低(5.6.4), 所以需要把...

    bellen
  • High cardinality下对持续写入的Elasticsearch索引进行聚合查询的性能优化

    最近使用腾讯云Elasticsearch Service的用户提出,对线上的ES集群进行查询,响应越来越慢,希望能帮忙优化一下。

    bellen
  • 移动端重构实战系列5——form元素

    form 大概要实现的效果如下图(具体demo可见sheral form): ? 粗略一看,跟line list差不多,好像可以直接套用,但是深究起来还是有那么...

    IMWeb前端团队
  • Android SystemUI(一):图文并茂的介绍 :D

    菜天哥哥
  • 移动端重构实战系列5——form元素

    粗略一看,跟line list差不多,好像可以直接套用,但是深究起来还是有那么些不同的,大概有以下几点用户体验差别:

    IMWeb前端团队
  • 本地搭建外网访问网站,.htaccess实现网站升级时重定向到友好页面

    准备更换网站服务器,在本地搭了一个友好页面,也就是维护提示页面。期间遇到了一些问题,记录一下:

    德顺
  • Codeforces Round #531 (Div. 3) E. Monotonic Renumeration(思维+差分数组)

    题目链接:http://codeforces.com/contest/1102/problem/E

    Ch_Zaqdt
  • 【趣味】数据挖掘(6)——借水浒传故事,释决策树思路

    决策树 (又称判定树,Decision Tree)是硕、博士生数据挖掘课程要点和难点,教学实践表明,这一章需要数学基础知识多,难得有趣。明知是难点,偏向难...

    机器学习AI算法工程
  • 前端|event.target与event.currentTarget的区别

    event.target事件和event.currentTarget事件,经常被人们混淆。因为它们两个有时候的返回值是完全一样的,因此很具有迷惑性。然而如果真的...

    算法与编程之美

扫码关注云+社区

领取腾讯云代金券