首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >云数据库-elasticsearch

云数据库-elasticsearch

原创
作者头像
二木
修改2022-04-27 10:13:16
7880
修改2022-04-27 10:13:16
举报
文章被收录于专栏:上云实践案例上云实践案例

需求背景

我们系统使用了自研网关, 包括了api网关和准入网关,分别用来解决服务鉴权和用户身份鉴权。网关的访问日志存原先是自己部署es来存储,我们这次直接用腾讯云es来收集日志。

云es优势

  1. 弹性扩容伸缩:根据业务需求自定义类型、自定义节点数、自定义容量大小、存储时间等
image.png
image.png
  1. 集成可视化:购买es可直接按需生产kibana,可视化es数据,而不需要自己额外安装
image.png
image.png
  1. 打通配套组件:logstash、beats 配套工具可按需创建。
image.png
image.png

插件问题

网关使用filebeat收集日志,网关日志格式是csv, 直接导入es不支持,因此网关引入了一个第三方插件elasticsearch-ingest-csv,来解决csv文件转换问题。 由于该插件比较小众,腾讯云的es默认插件不不包括,但又不支持自定义插件安装,最后又找了万能的小助手,小助手表示自定义插件还在灰度中不支持, 最后我通过内部技术论坛发帖咨询,相关同事才帮忙开通的自定义插件安装,解决了插件问题。

image.png
image.png

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 需求背景
  • 云es优势
  • 插件问题
相关产品与服务
文件存储
文件存储(Cloud File Storage,CFS)为您提供安全可靠、可扩展的共享文件存储服务。文件存储可与腾讯云服务器、容器服务、批量计算等服务搭配使用,为多个计算节点提供容量和性能可弹性扩展的高性能共享存储。腾讯云文件存储的管理界面简单、易使用,可实现对现有应用的无缝集成;按实际用量付费,为您节约成本,简化 IT 运维工作。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档