前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Kibana常见问题分析与排查

Kibana常见问题分析与排查

原创
作者头像
空洞的盒子
修改2024-04-11 08:48:46
2K3
修改2024-04-11 08:48:46
举报
文章被收录于专栏:JD的专栏JD的专栏

Kibana介绍

  • Kibana 是一款开源的数据分析和可视化平台,它是 Elastic Stack 成员之一,设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。使用者可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。
  • Kibana 可以使大数据通俗易懂。它很简单,基于浏览器的界面便于用户快速创建和分享动态数据仪表板来追踪 Elasticsearch 的实时数据变化。

问题实例分析

场景1.kibana的discover页面报404错误

  • 问题背景:用户新建集群后登录kibana点击discover功能,kibana页面报错显示server error。
  • 排查思路:F12打开浏览器调试模式,返现discover调用的接口返回404错误。
  • 问题原因:APM采集器会在elasticsearch集群中生成apm开头的索引,会自动生成apm-*(或apm开头)的索引模式。该索引模式下对应的索引一般没有数据,所以导致discover在从索引模式中加载数据时无法找到实际数据;
  • 解决办法: 在kibana的Stack management中找到Kibana标签下的index patterns(索引模式)创建一个实际存在且有数据的索引模式,并设置为默认索引模式,即可解决该问题。

场景2.kibana堆栈监控无法打开

  • 分析思路:堆栈监控作为kibana自带的ES基础监控,其中包含了集群、节点、索引维度的基础监控。这些指标均来自于对es集 群的采集。遇到堆栈监控问题优先排查用户的集群是否正常。
  • 问题背景:kibana堆栈监控中的监控指标均采集于ES集群。
  • 问题原因:大部分是由于ES集群负载过高节点压力过大,导致kibana请求ES鉴权失败。或者集群状态异常。
  • 解决办法:优先在cerebro上检查集群状态,集群负载,基于监控分析集群业务压力是否影响到了kibana请求ES。

例如:集群出现熔断,集群压力过大,导致采集器无法采集到集群的指标数据并写入elasticsearch。Kibana堆栈监控在请求elasticsearch集群的监控索引时,也无法请求到数据,只接收到elasticsearch集群返回的熔断信息。

场景3.kibana无法登录

Case1:登录密码不对

排查方法:根据es集群ID,排查相应集群日志,日志中反馈密码错误。协助用户确认正确密码。

Case2:用户基于kibana公网地址访问kibana,提示无权限。

排查方法:公网访问地址一般会添加白名单。需要确认用户配置在白名单中的出口IP是否正确,如果不确定自身出口IP,可以在www.ip138.com中查询出口ip。

Case3:用户访问kibana提示timeout或504错误

排查方法:一般此类情况主要是由于es集群节点负载过高,导致kibana请求es鉴权出现超时。

Case4:用户访问kibana提示data too large 熔断。

排查方法:通过监控+ cerebro+集群运行日志来定位es集群是否有熔断,导致kibana请求es的时候出现熔断的情况。

Case5:kibana节点磁盘使用率100%导致kibana无法登录。

排查方法:如果Kibana长期运行在低配节点,例如1C2G,2C2G规格的CVM实例上。长期运行导致服务长时间占用CVM句柄资源无法释放,需要重启kibana服务强制释放资源。重启后服务即可恢复正常。

场景4.kibana账户与权限配置

a.如何在kibana上创建只读账户。

b.使用elastic账户创建子账户后xx功能无法使用。

c.kibana中创建的账户能否在代码中配置使用。

问题解读:在es中elastic账户是超级管理员账户。Kibana使用的账户体系也是基于ES的账户体系。账户作为登录es或者kibana的凭证,所拥有的的权限与自身所绑定的role有密切关系。在kibana中配置User的Role已经细化到了索引维度与kibana的功能模块维度。在kibana中使用elastic管理员账户创建的子账号,根据相应role的不同,均可用于相应功能的访问或者配置于代码中请求es。遇到此类问题优先排查子账户上配置的Role权限。

场景5:Kibana导出CSV提示 request entity too large

  • 问题原因:kibana默认导出csv文件大小限制是10M,超出限制就会报这个错误。
  • 解决办法:需要在kibana.yml中调整xpack.reporting.csv.maxSizeBytes参数的大小。

注:kibana作为nodejs应用只适合少量数据导出,不适合做大量数据的问题导出,大量数据的导出建议使用scroll游标分页形式自行开发逻辑进行导出或使用logstash工具进行数据导出操作。

我正在参与2023腾讯技术创作特训营第三期有奖征文,组队打卡瓜分大奖!

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Kibana介绍
  • 问题实例分析
    • 场景1.kibana的discover页面报404错误
      • 场景2.kibana堆栈监控无法打开
        • 场景3.kibana无法登录
          • Case1:登录密码不对
          • Case2:用户基于kibana公网地址访问kibana,提示无权限。
          • Case3:用户访问kibana提示timeout或504错误
          • Case4:用户访问kibana提示data too large 熔断。
          • Case5:kibana节点磁盘使用率100%导致kibana无法登录。
        • 场景4.kibana账户与权限配置
          • a.如何在kibana上创建只读账户。
          • b.使用elastic账户创建子账户后xx功能无法使用。
          • c.kibana中创建的账户能否在代码中配置使用。
        • 场景5:Kibana导出CSV提示 request entity too large
        相关产品与服务
        Elasticsearch Service
        腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务,它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档