我有一个数据文件，我想把这些数据插入到elastic search- kibana。有没有什么自动化的方法可以让我这样做呢？
在将数据文件插入到Elasticsearch-Kibana中，可以使用以下自动化方法：
- 使用Logstash：Logstash是一个开源的数据处理工具，可用于从各种来源（如文件、数据库、消息队列）收集、转换和加载数据到Elasticsearch。您可以配置Logstash来读取您的数据文件，并将其发送到Elasticsearch进行索引。推荐的腾讯云产品是TencentDB for Elasticsearch，具有高可用、高性能和易扩展的特点。您可以访问TencentDB for Elasticsearch了解更多信息。
- 使用Elasticsearch的API：Elasticsearch提供了丰富的RESTful API，您可以使用它们来直接将数据插入到Elasticsearch中。您可以编写一个脚本或使用编程语言（如Python、Java等）来调用Elasticsearch的API，将数据批量插入到索引中。推荐的腾讯云产品是TencentDB for Elasticsearch，您可以在TencentDB for Elasticsearch了解到如何使用该产品。
- 使用Elasticsearch的Bulk API：Elasticsearch的Bulk API允许您一次性插入大量的数据。您可以将数据文件转换为适合Bulk API格式的批量操作请求，然后通过HTTP请求将其发送到Elasticsearch进行插入。推荐的腾讯云产品是TencentDB for Elasticsearch，您可以在TencentDB for Elasticsearch了解到如何使用该产品。
无论您选择哪种方法，都需要确保您的数据文件符合Elasticsearch的数据格式要求，并配置正确的索引映射以确保正确的数据存储和检索。
相关·内容
我有一个数据文件，我想把这些数据插入到elastic search- kibana。有没有什么自动化的方法可以让我这样做呢？ 链接- deliver-events-to-s3-7-2019-06-04-03-49-01-5df38ba9-86c0-4860-b51f-2c0d30132d6f
浏览 23提问于2019-06-14得票数 0
回答已采纳
4回答
我已经建立了一个测试，它使用弹性和Kibana5.1。
我可以通过curl插入一个测试条目：
curl -XPOST "https://mytestservicedomain.amazonaws.com/testindex/testtype" -d "{\"foo\":\"bar\"}"
并验证它是通过Kibana的Dev工具插入的：
请求：
GET _search
{
"query": {
"match_all": {}
}
}
响应：
{
"_index
浏览 13提问于2017-02-05得票数 7
我已经尝试在环境下的Kibana容器中使用ELASTIC_PASSWORD_FILE。然而，它看起来好像不能读取值。有什么建议吗？ version: "3.9"
services:
kibana:
image: docker.elastic.co/kibana/kibana:7.14.0
secrets:
- es_password
environment:
- ELASTIC_PASSWORD=/run/secrets/es_password
volumes:
- type: bind
浏览 69提问于2021-08-14得票数 0
我在麦克身上。尝试运行弹性搜索使用码头桌面。下面是我运行的命令。在Kibana运行查询没有问题，问题是我无法通过localhost:9200.连接到弹性搜索救命啊！！
$docker network create elastic
$docker pull docker.elastic.co/elasticsearch/elasticsearch:8.1.2
$docker run --name es-node01 --net elastic -p 9200:9200 -p 9300:9300 -t docker.elastic.co/elasticsearch/e
浏览 7提问于2022-04-25得票数 1
回答已采纳
1回答
我正在尝试将我的节点应用程序日志发送到fluentd到elasticsearch到kibana，但在将logs与elasticsearch连接到docker时遇到了问题。我想把这堆东西装进码头。我已经附上了文件夹结构和共享相关的文件。以下是文件夹结构：
误差
Could not communicate to Elasticsearch, resetting connection and trying again. Connection refused - connect(2) for 172.20.0.2:9200 (Errno::ECONNREFUSED)
fluent.conf:
浏览 19提问于2022-11-02得票数 1
1回答
我有一个由elasticsearch & kibana组成的docker-compose.yml文件。我想在docker-come.yml文件中添加APM服务。有办法将apm服务器配置为.yml文件吗？，我在上读到，但这不是我想要的，因为我正在使用docker来完成这个任务。
我的船坞-撰写文件：
version: '3.8'
services:
elasticsearch:
container_name: elasticsearch
image: docker.elastic.co/elasticsearch/elasticsearch:7.13.
浏览 22提问于2021-06-01得票数 3
回答已采纳
我使用EFK (elastic，fluentd，kibana)来分析我的服务器日志。如果出现特殊情况(例如日志异常)，我想让它向我发送通知
我发现它在kibana和elastic中被命名为监视或提醒，但由于我在我的服务器上使用elastic的基本模式，并且我没有许可证，我不能使用它。
有没有办法启用它或者其他有用的工具来完成这项工作？
谢谢
浏览 3提问于2020-05-23得票数 0
据我所知，kibana和opentsdb都可以与Elastic logstash kibana (ELK)堆栈一起使用。
OpenTSDB提供了一个内置的、简单的用户界面，用于选择一个或多个指标和标签，以生成图像形式的图形。或者，可以使用HTTP API将OpenTSDB绑定到外部系统，如监控框架、仪表板、统计信息包或自动化工具。每个(时间序列守护进程)TSD使用开源数据库HBase来存储和检索时间序列数据。
Kibana还可以用于绘制访问日志和自定义日志的指标，opentsdb在系统中有何帮助？
浏览 14提问于2016-09-22得票数 0
回答已采纳
2回答
我正在尝试通过Minikube在Kubernetes中实现一个ElasticStack。我刚刚开始，因为我基本上是从头开始写所有东西来更好地理解K8s，而且因为Elastic提供的yml没有提供任何解释为什么要做什么，所以我在做我自己的事情。
我遇到的问题是，我的Kibana-pod无法与我的ElasticSearch-pod通信，尽管我已经在我的pod上设置了必要的服务和端口。
奇怪的是
kubectl port-forward services/elastic-http 9200
工作完美，让我可以从我的ElasticSearch pod中获取信息。然而，当我通过进入一个pod时
kube
浏览 32提问于2019-08-22得票数 0
我们有没有办法在Dockerfile中为Kibana设置ELASTICSEARCH_URL？这是我的Dockerfile，但可能不正确，所以Kibana一直显示在localhost上找不到elasticsearch的日志:9200
FROM docker.elastic.co/kibana/kibana:6.0.1
ARG ELASTICSEARCH_URL=https://myurl.com
EXPOSE 80
浏览 0提问于2019-08-20得票数 0
2回答
基班纳船坞外弹性搜索组合
、、、
我有下面的停靠者撰写文件。我想把另一台机器里的弹性搜索和基巴纳连接起来。
version: '3.3'
services:
kibana_ci:
image: docker.elastic.co/kibana/kibana:6.3.2
environment:
ELASTICSEARCH_URL: http://my_domain:9200
container_name: kibana_ci
command: kibana
ports:
- "5601:5601"
但是基巴纳一直试图连接到h
浏览 0提问于2018-09-20得票数 2
回答已采纳
是否可以在不使用elastic search的情况下将kibana前端与mongodb后端一起使用？
我正在使用logstash解析日志并将其存储在mongodb中，并且希望使用kibana来显示数据？
如果没有，有没有实现kibana+mongodb的替代方案？
浏览 1提问于2014-06-17得票数 14
回答已采纳
我正试图在码头环境中设置一个麋鹿堆栈，但到目前为止，我对Logstash没有任何运气。我有基巴纳+弹性跑步和相互联系，但无法使日志储存的工作。首先，我尝试过不同的配置和github repos，但似乎没有什么能奏效。
我得到以下错误：
:exception=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadResponseCodeError，logstash.licensechecker.licensereader试图恢复与已死ES实例的连接，但得到了一个错误：{:url=>"，：message=>“获得响
浏览 10提问于2022-09-12得票数 1
我使用了以下过程来安装Elastic和Kibana 8 RC2：
# create the data directory on host for persistence
mkdir -p /data/elasticsearch/data
chmod 777 -R /data/elasticsearch/data
# create the elastic network
docker network create elastic
# run elastic search in background with data persistence in a single node configur
浏览 11提问于2022-02-21得票数 1
回答已采纳
我正在使用kibana-7.1.1。我希望它是互动的。我有一个timestamp字段，其中字段类型是纪元格式。 但是我想以日期格式过滤数据。 我觉得我必须以日期格式插入数据，而不是以纪元格式插入。有没有其他方法可以插入纪元格式的数据(因为我的原始数据文件就是这种格式)。但是我仍然可以在日期格式上使用过滤器吗？
浏览 32提问于2019-06-13得票数 1
2回答
我正在尝试使用我看到的中的本地elasticsearch (容器)运行use kibana控制台
docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:6.2.2
这让我可以在一个快速的一行程序中运行社区版。
查看时，我只能看到
docker pull docker.elastic.co/kibana/kibana:6.2.2
用run替换pull，它会查找x-pack (我认为这意味着不是社区)，但找不
浏览 2提问于2018-03-04得票数 25
回答已采纳
我已经遵循了这个指南https://www.elastic.co/guide/en/cloud-on-k8s/current/k8s-deploy-eck.html，然后应用这个清单： ---
apiVersion: elasticsearch.k8s.elastic.co/v1
kind: Elasticsearch
metadata:
name: elasticsearch
spec:
version: 7.5.1
nodeSets:
- name: default
count: 3
config:
node.master: true
浏览 17提问于2020-12-03得票数 0
回答已采纳
所以我安装了这个Elasticsearch，在使用logstash插入数据时，用kibana将它们可视化。
conf文件中的所有内容都会被注释，因此它使用的是相对于弹性搜索文件夹的默认文件夹。
1/ I store data with logstash
2/ I look at them with kibana
3/ I close the instance of elastic seach, kibana and logstash
4/ I DELETE their folders
5/ I re-extract everything and reconfigure them
6/ I go
浏览 11提问于2015-10-23得票数 42
回答已采纳
我正在尝试用docker.elastic.co/kibana/kibana:7.0.1连接amazon/opendistro-for-elasticsearch:0.9.0，下面是我的docker compose。我刚接触弹性堆栈，
version: '3'
services:
application:
image: amazon/opendistro-for-elasticsearch:0.9.0
environment:
- CLUSTER_NAME=cluster
- "ES_JAVA_OPTS=-Xms512m -X
浏览 1提问于2019-05-14得票数 0
我使用cURL命令导出了Kibana仪表板：
curl -XGET localhost:5601/api/kibana/dashboards/export?dashboard=[uuid] > my-dashboards.json
现在，我想使用docker-compose导入此仪表板，但收到以下错误：
test.kibana | Warning: Couldn't read data from file "my-dashboards.json", this makes an
test.kibana | Warning:
浏览 1提问于2018-09-08得票数 1
我在服务器上运行了一个应用程序，但不知怎么服务器重新启动了，但是一些对接服务可以重新启动，另一个则不能。
码头-合成ps:
Name Command State Ports
------------------------------------------------------------------------------------------------------------
elasticsearch /usr
浏览 5提问于2019-12-04得票数 0
日安：
我在Azure上部署了ElasticStack (Kibana、ElasticSearch和LogStash)。我试图从Kibana查询ElasticSearch，但是得到了这个错误：action [indices:data/read/search] is unauthorized for user [kibana]。我已经深入到Kibana (在Azure上)并将kibana.yml身份验证用户更改为elastic，但是，尽管我将用户更改为elastic，它仍然抛出与kibana用户相关的错误。
浏览 3提问于2018-07-05得票数 0
回答已采纳
1回答
我正在用Docker、Serilog、Elasticsearch、Kibana和Postgresql编写Asp.Net Core6WebAPI项目。 i成功地运行了所有依赖项，如弹性、Kibana等，但是Kibana没有连接到弹性搜索。基巴纳说：
{"type":"log","@timestamp":"2022-07-02T08:27:16Z","tags":["warning","elasticsearch","admin"],"pid":7,
浏览 1提问于2022-07-02得票数 1
下面是我的船坞-Compose.yml
我执行它后会得到错误。
ERROR: The Compose file '.\docker-compose.yml' is invalid because:
Unsupported config option for services.elasticsearch2: 'kibana
我尝试删除基班纳volumes:，因为我暂时没有使用kibana.yml。但同样的问题依然存在。
在删除Kibana服务之后，它会编译得很好。然而，我想让基班纳与弹性搜索-白金。我做错了什么？
version: '2.2'
servi
浏览 0提问于2018-04-24得票数 2
回答已采纳
我需要将默认索引更改为Kibana中的索引。我需要改变这个，也就是kibana.index。但是我不知道怎么找到这个？我使用的是Elasticsearch 6.4.3和kibana:6.4.3。有没有人知道这个？谢谢 我想我需要更改kibana.yml.Because，我只需要在Kibana中看到我的索引。我也读过这个，https://www.elastic.co/guide/en/kibana/current/settings.html 我的问题是如何找到这个文件来将默认索引设置为我的索引？
浏览 20提问于2020-06-24得票数 0
回答已采纳
我正在尝试安装ElasticSearch入门指南中指定的Sense插件，如下所示： ./bin/kibana plugin --install elastic/sense 然而，这个命令似乎已经过时了，唯一可能的方法是： ./bin/kibana-plugin install elastic/sense 但它不起作用： Attempting to transfer from elastic/sense
Attempting to transfer from https://artifacts.elastic.co/downloads/kibana-plugins/elastic/sense/
浏览 102提问于2016-11-22得票数 14
回答已采纳
1回答
我有一组从外部API返回的键值对，我希望将它们存储在Elastic中，并能够在Kibana中可视化。
数据以包含多个键值对的JSON对象的形式从外部API返回
{
"value" :
{
"en_GB": 181,
"en_US": 86,
"es_ES": 20,
"fr_FR": 10
}
}
我希望能够在Elastic中存储此数据，并在Kibana中创建一些图表，例如饼图。
目前，我正在使用这个json，计算每个值的百分
浏览 0提问于2021-03-20得票数 0
1回答
我正在运行Windows 2019上的，并且成功地拉出并运行了下面的docker-compose.yml文件。然而，不久之后容器就会关闭，当我运行命令docker-compose logs时，它将显示以下内存不足的问题：
船坞-合成文件
version: '3.7'
services:
elasticsearch:
container_name: elasticsearch
# image: docker.elastic.co/elasticsearch/elasticsearch:7.9.2
image: docker.elastic.co/elas
浏览 13提问于2022-04-13得票数 0
我正在尝试设置一个开发elastic search + kibana服务器。
Elastic search服务器已启动并运行。
当我尝试运行kibana镜像时，由于某种原因，它忽略了我的env-varaibles
这是我使用的命令：
sudo docker run -dit --name qa-kibana --restart unless-stopped -e SERVER_PORT='5601' -e ELASTICSEARCH_HOSTS='http://192.168.4.146:9200' -p 5601:5601 docker.elastic.co/
浏览 12提问于2020-02-12得票数 1
回答已采纳
1回答
我定期将日志文件解析到ELK系统中。我能够成功地解析文件并在Kibana仪表板中显示数据。 目前我的数据格式为"total“：7080”已审核“：1001”待处理“：6079 此数据已成功显示在Kibana仪表板中。但是，我希望将这些值显示为百分比，如下所示："total“：7080 "approved-perct”：14.14% "pending-perct“：86.86% 有没有办法在我的索引模式中添加两个新字段，approved-perct和pending-perct？ 我正在使用logstash解析我的日志文件，并将它们发送到elastic searc
浏览 10提问于2019-10-10得票数 1
1回答
在elastic search中，我将多个字段存储为日志的一部分。我使用Kibana来查询具有json对象的字段的fields.One。我需要从json对象中提取某些字段。有没有办法用Kibana做到这一点？
浏览 47提问于2017-08-20得票数 1
回答已采纳
我想做elasticsearch和kibana的码头写作。这是我的docker-compose.yml，我与docker- dev.env dev.env up一起运行。
码头组成
version: '3.1'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:8.1.1
container_name: elasticsearch
environment:
- cluster.name=elasticsearch-cluster
浏览 7提问于2022-03-25得票数 6
我正试着在库伯奈特斯集群中部署弹性和基巴纳。
我使用Helm图表安装了弹性：
helm repo add elastic https://helm.elastic.co
helm repo update
helm install stable/elasticsearch --namespace elastic --name elasticsearch --set imageTag=6.5.4
和使用Helm图表的Kibana：
helm install elastic/kibana --namespace elastic --name kibana --set imageTag=6.5.4,e
浏览 1提问于2019-01-18得票数 1
回答已采纳
我尝试在docker中使用Docker-Compose设置 (v7.6.0)时遇到问题。
Elastic Search & Logstash启动正常，但Kibana立即存在，docker会记录该容器的报告：
Kibana should not be run as root. Use --allow-root to continue.
这些元素的docker-compose如下所示：
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:7.6.0
environment:
浏览 1提问于2020-03-06得票数 2
我有以下.yaml文件：
apiVersion: kibana.k8s.elastic.co/v1
kind: Kibana
metadata:
name: quickstart
spec:
version: 8.0.0
count: 1
elasticsearchRef:
name: quickstart
当我尝试使用kubectl创建-f创建实例时，我会得到错误
error: unable to recognize: no matches for kind "Kibana" in version "kibana.k8s.elastic.co
浏览 19提问于2022-02-15得票数 1
我有一个在后端配置了两个服务器的haproxy。偶尔，每隔16-20小时，其中一个会被haproxy标记为关闭：
haproxy.log-20190731:2019-07-30T16:16:24+00:00 <local2.alert> haproxy[2716]: Server be_kibana_elastic/kibana8 is DOWN, reason: Layer6 timeout, check duration: 2000ms. 0 active and 0 backup servers left. 8 sessions active, 0 requeued, 0 r
浏览 0提问于2019-08-01得票数 2
我正在尝试将我需要使用的所有弹性服务进行篡改。停靠-组合文件如下所示
version: '3'
services:
redis:
build: ./docker/redis
postgresql:
build: ./docker/postgresql
ports:
- "5433:5432"
env_file:
- .env
graphql:
build: .
command: npm run start
volumes:
- ./logs/:/usr/a
浏览 1提问于2018-08-16得票数 2
回答已采纳
我被连接到elasticsearch从我的巢js应用程序运行在码头。我收到了这条错误消息
ResponseError: security_exception: [security_exception] Reason: missing authentication credentials for REST request [/companies]
这是我的拼图文件
version: "3.8"
services:
postgres:
container_name: benchy-db
image: postgres:latest
volumes:
浏览 9提问于2022-11-08得票数 0
我正在为构建在JDK7上的应用程序设置Kibana和elastic search。哪个版本的Kibana和elastic search将支持JDK7构建应用程序？
我发现2.4版本以上的elastic search不支持JDK7。
使用这个非常老的版本是否正确？如果是，那么它可以通过哪个kibana版本集成？
浏览 4提问于2019-01-09得票数 0
3回答
我正在尝试使用docker堆栈部署来部署节点应用程序。我想这应该是显而易见的，但是如何从节点应用程序连接到数据库呢？
这是我的样例对接文件-我还没有解决缩放每个服务，只是试图连接所有。给定这个文件，如果我docker stack deploy --compose-file docker-compose.yml dev -那么连接字符串连接节点到mongo的正确mongo地址是什么？
version: '3'
services:
node:
image: rgilling/rsc:latest
ports:
- "8080:8080&#
浏览 1提问于2017-04-18得票数 0
回答已采纳
我正在尝试使用docker设置一个简单的麋鹿堆栈。虽然我禁用了xpack安全性，但它启动正常，并且我可以访问Kibana界面。如果启用了xpack安全性，我会从Kibana界面收到"Kibana服务器尚未就绪“错误。此错误很可能是由以下Elasticsearch错误引起的：
{"type": "server", "timestamp": "2020-08-03T15:35:10,134Z", "level": "INFO", "component": "o.e.c.r
浏览 12提问于2020-08-04得票数 0
4回答
我正在尝试安装Elastic search，Nginx，Kibana和Sense。 我遵循这个指南：https://www.digitalocean.com/community/tutorials/how-to-install-elasticsearch-logstash-and-kibana-elk-stack-on-ubuntu-14-04 我成功安装了Elastic search。 然而，我被困在了Kibana。 然而，我成功地完成了所有步骤： root@dev:~# service kibana start
kibana started
root@dev:~# service kib
浏览 106提问于2016-06-22得票数 4
回答已采纳
我试图运行码头形象:docker.弹性. to /kibana/kibana:6.2.4
用于运行的命令：
docker run -d -e "xpack.monitoring.enabled=false" -e "xpack.monitoring.ui.container.elasticsearch.enabled=false" --name kibana --restart always -p 5601:5601 docker.elastic.co/kibana/kibana:6.2.4
但是，它无法运行，并给出了以下期望：
{"type":
浏览 7提问于2018-10-03得票数 1
回答已采纳
我正在尝试使用将elasticsearch和kibana部署到kubernetes，并在kibana容器中获取此错误，因此入口返回503错误，容器从未准备好。
错误：
[2022-11-08T12:30:53.321+00:00][ERROR][elasticsearch-service] Unable to retrieve version information from Elasticsearch nodes. socket hang up - Local: 10.112.130.148:42748, Remote: 10.96.237.95:9200
Ip地址10.96.237.95是
浏览 81提问于2022-11-08得票数 1
回答已采纳
我们有AWS elastic search和Amazon Kibana。我们是否在Amazon Kibana上提供Datasweet指标 Datasweet是外部插件。我不确定我们是否可以将外部插件导入Amazon Kibana。 我已经在Kibana上尝试了脚本化的字段。但是，我不能执行'/‘，如果有条件，它也会在elastic search集群上创建列。 是否有任何选项可以在Amazon Kibana上执行%计算。
浏览 14提问于2021-04-23得票数 0
所以我设置了Kibana，里面有我的数据。大约3个指标。
最近我部署了Elastic Enterprise Search，并测试了Elastic App Search，但我没有其中的数据。
因此，我的问题是，我能以某种方式将Kibana中的数据迁移或同步到Elastic App Search中吗？
浏览 17提问于2021-05-13得票数 0
回答已采纳
Golang弹性APM - cronjob的保存事务
我需要将弹性APM连接到我的cronjob，但是当我跟踪时，我没有看到任何事务，甚至没有注册服务。
如何连接APM并为cronjob而不是api注册事务
main.go
package main
import (
"context"
"errors"
"math/rand"
"time"
"go.elastic.co/apm/v2"
)
func main() {
// export ELASTIC_APM_
浏览 20提问于2022-09-25得票数 0
回答已采纳
我试着在Centos 8上运行麋鹿与码头-合成：
我的docker-compose.yml
version: '3.1'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
container_name: elasticsearch
hostname: elasticsearch
ports:
- "9200:9200"
expose:
- "9200"
volumes:
浏览 3提问于2020-03-03得票数 0
我在这里遵循了公认的答案，
但是kibana并没有出现在浏览器本地主机上:5601，，有什么问题吗？
[root@localhost ~]# sysctl -w vm.max_map_count=262144
vm.max_map_count = 262144
[root@localhost ~]# cat /proc/sys/vm/max_map_count
262144
[root@localhost ~]#
错误日志:docker-组合
kibana | {"type":"log","@timestamp":&
浏览 8提问于2020-05-28得票数 0
下面是kibana和Kibana的文件，容器没有运行，在部署后1mint就兴奋了。
这是我的码头-stack.yaml文件
/home/mohd/Music/Exception-Email-Notification/docker-elk/docker-stack.yml
version: '3.3'
#networks:
# host:
# driver: overlay
# attachable: true
volumes:
elasticsearch:
logstash:
kibana:
services:
nginx:
image: nginx:latest
vo
浏览 4提问于2021-05-20得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
