通过Hadoop实现Elasticsearch和Splunk连接

文章/答案/技术大牛

发布

1回答

hadoop、elasticsearch、splunk

我目前正在与一家将其日志数据存储在elasticsearch中的公司进行试验。(他们目前使用整个麋鹿堆栈)。Splunk有一个名为Hunk的插件，可以让你从Splunk的界面查询HDFS / Hadoop数据。我已经能够让它工作起来了。我的问题是，有没有办法使用es-hadoop以某种方式将两者“桥接”在一起？当Hunk查询我的hdfs时，它也会拉入Elasticsearch数据？(他们公司想看看使用Splunk是否可行，而不必复制数据) 谢谢。

浏览 4提问于2016-07-31得票数 0

1回答

如何使用nodejs创建日志收集服务？

node.js、logging

我发现常见的日志收集方案包括elk和Hadoop / hive。 1、作为前端开发人员，我是否可以花费一定的时间(例如，一周)来完成简单的构建而不需要服务端的基础？2、我可以使用nodejs、mongodb和其他技术栈来构建日志系统吗？

浏览 4提问于2022-09-05得票数 0

回答已采纳

2回答

将数据从Splunk移动到弹性搜索

database、elasticsearch、transfer、splunk

我在Splunk中有一个脚本，它定期运行，并将数据放入splunk中。现在我也想把这些数据传送到弹性搜索。所以数据在splunk和弹性搜索中都得到了输入。对怎么做有什么想法吗？

浏览 8提问于2016-09-28得票数 1

回答已采纳

2回答

如何在PySpark中将数据保存到弹性搜索中？

apache-spark、elasticsearch、pyspark、apache-spark-sql

我有一个火花数据，我试图推动到AWS Elasticsearch，但在此之前，我是测试这个样本片段推到ES，spark = SparkSession.builder.appNamespark.createDataFrame([{'num': i} for i in xrange(10)])df.write.format( 'org.elasticsearch.spark.sql%s&#

浏览 0提问于2019-07-17得票数 7

回答已采纳

1回答

在hadoop上安装和配置elasticsearch

hadoop、elasticsearch、apache-spark

我已经阅读过这个页面和其他相关链接，以便在hadoop上安装和配置elasticsearch。下面这个安装指

浏览 3提问于2016-03-09得票数 2

2回答

在ElasticSearch中，是否可以使用任何ES连接器(ElasticSearch-Hadoop)进行连接操作？

join、elasticsearch、hive、presto、elasticsearch-hadoop

因为我们知道索引之间的连接操作在ElasticSearch中是不可能的，它可以使用Presto或Hive来实现吗，也就是说，我们可以使用任何用于Presto或Hive的ElasticSearch连接器来执行连接操作吗我们可以使用ElasticSearch-Hadoop - 加入ElasticSearch吗？

浏览 1提问于2015-05-31得票数 2

1回答

使用scala和spark 3.0.1从Elasticsearch读取数据

scala、apache-spark、elasticsearch、hadoop

我正在尝试从Spark-2.4.6迁移到3.0.1，但是es-hadoop似乎不支持Spark 3.0+。你有什么解决方案吗？谢谢!

浏览 39提问于2021-03-17得票数 0

回答已采纳

1回答

使用Elasticsearch-hadoop的Rhadoop

hadoop、elasticsearch、rhadoop

我使用的是hadoop和来自ElasticSearch的数据库(没有hdfs)。你知道elasticsearch-hadoop能不能一起工作吗？否则你知道如何在我的项目中使用分析吗？

浏览 1提问于2014-06-30得票数 0

回答已采纳

1回答

PySpark + ElasticSearch:读取多个索引/类型

elasticsearch、apache-spark、pyspark

我正在使用Elasticsearch-hadoop连接器运行PySpark和Elasticsearch。") inputFormatClass="org.elasticsearch.hadoop.mr.EsInputFormat", keyClass="org.apa

浏览 1提问于2016-04-15得票数 0

回答已采纳

3回答

Kibana、Logstash用于大数据环境

hadoop、elasticsearch、bigdata、logstash、kibana

我们可以使用Logstash和Kibana进行大数据分析吗？我将使用Hadoop来存储我的数据。在尝试任何东西之前，我想知道是否有人已经尝试过了。

浏览 0提问于2013-12-12得票数 1

1回答

简单esRDD引发异常(在Spark中使用了elasticsearch-hadoop连接器)

scala、elasticsearch、apache-spark

我正在使用elasticsearch中加载的一些测试数据，在本地主机上测试ElasticSearch和Spark的集成(使用elasticsearch-hadoop连接器)。调用交互式shell： ] $SPARK_HOME/bin/spark-shell --master local[4] --jars ~/spark/jars/elasticsearch-hadoop-<init>(Ab

浏览 0提问于2017-02-03得票数 0

回答已采纳

1回答

sparkR 1.4.0 :如何包含jars

elasticsearch、apache-spark、sparkr、elasticsearch-hadoop

我正在尝试使用elasticsearch-hadoop-2.1.0.rc1.jar jar文件(找到)将SparkR 1.4.0连接到Elasticsearch。SparkR:::callJStatic('java.lang.Class', 'org.elasticsearch.hadoop.mr.LinkedMapWritabl

浏览 0提问于2015-06-26得票数 0

3回答

通过Spark SQL将tableau与Elastic search连接起来

elasticsearch、hive、tableau-api、apache-spark-sql

我找到了一个讨论如何通过Hive SQL将Tableau连接到Elastic Search的。我想知道有没有办法通过Spark SQL连接到Elastic Search，因为我对hive不是很熟悉。

浏览 2提问于2015-02-24得票数 0

3回答

Elasticsearch Hadoop

hadoop、elasticsearch、elasticsearch-plugin

我已经设置了一个具有3个DataNodes和1个NameNode的Hadoop集群。我还在其中一台DataNodes上安装了elasticsearch。但是我不能使用elasticsearch访问HDFS。( Hadoop集群和Elasticsearch可以独立工作)现在，我想将我的Hadoop集群与elasticsearch集成。我发现有一个单独的插件可以实现这个功能。但是我无法下载它。(bin/plug

浏览 2提问于2014-05-02得票数 0

2回答

海星或splunk

hadoop、monitoring、splunk、log-analysis

我的目标是分析Hadoop的日志文件，有两个工具starfish(开源)和splunk(商业产品)。有没有人知道选择哪一个的利弊。我真的很感谢你的回答。谢谢

浏览 2提问于2013-01-25得票数 1

回答已采纳

2回答

Elasticsearch和Hadoop？

hadoop、elasticsearch、full-text-search、hdfs、search-engine

我发现Elasticsearch总是与Hadoop生态系统(HDFS、星火、HBase、Hive等)对话(可能是因为我的知识有限)。起初，我认为Elasticsearch是Hadoop生态系统的一部分，但看起来我错了。如果我有一个实现搜索引擎的任务，那么只使用Elasticsearch来索引和存储数据似乎就足够了。那么有没有理由在这个任务中利用Hadoop呢？如果我们同时使用HDFS和Elasticsearch来存

浏览 2提问于2016-05-19得票数 0

3回答

是否有可能提取Google Analytics数据并将其发布到Elastic Search？

elasticsearch、google-analytics、kibana、raw-data

我一直在研究如何导入谷歌分析原始数据，而不必使用高级帐户.So到目前为止，这是最近的链接，我想做什么我想加载到弹性搜索和显示使用kibana .What是最好的方法？

浏览 2提问于2015-12-01得票数 3

1回答

火花机学习和弹搜索分析Python中的标记/文本

elasticsearch、apache-spark、elasticsearch-hadoop、elasticsearch-py

我正在构建一个应用程序，该应用程序可以在Elasticsearch中索引一堆文档，并通过布尔查询将文档检索到Spark中进行机器学习。我正试图通过Python通过pySpark和elasticsearch完成这一切。对于机器学习部分，我需要使用每个文本文档中的标记创建特性。我知道您可以通过各种Python包和函数很容易地做到这一点，但是我想使用Elasticsearch分析器来实现这一点。此外，我需要以一种对大数据

浏览 1提问于2015-08-24得票数 1

2回答

MongoDB与斯普伦克的大块头的集成在哪里？

mongodb、splunk、bigdata

我一直在研究Splunk的NoSQL集成，但是似乎没有关于这个过程的任何文档？我用的是巨石6.1 具体来说，我试图使用MongoDB作为splunk的后端数据存储。

浏览 2提问于2014-06-17得票数 0

回答已采纳

1回答

如何确保在Spark Streaming中使用Elasticsearch-Hadoop连接器写入Elasticsearch集成的所有文档

apache-spark、elasticsearch、spark-streaming、spark-streaming-kafka、elasticsearch-hadoop

我正在使用Elasticsearch-Hadoop连接器将DStream写到Elasticsearch。这是您可以找到的连接器https://www.elastic.co/guide/en/elasticsearch/hadoop/5.6/spark.html的链接我需要处理窗口，使用"JavaEsSpark.saveToEs“方法将所有文档写入ES，并希望确保所有写入的文档<e

浏览 22提问于2019-09-27得票数 0

点击加载更多