连接Spark和elasticsearch

文章/答案/技术大牛

发布

1回答

NoSuchMethodError: org.apache.spark.sql.SQLContext.sql

exception、elasticsearch、apache-spark、build

%% "spark-core" % sparkVersion % "provided","org.apache.spark" %% "spark-catalyst" % sparkVersion % "provided",

浏览 1提问于2016-12-13得票数 1

回答已采纳

3回答

将Spark 2.X连接到ElasticSearch 2.X

hadoop、elasticsearch、apache-spark、elasticsearch-2.0

我正在使用Spark和ElasticSearch，但是我不知道如何在ElasticSearch 2.x中使用Spark 2.X。ElasticSearch Spark libs只支持ES2.x的Spark1.6，支持ES5.alpha的Spark2。你用什么将Spark连接到ElasticSearch？

浏览 0提问于2016-09-20得票数 1

1回答

简单esRDD引发异常(在Spark中使用了elasticsearch-hadoop连接器)

scala、elasticsearch、apache-spark

我正在使用elasticsearch中加载的一些测试数据，在本地主机上测试ElasticSearch和Spark的集成(使用elasticsearch-hadoop连接器)。调用交互式shell： ] $SPARK_HOME/bin/spark-shell --master local[4] --jars ~/spark/jars/elasticsearch-hado

浏览 0提问于2017-02-03得票数 0

回答已采纳

1回答

分组、聚类、分类和预测

elasticsearch、kibana、kibana-4

我正在使用Elasticsearch和kibanba分析数据。有没有人知道在elasticsearch或kibana中有没有可能基于...(随便什么)对数据进行集群？聚类或分类，或分组。

浏览 1提问于2015-10-21得票数 0

1回答

如何用ElasticSearch和SparkR读写？

r、apache-spark、elasticsearch、apache-zeppelin、sparkr

Begineer SparkR和ElasticSearch问题！有一个，但是没有提到hadoop或分布式数据格式。ElasticSearch也有我肯定有明显的东西，我错过了；任何的指导感谢！

浏览 0提问于2018-03-06得票数 1

回答已采纳

1回答

使用spark检索elasticsearch数据时发生错误

java、apache-spark、elasticsearch

这是我的代码(使用Java和JDK 1.8_221)：import org.apache.spark.api.java.JavaPairRDD;import org.elasticsearch.spark.rdd.api.java.JavaEsSpark/Partition$class at or

浏览 3提问于2019-10-30得票数 0

回答已采纳

1回答

使用scala和spark 3.0.1从Elasticsearch读取数据

scala、apache-spark、elasticsearch、hadoop

我正在尝试从Spark-2.4.6迁移到3.0.1，但是es-hadoop似乎不支持Spark 3.0+。你有什么解决方案吗？谢谢!

浏览 39提问于2021-03-17得票数 0

回答已采纳

1回答

从Java Spark到ElasticSearch的连接数

java、hadoop、elasticsearch、apache-spark

我们使用Spark Streaming将数据写入ElasticSearch，并通过JavaPairRDD (Spark 1.6.0)的saveAsNewAPIHadoopFile方法将数据写入Java。这一切在本地和集群上都能很好地工作。然而，我们确实注意到到ElasticSearch的连接数量增长非常快(从运行本地系统的可以看出)，最终导致ElasticSearch变得非常慢。似乎每个RDD都会建立一个新的连接，而且看起来也会再次关闭。是否有可能打开

浏览 0提问于2016-09-15得票数 0

2回答

如何在PySpark中将数据保存到弹性搜索中？

apache-spark、elasticsearch、pyspark、apache-spark-sql

我有一个火花数据，我试图推动到AWS Elasticsearch，但在此之前，我是测试这个样本片段推到ES，spark = SparkSession.builder.appName('_id') 'org.elasticsearch.spark.sql' 'es.nodes', 'http:/

浏览 0提问于2019-07-17得票数 7

回答已采纳

1回答

spark弹性搜索抛出403禁止错误

scala、apache-spark、elasticsearch

当我尝试使用基本身份验证从spark连接elasticsearch来创建新索引时，得到了下面的错误。at org.elasticsearch.spark.rdd.EsRDDWriter.write(EsRDDWriter.scala:65) at

浏览 0提问于2020-02-21得票数 1

1回答

SparkContext对象没有属性esRDD (弹性搜索-火花连接器)

apache-spark、elasticsearch、pyspark

在星火外壳中，我成功地使用了elasticsearch-hadoop连接器(特别是为spark开发的连接器: elasticsearch-spark-20_2.11-5.1.2.jar)。激发火花： ] $SPARK_HOME/bin/spark-shell --master local[2] --jars ~/spark/jars/elasticsearch-<em

浏览 3提问于2017-02-04得票数 1

回答已采纳

1回答

Elasticsearch 5.0和Elasticsearch-Spark连接器-什么是正确的maven artefact

java、elasticsearch-hadoop、elasticsearch-spark

当使用Elasticsearch-Spark连接器编写在ApacheSpark1.6上运行的应用程序时，()上的文档说明要使用maven artefact <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch-spark_2.10</artifactId> <version>5.0.0&l

浏览 1提问于2016-11-05得票数 0

3回答

如何对ElasticSearch (使用org.elasticsearch.spark.sql格式)执行SQL查询？

elasticsearch、apache-spark

使用Spark 1.6.0和ES 5.0.0-alpha5，我尝试在Spark中获取一些数据帧。我正在使用这个包使用 sqlContext.read.format("org.elasticsearch.spark.sql").option("es.nodes", "

浏览 6提问于2016-10-10得票数 8

1回答

用于指定激发-shell查询文件的语法(使用elasticsearch-火花连接器)

apache-spark、elasticsearch

对于shell命令，我想为spark.es.query参数指定一个文件： --jars ~/spark/jars/elasticsearch-spark-20_2.11-5.1.2.jar --conf spark.es.nodes="localhost" --conf spar

浏览 16提问于2017-02-04得票数 1

回答已采纳

1回答

使用elasticsearch的jupyter python笔记本

python、elasticsearch、data-science-experience

我在DSX中使用elasticsearch和jupyter python笔记本。当我将dataframe写入对象存储时，会得到一个错误： ratings_df.write.format("org.elasticsearch.spark.sql").save("swift://DSConnections.spark：：java.lang.ClassNotFoundException:未能找到数据源: org.elasticsearch.<

浏览 4提问于2017-04-03得票数 0

回答已采纳

3回答

通过Spark* SQL将tableau与Elastic search连接起来*

elasticsearch、hive、tableau-api、apache-spark-sql

我找到了一个讨论如何通过Hive SQL将Tableau连接到Elastic Search的。我想知道有没有办法通过Spark SQL连接到Elastic Search，因为我对hive不是很熟悉。

浏览 2提问于2015-02-24得票数 0

2回答

EsHadoopIllegalArgumentException:无法检测ES版本Spark示例

scala、apache-spark、elasticsearch、spark-streaming

我正在尝试运行简单的数据写入ElasticSearch示例。accessible or when targeting a WAN/Cloud instance without the proper setting 'es.nodes.wan.only "org.apa

浏览 0提问于2018-05-08得票数 1

回答已采纳

0回答

apache-spark、elasticsearch

我正在尝试运行Spark的一个简单代码，它将RDD的内容复制到一个弹性搜索文档中。spark和elastic search都安装在我的本地机器上。import org.elasticsearch.spark.sql._我得到

浏览 27提问于2017-12-05得票数 1

2回答

异常--“网络/弹力搜索集群无法访问或针对广域网/云实例”

elasticsearch、kibana、elasticsearch-spark

我尝试运行星火应用程序集成Hbase和ES。我尝试在ES中创建索引并存储来自HBase的数据，但在连接到ES服务器时收到了“用户未经授权或访问被拒绝”的问题。我已经和行动小组联系过了，并将ES服务器弹出，尝试运行应用程序并获得附加异常--线程"main“org.elasticsearch.hadoop.EsHadoopIllegalArgumentException:中的异常无法检测ES版本通常情况下，如果无法访问网络/Elasticsearch集群，或者当针对WAN/Clo

浏览 2提问于2018-06-18得票数 0

1回答

如何创建Glue Studio连接器

aws-glue、aws-cdk

我需要为Glue作业创建一个自定义Spark连接器，但是我只能找到有关创建数据库连接的信息，而不能通过CDK找到连接器。这有可能吗？

浏览 9提问于2022-05-30得票数 0

点击加载更多

NoSuchMethodError: org.apache.spark.sql.SQLContext.sql

将Spark 2.X连接到ElasticSearch 2.X

简单esRDD引发异常(在Spark中使用了elasticsearch-hadoop连接器)

分组、聚类、分类和预测

如何用ElasticSearch和SparkR读写？

使用spark检索elasticsearch数据时发生错误

使用scala和spark 3.0.1从Elasticsearch读取数据

从Java Spark到ElasticSearch的连接数

如何在PySpark中将数据保存到弹性搜索中？

spark弹性搜索抛出403禁止错误

SparkContext对象没有属性esRDD (弹性搜索-火花连接器)

Elasticsearch 5.0和Elasticsearch-Spark连接器-什么是正确的maven artefact

如何对ElasticSearch (使用org.elasticsearch.spark.sql格式)执行SQL查询？

用于指定激发-shell查询文件的语法(使用elasticsearch-火花连接器)

使用elasticsearch的jupyter python笔记本

通过Spark* SQL将tableau与Elastic search连接起来*

EsHadoopIllegalArgumentException:无法检测ES版本Spark示例