Spark ElasticSearch配置-从Spark读取弹性搜索

文章/答案/技术大牛

发布

1回答

scala、apache-spark、elasticsearch、hadoop

我正在尝试通过Spark Scala从ElasticSearch读取数据。我看到很多关于这个问题的帖子，我已经尝试了他们在不同帖子中提到的所有选项，但似乎没有什么对我有效 import org.elasticsearch.<

浏览 363提问于2020-02-04得票数 0

1回答

如何连接Spark EMR集群和AWS elasticsearch集群

amazon-web-services、elasticsearch、apache-spark

我有一个在亚马逊网络服务环境中运行的spark流作业，称为spark集群A。我还配置了另一个新的aws elasticsearch集群，称为ES集群B。现在，我必须将数据从spark即集群A发送到弹性搜索集群，即我从引用的集群BSparkConf conf = new SparkConf()); conf.set("es.node

浏览 2提问于2016-02-02得票数 1

1回答

弹性搜索慢性能的火花写入

apache-spark、elasticsearch、pyspark、elasticsearch-hadoop

我似乎遇到了一个问题，在这个问题中，Spark给Elasticsearch的写信非常慢，在进行初始连接时需要相当长的时间(大约15分钟)，在这个过程中，Spark和Elasticsearch都处于空闲状态还有另一个强调了弹性社区中的相同问题，但它已经关闭，没有任何解决方案。，这是我从火花写到ES:的方式 vgDF.write.format("org.elasticsearch.spark.sql").mode('appen

浏览 0提问于2018-03-20得票数 3

回答已采纳

1回答

正在尝试从spark读取弹性搜索，正在获取“验证失败: 1:未指定滚动ids”

elasticsearch、apache-spark

我正在尝试通过spark-shell (Spark version 1.5.2)读取通过spark数据帧的弹性搜索索引。我不明白scoll-id是什么，也不知道我需要做什么才能从spark中查询弹性搜索。spark-shell --jars /transfer/hdp/lib/elasticsearch-spark_2.10-2.3.2.ja

浏览 0提问于2016-06-21得票数 0

1回答

如何使用spark (Eclipse)从Elasticsearch读取数据并将其转换为表格格式

eclipse、apache-spark、elasticsearch、hadoop

我已经成功地将csv文件推送到我的elasticsearch中。val spark=SparkSession.builder() .config("spark.master","local") .config("spark.es.port",

浏览 25提问于2020-06-14得票数 1

1回答

Elasticsearch to Spark Streaming

elasticsearch、apache-kafka、spark-streaming、apache-spark-mllib

我正在分析日志，我有这样的架构：我的主要目标是在流媒体中创建机器学习模型。我认为我可以做两件事：2) Kafka -> spark Streaming-> elasticsearch -> sparkstreaming(ML) -I认为第二种架构是

浏览 1提问于2017-05-10得票数 4

1回答

Spark Streaming:将处理后的数据存储到elasticsearch中

java、apache-spark、elasticsearch、streaming

我有一个练习，实现一个服务，从Kafka获取数据，处理它，并使用Spark Streaming将结果存储到elasticsearch中。我可以从Kafka获取数据到我的服务中，并在Spark集群中处理它，但我不知道如何在操作中将结果持久化到elasticsearch中。} 我是Apache Spark的新手。请告诉我如何在处理完事件后将结果持久化到elasticsearch中。请注意，我知道如何在独立的java应用程序中将文档索引到elasti

浏览 0提问于2018-10-25得票数 0

1回答

创建弹性搜索索引的组合键

apache-spark、elasticsearch、apache-spark-sql

我的工作是通过SparkSQL实现HDFS到弹性搜索的集成。我可以从HDFS读取csv数据并创建弹性搜索索引。为了创建Elastic search Index ID，我使用了csv数据中的一个唯一列。现在我的要求是弹性搜索索引ID应该是2个CSV列的组合。有没有人知道我该如何做到这一点？我正在使用elasticsearch-spark库创建索引。以下是示例代码。; options.put("path&quo

浏览 0提问于2017-09-13得票数 1

2回答

弹性搜索与火花

elasticsearch、apache-spark、sbt

我正在尝试使用elasticsearch-spark库和sbt工件："org.elasticsearch" %% "elasticsearch-spark" % "2.3.2"来设置search和Eleastic当我尝试用以下代码配置优化搜索时： val sparkConf = new SparkConf().setAppName("test").setMaster("local[

浏览 3提问于2016-07-07得票数 0

回答已采纳

2回答

弹性搜索不能写入所有条目:可能es是重载的。

apache-spark、elasticsearch、apache-spark-sql、elasticsearch-spark

我有一个应用程序，在这个应用程序中，我读取csv文件并进行一些转换，然后将它们推送到火花本身的弹性搜索中。像这样 .mode(SaveMode.Append).option("es.resource", "{date}/" + type).save() 我有几个节点，在每个节点中，我运行5-6个spar

浏览 1提问于2018-03-20得票数 3

回答已采纳

1回答

NoSuchMethodError: org.apache.spark.sql.SQLContext.sql

exception、elasticsearch、apache-spark、build

我用弹性搜索库编写了一个火花程序。"org.apache.spark" %% "spark-catalyst" % sparkVersion % "provided",) libraryDepen

浏览 1提问于2016-12-13得票数 1

回答已采纳

2回答

ElasticSearch触发错误

elasticsearch、apache-spark

我是ElasticSearch的新手，我正在尝试编写一些Apache Spark代码来将一些数据保存到ElasticSearch中。我在SparkShell中输入了以下行： val myMap = Map("France" -> "FRA", "United States" -> "US") val myRDD = sc.makeRDD(Seq

浏览 56提问于2016-08-05得票数 1

回答已采纳

1回答

scala.collection.convert.Wrappers$JListWrapper不是字符串模式的有效外部类型

scala、apache-spark、elasticsearch、pyspark、databricks

我试图使用Scala从弹性数据中读取数据，但是它会抛出错误消息，比如scala.collection.convert.Wrappers$JListWrapper :java.lang.RuntimeException我们是否有任何替代的方式来进行操作，使用scala火花和弹性搜索。代码： spark.sql("set spark.sql.legacy.timeParserPolicy=LEG

浏览 5提问于2022-08-11得票数 1

3回答

使用Google Big Query进行弹性搜索

elasticsearch、google-bigquery

我将事件日志加载到elasticsearch引擎中，并使用Kibana将其可视化。我的事件日志实际上存储在Google Big Query表中。然后使用logstash将json文件从本地驱动器移动到elastic搜索引擎。在这方面的任何帮助都将不胜感激。

浏览 4提问于2016-08-31得票数 7

1回答

用Glue向AWS弹性搜索输入数据

amazon-web-services、apache-spark、pyspark、aws-glue、aws-elasticsearch

我正在寻找一个解决方案，以插入数据到AWS弹性搜索使用AWS胶，python或吡火花。我见过用于弹性搜索的Boto3 SDK，但是找不到任何函数将数据插入到弹性搜索中。有人能帮我找到解决办法吗？

浏览 1提问于2020-07-10得票数 1

回答已采纳

1回答

如何在火花中同步执行器之间的函数以避免与弹性文件的并发性

scala、apache-spark、elasticsearch、apache-spark-sql

我有一个函数，它将被调用来使用spark和scala将DataFrame写入弹性搜索。(DataFrame在函数调用之前创建) .withColumn("row_index", col("line_number").cast(IntegerType)) .write.format("

浏览 3提问于2019-11-14得票数 1

1回答

Spark Jobs错误为:太多元素无法创建电源集34

hadoop、apache-spark、elasticsearch、scalability

我尝试在mesos集群中运行spark作业来查询弹性数据，使用的esJsonRDD查询类似于：，并且对于少于32个节点的多节点弹性集群运行良好。随着弹性中节点的增加，作业会失败，出现以下异常： org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Too many elements以下是我当前Spark Job的gradle依赖项。compile group: 'org.elasticsearch

浏览 18提问于2017-07-20得票数 1

2回答

由于番石榴库的不同版本，纱线上的火花与弹性搜索TransportClient相混淆

elasticsearch、apache-spark、guava

我想在Google集群上运行一个火花作业，在地图操作中，我需要对弹性搜索进行查询。我的问题是火花和弹性搜索在番石榴库中有冲突，因为火花使用的是番石榴14和ES 18。" % "spark-core_2.10" % "1.6.0" % "provided" libraryDependencies += "org.apache.spark" % "spark-graphx_2

浏览 5提问于2016-05-02得票数 0

回答已采纳

1回答

在hadoop上安装和配置elasticsearch

hadoop、elasticsearch、apache-spark

我已经阅读过这个页面和其他相关链接，以便在hadoop上安装和配置elasticsearch。实际上，使用elasticsearch-h

浏览 3提问于2016-03-09得票数 2

3回答

如何在ElasticSearch中创建索引并从流查询中推送数据？

apache-spark、elasticsearch、spark-structured-streaming

无法创建索引并使用弹性接收器将数据推送到elasticsearch .outputMode("append") .format("org.elasticsearch.spark.sql它似乎具有弹性搜索配置的属性。

浏览 0提问于2019-08-09得票数 1

点击加载更多