使用apache Spark & Scala从ElasticSearch读取数据时出现连接错误

文章/答案/技术大牛

发布

2回答

星星之火无法检测ES版本--通常在无法访问网络/Elasticsearch群集时发生这种情况。

apache-spark、elasticsearch

我试图从本地elasticsearch读取数据，并获得“无法检测ES版本.‘es.nodes.wan.only”错误，但是当我启用跟踪日志时，应用程序能够连接到elasticsearch。我使用elasticsearch _2.11-2.4.5.jar将应用程序提交给本地the，以连接到elasticsearch 6.2.4。(DataSource.scala:4

浏览 0提问于2020-05-07得票数 1

0回答

scala、apache-spark

我给出了以下代码 .setMaster("local[*]")spark version=1.5.2并给定库依赖性，如下所示， libraryDependencies += "org.elasticsearch" % "<e

浏览 1提问于2016-07-11得票数 2

回答已采纳

1回答

星星之火无法从Elasticsearch/Opensearch读取。接收到的无效地图dynamic_date_formats

scala、apache-spark、elasticsearch、opensearch、elasticsearch-spark

嗨，我正在尝试使用Scala2.11.12、Spark2.3.0和elasticsearch-20 7.7.0从OpenSearch 1.3.4索引中读取以下代码： .load("myIndex") .filter('Timestamp === lit(dateTo

浏览 12提问于2022-08-17得票数 0

回答已采纳

1回答

spark弹性搜索抛出403禁止错误

scala、apache-spark、elasticsearch

当我尝试使用基本身份验证从spark连接elasticsearch来创建新索引时，得到了下面的错误。来自elastic search的错误没有提供完整的错误信息以供调试更多

浏览 0提问于2020-02-21得票数 1

1回答

从spark查询弹性搜索大索引

scala、apache-spark、elasticsearch、apache-spark-sql

我有一个Elasticsearch索引，它有接近3.2亿个文档，其大小为68 GB，它被划分为5个碎片。ERROR NetworkClient: Node [127.0.0.1:9200] failed (Read timed out); no other在查看正式文档时，我看到了“切片卷轴”，其中必须管理scroll_id才能处理下一批。如果我错了，请纠正我，但理论上，星火必须一批一批地循环数据</e

浏览 0提问于2017-11-23得票数 1

1回答

使用火花中的弹性搜索火花读取数据时如何转换类型

scala、apache-spark、elasticsearch、elasticsearch-spark

当我尝试使用esRDD("index")函数读取elasticsearch中的数据时，我得到了org.apache.spark.rdd.RDD[(String, scala.collection.Map当我检查这些值时，它们都是AnyRef类型。" libraryDependencies += "org.apache.spark" %% "

浏览 4提问于2017-07-06得票数 3

回答已采纳

1回答

不能摄取DF到elasticsearch

apache-spark、elasticsearch、apache-spark-sql、apache-spark-2.0

我正在读取星火-scala中的拼花文件，并进行计算和过滤。我想从elasticsearch中摄取最终的数据帧。我试过跟踪，但没能让它工作。at org.elasticsearch.spark.rdd.EsRDDWriter.write(EsRDDWriter.scala:67) at org.elasticsearch.spark

浏览 0提问于2019-01-17得票数 0

2回答

使用spark.read对Server表读取错误(通过JDBC连接)

sql-server、apache-spark、apache-zeppelin

当我试图创建直接从SQL表读取数据时，Zeppelin中出现了一个问题。问题是，我不知道如何读取带有地理类型的SQL列。 import org.apache.spark.sql.SaveMode val jdbcHostname = "XX.XX.XX.XX读取</

浏览 7提问于2019-10-23得票数 2

3回答

无法从pyspark读取密钥库文件

python、apache-spark、elasticsearch、pyspark、jks

我正在使用下面的代码片段将数据从配置单元连接并加载到elasticsearch(v6.2)，没有任何问题 org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Expected to find keystore fi

浏览 3提问于2019-09-19得票数 9

1回答

apache-spark、apache-spark-sql、google-bigquery

当使用spark连接器将数据写入Bigquery时。我正在讨论这个问题。如果从文件中读取数据，则连接器将数据写入bigquery表。但是，只有当从Cassandra表读取数据时，它才会抛出上述错误。我在读取文件和从Cassandra读取后检查类型。两者都指向正确的sp

浏览 0提问于2019-05-31得票数 0

1回答

提交:使用火花提交的ship jar依赖关系

python、elasticsearch、apache-spark、pyspark

我编写了一个吡火花脚本，读取两个coGroup文件，并将结果发送到elasticsearch集群；当我在本地运行它时，一切正常工作(大多数情况下)，我下载了org.elasticsearch.hadoop.mr.EsOutputFormat和org.elasticsearch.hadoop.mr.LinkedMapWritable类的elasticsearch-hadoop jar文件，然后使用--jars参数运行我的工作，我可以看到文档出现在我的但是

浏览 5提问于2015-04-03得票数 4

回答已采纳

1回答

将dstream写入elasticsearch的错误

elasticsearch、pyspark、spark-streaming、dstream

我有一个问题，从火花流(火花)到弹性说教的数据索引问题。数据为dstream类型。下面是什么样子(u'1A5', 1) ....:31错误执行器:任务2.0阶段11.0中的异常(TID 23) org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest:发现无法恢复的错误127.0.0.1:214)在org.apache.spark.sche

浏览 3提问于2017-07-25得票数 0

1回答

为什么查询抛出ClassCastException "SerializedOffset不能通过MQTT源转换到ClassCastException？“

spark-structured-streaming、apache-bahir

，runId = 5e2adff4-855e-46c6-8592-05e3557544c6，终止于错误java.lang.ClassCastException:不能将org.apache.spark.sql.execution.streaming.LongOffset转换到org.apache.bahir.sql.streaming.mqtt.MQTTTextStreamSource.getBatch(MQTTStreamSource.scala:152) at org.apache.<

浏览 1提问于2018-12-05得票数 1

回答已采纳

1回答

为什么elasticsearch* 5.5.0在提交给纱线集群时AbstractMethodError失败了？*

apache-spark、elasticsearch、apache-spark-sql、apache-spark-2.2

我写了一份星火作业，主要目的是写到专家系统中，然后提交，问题是当我把它提交到星星团时，火花回馈。错误用户类抛出异常: org.elasticsearch.spark.sql.DefaultSource.createRelation(Lorg/apache/spark/sql/SQLContext;(DataSource.scala:472) at org.apache.spark.sql.exe

浏览 1提问于2017-08-04得票数 1

1回答

java.lang.ClassNotFoundException: scala.Product$class

python、scala、apache-spark、pyspark

我试图使用spark连接到elasticsearch数据库，我的代码片段如下所示： at org.elasticsearch.spark.sql.ElasticsearchRelation.) at o

浏览 24提问于2022-02-11得票数 0

点击加载更多

星星之火无法检测ES版本--通常在无法访问网络/Elasticsearch群集时发生这种情况。