使用Spark库，我想将ElasticSearch中的数据直接读取到elasticsearch-hadoop数据集中。但是，它的API返回RDD[(String，MapString，Any)]，其中元组的第一个元素是文档名，第二个元素(映射)是数据本身。我想把它变成一个DatasetT，其中T是某个case类，以使返回的数据更容易处理。我会考虑使用其他库(我找不到任何库)或者一个整洁的代码解决方案。
浏览 20提问于2020-07-17得票数 0
2回答
我目前正在尝试从MongoDB中提取数据库，并使用Spark通过geo_points将其摄取到ElasticSearch中。Mongo数据库有纬度和经度值，但ElasticSearch要求将它们转换为Mongo类型。Spark中有没有一种方法可以将lat和lon列复制到array或struct的新列中
如有任何帮助，我们不胜感激！
浏览 0提问于2015-07-25得票数 23
回答已采纳
我很高兴地使用了spark和elasticsearch (与elasticsearch-hadoop驱动程序)和几个巨大的集群。有时，我希望将整个数据集群提取出来，处理每个文档，并将它们放到不同的Elasticsearch (ES)集群中(是的，数据迁移也是这样)。目前，无法将ES数据从集群中读取到RDD中，并使用spark + elasticsearch-had
浏览 9提问于2015-03-12得票数 6
回答已采纳
使用PySpark，我试图从elasticsearch中读取数据。通常，我会将查询设置为类似的内容(参见下面的查询)，并将索引设置为“my_ es.resource /doc”，这样我就可以将数据读取到spark中： "query""match_all": {} }"""
但是，最近我在
浏览 0提问于2019-01-31得票数 3
我是spark streaming和elasticsearch的新手，我正在尝试使用spark从kafka topic读取数据，并将数据存储为rdd。在rdd中，我想在新数据到来时添加时间戳，然后推送到elasticsearch。 if(!
浏览 2提问于2017-10-26得票数 3
我试图建立一个使用弹性搜索的MS Access搜索，但没有找到任何相关的信息，在网站或谷歌搜索。是否有人知道是否可以使用弹性搜索搜索MS-Access？
浏览 1提问于2015-11-23得票数 1
回答已采纳
我将事件日志加载到elasticsearch引擎中，并使用Kibana将其可视化。我的事件日志实际上存储在Google Big Query表中。目前，我正在将json文件转储到Google存储桶中，并将其下载到本地驱动器。然后使用logstash将json文件从本地驱动器移动到elastic搜索引擎。根据我所读到的，我了解到有一个输出连接器，它将来自elastic search的数据发送到Google大查询，但反之亦然。我只是想知道是否应该将json文件上传到kuber
浏览 4提问于2016-08-31得票数 7
我正在编写一个Spark结构的流媒体应用程序，其中使用Spark处理的数据需要沉没到弹性搜索。
这是我的开发环境，因此我有一个独立的Elastic search。我尝试了以下两种方法将DataSet中的数据汇聚到ES中。1.ds.writeStream().format("org.elasticsearch.spark.sql").start("spark/orders"); 2.ds.writeStr
浏览 1提问于2017-09-26得票数 3
我正在将数以百万计的记录摄取到Elasticsearch中，同时也从Elasticsearch中提取记录。我实际上正在使用Elasticsearch客户端。我只在每个JVM上创建一个客户机。使用此客户端，将数据摄取到Elasticsearch中，也可以使用该客户端从Elasticsearch中提取数据。提取数据写入文件并进行一些分析，再次
浏览 6提问于2016-07-14得票数 8
3回答
当使用从BigQuery读取数据时，我发现它首先将所有数据复制到Google Cloud Storage。然后将这些数据并行读取到Spark中，但当读取大表时，复制数据阶段需要很长时间。那么有没有更有效的方法将数据从BigQuery读取到Spark中呢？
另一个问题:从BigQuery阅读由2个阶段组成(复制到GCS，从GCS并
浏览 6提问于2017-01-04得票数 7
回答已采纳
在当前应用程序中，我们将所有请求保留在Server数据库表中。由于我们将转移到ElasticSearch，我是否可以简单地序列化数据输入(创建JSON对象表示)并将其抛到ElasticSearch类型中，以便用于Kibana仪表板？
浏览 2提问于2015-08-06得票数 0
回答已采纳
我试图从本地elasticsearch读取数据，并获得“无法检测ES版本.‘es.nodes.wan.only”错误，但是当我启用跟踪日志时，应用程序能够连接到elasticsearch。我使用elasticsearch _2.11-2.4.5.jar将应用程序提交给本地the，以连接到elasticsearch 6.2.4。(InitializationUtils.java:196)
at org.elasticsearch.spar
浏览 0提问于2020-05-07得票数 1
我有Elasticsearch 6.4.2和Spark2.2.0ds.writeStream.outputMode("append").option("checkpointLoca
浏览 0提问于2018-11-14得票数 1
3回答
我使用的是来自的SharpZipLib开源.net库
我的目标是解压缩xml文件并将其读取到数据集中。但是，我在将文件读取到数据集中时遇到以下错误：“根级别的数据无效。第1行，位置1。”当我重新启动应用程序时，我可以将解压缩后的文件读取到数据集中。2.)如果我在写出xml文件后立即读入它(没有压缩)，那么它工作得很好。3.)如果我将数据集写入xm
浏览 3提问于2008-12-03得票数 1
回答已采纳
我需要用近25个t0 50 t0的随机数据填充ES，以便进行弹性搜索测试。任何简单的方法都可以做到这一点。我是ES和K8S的新手。任何输入或指针都会有很大帮助。
浏览 8提问于2019-12-11得票数 0
我们使用Spark Streaming将数据写入ElasticSearch，并通过JavaPairRDD (Spark 1.6.0)的saveAsNewAPIHadoopFile方法将数据写入Java。然而，我们确实注意到到ElasticSearch的连接数量增长非常快(从运行本地系统的可以看出)，最终导致ElasticSearch变得非常慢。如前所述，我们使用的是Spark 1.6.0和E
浏览 0提问于2016-09-15得票数 0
我有一个练习，实现一个服务，从Kafka获取数据，处理它，并使用Spark Streaming将结果存储到elasticsearch中。我可以从Kafka获取数据到我的服务中，并在Spark集群中处理它，但我不知道如何在操作中将结果持久化到elasticsearch中。}
我是Apache Spark的新手。请告诉我如何在处理完事件后将结果持久化到elasticsearch中。请注
浏览 0提问于2018-10-25得票数 0
1回答
我是elasticsearch的新手，我想索引我的网站日志，这些日志存储在HDFS上，以便快速查询。我有一个结构良好的管道，它每隔20分钟运行一次脚本，将数据摄取到HDFS中。我想把elasticsearch与它集成在一起，这样它也可以根据特定字段对这些日志进行索引，从而使用spark SQL提供更快的查询结果。因此，我的问题是，我是否可以仅基于特定字段对我的数据进行索引？es是否提供了一种直接索引avro序列化数据的方法，或者我是否需要将其转换为其他
浏览 1提问于2015-07-20得票数 0
1回答
我有一个Elasticsearch索引，它有接近3.2亿个文档，其大小为68 GB，它被划分为5个碎片。
我想要的是阅读整个索引从星火转换为拼花格式。如果我错了，请纠正我，但理论上，星火必须一批一批地循环数据，直到没有更多的数据。但是，我找不到如何用火花来实现这一点。我通过手动过滤(按压)数据来修正这个问题，从而减少了向Elasticsearch请求的数据量。我使用时间戳来限制查询的响应。为了能够读取整个索引，我不得不多次查询Elasticsearch
浏览 0提问于2017-11-23得票数 1
1回答
弹性搜索慢性能的火花写入
、、、
我似乎遇到了一个问题，在这个问题中，Spark给Elasticsearch的写信非常慢，在进行初始连接时需要相当长的时间(大约15分钟)，在这个过程中，Spark和Elasticsearch都处于空闲状态，这是我从火花写到ES:的方式
vgDF.write.format("org.elasticsearch.spark.sql").mode('append').option("es.resource",runn
浏览 0提问于2018-03-20得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
