有没有办法使用Spark更新ElasticSearch中的特定字段？我到处都在找，但我找不到任何答案。我的脚本是用Scala编写的，除了查询之外，我似乎找不到任何其他方法来更新数据字段。举个例子，我有这样的数据： "source" : { "name" : "J
浏览 311提问于2021-08-10得票数 0
我正在使用Spark结构化流写入Elasticsearch 6.2.0 Sink： .writeStream .queryName("ElasticSink")
.option("checkpointLocation", s"", "Invoice
浏览 3提问于2018-09-03得票数 1
回答已采纳
Hadoop/火花: 2.3.1 ES-Hadoop : 7.0 ES : 7.0 ES.builder().enableHiveSupport()val df = EsSparkSQL.esDF(spark, Configuration.index)
df
浏览 4提问于2020-03-07得票数 1
ElasticSearch的官方文件说：df.write.format("org.elasticsearc
浏览 3提问于2020-12-16得票数 0
2回答
我有一个火花数据，我试图推动到AWS Elasticsearch，但在此之前，我是测试这个样本片段推到ES，spark = SparkSession.builder.appName('_id') 'org.elasticsearch.spark.sql' 'es.nodes', 'http:/
浏览 0提问于2019-07-17得票数 7
回答已采纳
什么是正确的方式，当使用弹性搜索与星火，更新现有的实体？
org.elasticsearch.hadoop.rest.EsHa
浏览 1提问于2015-06-07得票数 5
我在我的围棋应用程序中使用olivere/elastic库进行elasticsearch。我列出了elasticsearch文档的特定字段(例如fieldA)的值列表。我想通过在字段fieldA上搜索来更新所有文档的特定字段。
这是：解释了更新部分。但在我的例子中，没有要更新
浏览 0提问于2018-04-26得票数 0
使用Spark 1.6.0和ES 5.0.0-alpha5，我尝试在Spark中获取一些数据帧。我正在使用这个包使用
sqlContext.read.format("org.elasticsearch.spark.sql").option(
浏览 6提问于2016-10-10得票数 8
我试图在我的elasticsearch索引中更新geo_point字段的映射，但是遇到了问题。我正在使用Kibana中的dev工具控制台。
geo_point的数据采用双数组格式。我在elasticsearch-hadoop-5.3.1.jar中使用spark，数据将进入elasticsearch/kibana，但在我需要将其转换为ge
浏览 2提问于2017-05-09得票数 1
我想用火花检索一些数据从弹性搜索数据目录和我使用官方文件的方法，然后在这里错.这是我的代码(使用Java和JDK 1.8_221)：import org.apache.spark.api.java.JavaPairRDD;import org.elasticsearch.
浏览 3提问于2019-10-30得票数 0
回答已采纳
1回答
我是elasticsearch的新手，我想索引我的网站日志，这些日志存储在HDFS上，以便快速查询。我有一个结构良好的管道，它每隔20分钟运行一次脚本，将数据摄取到HDFS中。我想把elasticsearch与它集成在一起，这样它也可以根据特定字段对这些日志进行索引，从而使用spark SQL提供更快的查询结果。因此，我的问题是，我是否可以仅基于特定字段<
浏览 1提问于2015-07-20得票数 0
我正在从事一个Spark结构化流项目，目标是将插入到用户活动日志到ElasticSearch。问题：
如果在最后8小时内同一用户有更多的活动(日志)，更新counter字段，将活动的数量增加到它的值，最后，更新update_time字段</
浏览 0提问于2018-08-29得票数 0
回答已采纳
我正在使用UpdateByQuery，我想更新多个字段。在Elasticsearch文档中，它告诉如何更新特定字段。该怎么做呢？
浏览 8提问于2018-05-03得票数 0
我在Python中使用了以下函数来初始化Elasticsearch中的索引。我最近开始使用scala和spark。为了将elasticsearch集成到其中，我可以使用Spark的API，也可以使用Hadoop org.elasticsearch.hadoop。我通过Spark-elasticsearch ，至少可以在不包括Hadoop的
浏览 1提问于2015-05-31得票数 1
最近，一位客户将其ElasticSearch版本升级到7.13.3，我注意到在从特定索引检索文档时遇到了一些问题。我所做的是查询特定字段上的索引，而结果的dataframe缺少一些字段。这发生在一个java reproduce etl作业中，但是我能够在我的环境中重现这个问题。("org.elasticsearch.spark.sql").op
浏览 5提问于2022-03-23得票数 0
回答已采纳
我用python编写的elasticsearch查询指定我只想保存spark dataframe中的选定字段，但是我在dataframe中得到的是所有字段。", valueClass="org.elasticsearch.hadoop.mr.LinkedMapWrita
浏览 3提问于2019-07-25得票数 0
1回答
我有一个相当大的RDD，有400个字段来自Kafka spark流，我需要创建另一个RDD或Map，当我转换流时，从初始RDD流中选择一些字段，并最终编写Elasticsearch。我知道我的字段的字段名称，但不知道字段索引。
如何按字段名称将特定字段投影到新Map？
浏览 3提问于2016-03-25得票数 1
1回答
我有一段代码可以编译(Scala +Spark1.6)。然后我运行它(使用Spark1.6)，但是它抱怨没有一个1.6方法。什么给予?？"libraryDependencies += "org.elasticsearch" %% "elas
浏览 0提问于2016-01-29得票数 1
我必须满足两项要求：
我尝试像这样使用 (序列化的文档包含带有所需的Elasticsearch的字段_id )：
val rdd: RDD[String] = job.map{ r => r.toJson当我从配置中删除es.mapping.id和es.mapping.
浏览 8提问于2017-12-19得票数 1
我对Spark和Scala都不熟悉。我在网上读过一些文章。我使用Spark成功地从Elasticsearch获得了文档，但我被如何从文档中提取字段所困扰。Question1:如何打印特定字段。// Error!!@Mateusz的答案测试
$ bin/spark-shell --maste
浏览 0提问于2016-03-11得票数 0
云服务器
ICP备案
腾讯会议
云直播
实时音视频
腾讯云开发者
