我正在使用Spark结构化流写入Elasticsearch 6.2.0 Sink:
dataDf
.writeStream
.outputMode(OutputMode.Append)
.format("org.elasticsearch.spark.sql")
.queryName("ElasticSink")
.option("checkpointLocation", s"${s3Url}/checkpoint_elasticsearch")
...
.option("es.mapping.id", "TransactionID")
.option("es.mapping.timestamp", "InvoiceDateString")
.start("pos-transactions/broadcast") //ES index
然而,Elasticsearch抱怨道:
不能在ES 6.x及以上的索引/更新请求上使用时间戳。请删除es.mapping.timestamp设置
是否有其他选项可用于声明时间戳字段?
发布于 2018-09-04 04:54:04
最后,我创建了一个映射文档,它非常适合我:
https://stackoverflow.com/questions/52150041
复制相似问题