嗨,我正在使用ES版本6.6.1,而斯派克在ES中编写数据,抛出异常。
org.elasticsearch.hadoop.EsHadoopIllegalArgumentException:没有找到类型;在ES版本6和更低版本中写入时需要类型。期望索引/类型,但得到了my_index_name
df.write.format("org.elasticsearch.spark.sql")
.option("es.mapping.id", "id")
.mode("append").save("my_index_name")
有谁能帮我解决这个问题吗。谢谢
发布于 2022-09-13 13:57:08
我认为这可能是您的ElasticSearch-火花jar包版本不匹配。如果您确保依赖是正确的,那么您可以尝试:
df.write
.format("org.elasticsearch.spark.sql")
.option("es.mapping.id", "id")
.option("es.resource", "table/table_alias")
.option("es.write.operation", "upsert")
.option("es.nodes", es_node)
.option("es.port", "80")
.mode("append")
.save()
https://stackoverflow.com/questions/70064371
复制相似问题