spark Could not write all entries
spark Could not write all entries
机器学习和大数据挖掘
发布于 2019-07-02 09:16:42
发布于 2019-07-02 09:16:42
文章被收录于专栏：数据挖掘
使用 spark 将 dataFrame 储存到 elasticsearch 出现如下报错：
Caused by: org.elasticsearch.hadoop.EsHadoopException: Could not write all entries [1/1] (Maybe ES was overloaded?). Error sample (first [1] error messages):
rejected execution of org.elasticsearch.transport.TransportService$4@7d5f91de on EsThreadPoolExecutor[bulk, queue capacity = 50, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@3447703a[Running, pool size = 32, active threads = 32, queued tasks = 68, completed tasks = 9151096]]
Bailing out...这个无法查到定位到报错位置，所以在新建 spark 的时候进行如下配置：
val masterUrl = "local"
val appName = "ttyb"
val sparkConf = new SparkConf()
.setMaster(masterUrl)
.setAppName(appName)
.set("es.nodes", "172.16.14.21")
.set("es.port", "9200")
//Bailing out...错误
.set("es.batch.size.entries", "1")
//插入失败后无限重复插数据
.set("es.batch.write.retry.count", "-1")
//查数据等待时间
.set("es.batch.write.retry.wait", "100")
val Spark = SparkSession.builder().config(sparkConf).getOrCreate()得到新的错误：
org.elasticsearch.hadoop.rest.EsHadoopInvalidRequest:
null报错显示：
ES负载过高，需要重新修复
本想重启 ES ，发现是机器 磁盘空间已满 ，查错成功
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2018-03-05 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service（ES）是云端全托管海量数据检索分析服务，拥有高性能自研内核，集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群，也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务，它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
腾讯云开发者
