这篇文章主要讨论一下ElasticSearch文档写入的关键步骤以及在使用ES Client使用过程的一些需要主要的问题。如果对ElasticSearch的基础概念不熟悉的同学可以先看一下上一篇文章【从0到1理解ElasticSearch文档写入和检索原理】。
#创建索引 PUT /product_v1?pretty #定义索引的mapping PUT /product_v1/_doc/_mapping?pretty { "_doc": { "dynamic": false, "properties": { "productOuterId": { "type": "keyword" }, "productName": { "type": "text", "fields": { "raw": { "type": "keyword" } } }, "productPrice": { "type": "long" }, "createTime": { "type": "date", "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis" } } } } |
---|
注意点
curl -X PUT "localhost:9200/product_v1/_doc/1?pretty" -H 'Content-Type: application/json' -d' { "productOuterId": "00001", "productName": "男装 柔软高领T恤(长袖初秋)", "productPrice": 130, "createTime": "2021-10-18 13:00" } ' |
---|
Es Client(<6.8.5 和 <7.5 )自身的死锁
1.ES Client的内置scheduler线程池定时调用线程A来flush()数据 2.线程A阻塞等待数据写入任务,写入数据网络异常会尝试retry(),retry()也是放入scheduler线程池中执行 3.但scheduler线程池的coreSize=1,线程A正在使用此线程,导致retry()任务一直阻塞等待空闲线 4.Retry()任务不执行,那么线程A的flush()任务也一直卡死等待
ES issue:
https://github.com/elastic/elasticsearch/issues/47599
https://github.com/elastic/elasticsearch/issues/44556
ES 客户端bulkIndex流程细节,如下:
ES 6.8.5/7.5 如何修复上述DeadLock?官方采用:初始化两个scheduler,分别给flush() 和retry()来使用
https://github.com/jakelandis/elasticsearch/commit/b7b59329c247ff61715f21f5c0f409a059249909
参考资料:
elastic: https://www.elastic.co/guide/en/elasticsearch/reference/6.8/index.html
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。