一日一技：在ES批量插入数据超时时自动重试
当我们使用ES批量插入数据的时候，一般会这样写代码：
from elasticsearch import Elasticsearch, helpers
es = Elasticsearch(hosts=[{'host': 'localhost', 'port': 9200}])
def gendata(): mywords = ['foo', 'bar', 'baz'] for word in mywords: yield { "_index": "mywords", "_type": "document", "doc": {"word": word}, }
helpers.bulk(es, gendata())但当ES的负荷过大时，这种写法可能会抛出连接超时的异常。
为了解决这个问题，在初始化ES连接对象时，可以设置一个更大的超时时间：
es = Elasticsearch(hosts=[{'host': 'localhost', 'port': 9200}], timeout=60)但有时候，即时设置为60秒还是有可能遇到超时异常，但这个超时时间并非越大越好，所以最好能够让ES在遇到超时的情况下自动重试。
在创建ES连接对象时，还可以再加两个参数，实现超时自动重试3次：
es = Elasticsearch(hosts=[{'host': 'localhost', 'port': 9200}], timeout=60, max_retries=3, retry_on_timeout=True)通过添加 max_retries和 retry_on_timeout两个参数，就能实现超时自动重试了。
如果你直接看ES的文档，你可能会找不到这两个参数，如下图所示。
这并非是ES的文档有问题，而是因为这两个参数隐藏在 **kwargs里面，如下图所示。
点进 Transport就可以看到这两个参数：
本文参与 腾讯云自媒体同步曝光计划，分享自微信公众号。
原始发表：2019-05-13，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service（ES）是云端全托管海量数据检索分析服务，拥有高性能自研内核，集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群，也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务，它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
腾讯云开发者
