我通过可能的Stackoverflow阅读到es-hadoop / es-spark项目使用批量索引。如果是，则默认批处理大小为BulkProcessor(5Mb)。有没有什么配置可以改变这一点。
浏览 3提问于2016-11-09得票数 0
2回答
管理ES集群的主开发人员声明，将单个文档加载到ES只会为我们提供大约每秒30 / 40的创建。然而，大容量操作将给我们提供更多的范围内的1,000+。我意识到批量总是更快(或者通常是)，并且对任何进程都有硬件/环境的限制。然而，使用其他技术，您不会为单个插入付出如此沉重的代价。我显然是无知的，当谈到埃斯。你为什么要为用ES写的文档付出如此沉重的代价？还是我们只是没有得到适当的信息？
目前，所有的写操作都是在批量
浏览 2提问于2014-10-10得票数 3
回答已采纳
在我们的项目中，我们使用Apache Spark来写入ES。我们运行多个并行写入ES的spark作业。我们处理的数据量太大，导致写入吞吐量高达约5K写入/秒。我们希望限制ES写入，以便将其降低到500到1000写入/秒的范围。我们遇到过像es.batch.size.bytes和es.batch.size.entries这样的ES配置，但我们不确定这些配置如何与A
浏览 15提问于2020-07-20得票数 1
有没有人可以分享一下索引器端的配置，以便对传输中的数据(批量写入)进行压缩(gzip/deflate)，以减少索引时间的网络消耗。
我能够在ES端测试启用解压缩数据。
浏览 20提问于2019-12-03得票数 1
我使用elasticsearch-php在elasticsearch上运行了一个基准测试。我将10000个索引所花费的时间逐个与10000个文档的批量所用的时间进行比较。在我的vpn服务器3核2 Gb内存上，无论有没有批量索引，性能都是一样的。<?phprequire 'vendor/autoload.php';
$<e
浏览 0提问于2015-05-31得票数 3
我从一个ES环境中读取数据，并向另一个ES环境中写入数据。由于各种原因，这是目前唯一可用的解决方案。我发了一台这样的扫描仪。{"match_all": {}}},
index="the_index") 我是否可以将此扫描辅助程序的结果传递给批量编写器
浏览 26提问于2019-06-14得票数 0
回答已采纳
我阅读了文档并创建了ES集群，该集群由一个主节点和两个数据节点组成：...node.ingest: true我的主要问题-连接到ES时应该使用哪个节点？
我认为应该是Master节点，但是，我也可以连接到Data节点。
浏览 37提问于2019-10-29得票数 2
回答已采纳
我想知道是否有可能在批量请求的主体内设置所有文档的写入一致性，或者在每个文档的基础上设置写入一致性(使用NEST或ES JSON)？
浏览 2提问于2016-08-22得票数 0
1回答
我有一个使用streams读取文件的node.js程序( ) .on('end',endFunction) processFunction(nodeName,data,cb); .pipe(es.map(function(data,cb) {
writeFunction
浏览 4提问于2014-12-04得票数 0
在尝试使用python的大容量API索引大约20000条记录(每条记录的大小约为100 mb )时，我看到最大写入队列大小为6。下面我对批量索引正确(默认配置为500块和100 mb块大小)的理解是正确的吗？
Bulk API将向ES发送40个请求(20000/500个)。
浏览 8提问于2021-03-22得票数 0
回答已采纳
我开发了一个相对较大的在线商店与PHP后端，它使用elasticsearch的一些事情(如文本搜索，日志…等)。什么是行业标准？或者我的担心是徒劳的，ES针对此进行了优化？
谢谢。
浏览 17提问于2021-03-05得票数 0
回答已采纳
1回答
我想使用elastica在elastic search中进行批量更新。数据来自postgresql数据库，es id与psql id相同。当在不存在的es中对is进行批量更新时，会抛出异常--这很糟糕。当尝试删除一个不存在的id时，也会出现异常--也很糟糕。
有没有一种优雅而高效的解决方案来避免异常的批量更新？
浏览 0提问于2014-10-28得票数 0
为了达到POC的目的，我尝试将批量文档插入到elasticsearch中，达到每秒10K的插入次数。threadpool.bulk.size: 100
但我希望写入性能为有人能建议如何配置一个重写优化的ES集群吗？
浏览 3提问于2014-01-08得票数 4
3回答
我正在使用python ElasticSearch客户机执行批量操作，一次为100个文档建立索引。我想计算索引中的文档总数。因此，我执行批量操作，然后计算索引中的文档数，如下所示：es_client.count('index').get('count')我怀疑批量操作还没有完成。如果我错了，请纠正我，有什么解决方法可以做我想做的事情？
浏览 0提问于2018-04-06得票数 13
有没有人比较过并行单个写入和并行批量写入与Firestore之间的性能？ 我每天都在尝试使用数据流导入作业将数据写入Firestore，并且能够在10分钟内写入大约250万条记录。目前，写入是以批处理模式完成的，批处理大小为400。 只是好奇单个写入是否可以提供比批量写入更高的性能？
浏览 19提问于2021-04-16得票数 0
用于索引包含100万行的CSV文件：from pyes import *
有没有更有效的方法来做到这一点？一个sleep()延迟会有帮助吗？或者，有没有一种简单的方法可以通过编程将csv分解成更小的块？
谢谢。
浏览 0提问于2012-01-25得票数 4
回答已采纳
我正在为我的应用程序构建一个批量操作，它只包含单文档写入操作。此外，我已经正确地在我的连接字符串中添加了可重试写入选项。
提前谢谢你，
浏览 3提问于2021-04-12得票数 1
1回答
我正在使用AWS服务，我得到了很多es_rejected_execution_exception。
根据它们的，我们应该提高应用程序的索引性能，添加更多的节点，或者切换到更大的实例类型。
浏览 1提问于2020-09-15得票数 1
回答已采纳
有没有办法使用Tire gem从ES索引中批量删除文档？articles = Article.where("id < 10")
import articles
end
浏览 3提问于2013-07-06得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
对象存储
云直播活动推荐
腾讯云开发者
