ElasticSearch -无法加载包含超过2.1 B文档的索引
ElasticSearch是一个开源的分布式搜索和分析引擎，它基于Apache Lucene构建而成。它被设计用于处理大规模数据集，具有高性能、可扩展性和强大的搜索功能。
ElasticSearch的主要特点包括：
- 分布式架构：ElasticSearch采用分布式架构，可以将数据分散存储在多个节点上，实现数据的高可用性和容错性。
- 实时搜索和分析：ElasticSearch能够实时地对大规模数据进行搜索和分析，支持复杂的查询和聚合操作。
- 强大的全文搜索功能：ElasticSearch使用倒排索引来实现全文搜索，支持多种查询方式，包括关键字搜索、短语搜索、模糊搜索等。
- 多种数据类型支持：ElasticSearch支持多种数据类型的索引和搜索，包括文本、数字、日期、地理位置等。
- 可扩展性：ElasticSearch可以轻松地水平扩展，通过添加更多的节点来处理更大规模的数据。
- 高可用性：ElasticSearch提供了数据复制和故障转移机制，确保数据的高可用性和容错性。
- 开放性和可定制性：ElasticSearch是开源的，具有丰富的API和插件生态系统，可以根据需求进行定制和扩展。
ElasticSearch的应用场景包括：
- 搜索引擎：ElasticSearch可以用于构建全文搜索引擎，支持实时搜索和高性能的搜索结果返回。
- 日志分析：ElasticSearch可以用于实时分析和可视化大规模的日志数据，帮助用户快速定位和解决问题。
- 数据分析：ElasticSearch可以用于对大规模数据集进行实时的搜索和分析，支持复杂的聚合操作和数据可视化。
- 企业应用：ElasticSearch可以用于构建企业级的搜索和分析平台，帮助企业快速检索和分析大量的数据。
腾讯云提供了ElasticSearch的托管服务，称为Tencent Cloud Elasticsearch。它提供了高可用、高性能的ElasticSearch集群，支持自动扩展和数据备份，可以方便地部署和管理ElasticSearch实例。
更多关于Tencent Cloud Elasticsearch的信息，请参考腾讯云官方文档：Tencent Cloud Elasticsearch产品介绍
相关·内容
我将超过3800万个文档(文本字符串)加载到本地机器上的Elasticsearch索引中。我希望计算每个字符串的长度，并将该值作为元数据添加到索引中。
在将文档加载到Elasticsearch之前，是否应该将字符串长度计算为元数据？或者，在事实发生后，我可以用计算值更新元数据吗？
我对Elasticsearch/Kibana比较陌生，这些问题是由于以下Python实验而产生的：
数据作为字符串列表。
mylist = 'string_1'，'string_2'，.，'string_N‘L= len(s) for s in mylist #这个计算在我
浏览 3提问于2021-11-11得票数 1
回答已采纳
我想在elasticsearch 2.1中创建一个带有默认日期/时间字段的索引。2.1的文档指出，_timestamp在2.0中已弃用，改为使用date类型
因此，我的问题是，为所有新记录创建具有默认时间戳/日期的索引的正确方法是什么？
浏览 3提问于2015-12-28得票数 0
4回答
我有一个Graylog2.1服务器已经运行了一段时间。我最近没有注意我的保留率，今天早上我发现Graylog部分崩溃了，因为磁盘空间不足。目前，几乎100%的磁盘空间被Elasticsearch碎片占用。Graylog的web接口目前无法在它所处的状态下使用。我尝试了一些标准的Ubuntu技巧来释放磁盘空间，比如apt-get autoremove和clean，但是无法获得足够的web接口功能。
问题是，我目前可以找到的所有文件，以改变保留率和循环碎片，是通过网络接口。Graylog配置文件中不再显示唯一的配置选项。
有没有人知道一种从Graylog2.1中的Elasticsearch碎片中清
浏览 10提问于2016-09-15得票数 5
回答已采纳
我理解在elasticsearch中保持滚动数据窗口有两种主要模式：
按照logstash的建议，创建日索引，并删除旧索引，因此当它们从窗口掉下来时，会删除它们所包含的所有记录。
使用elasticsearch的TTL特性和一个索引，让elasticsearch在旧记录从窗口掉下来时自动删除它们
我本能地跟着2走，如：
我不需要写一份工作
一个单一的大索引更容易与我的同事沟通，并便于他们查询(我认为？)
任何导致旧日志事件出现的噩梦流动态都不会导致新索引的创建，旧事件只能停留在elasticsearch用来进行ttl清理的60年代。
但我的直觉告诉我，一次丢
浏览 4提问于2015-03-11得票数 3
回答已采纳
我使用elasticsearch为多个索引使用msearch获取日志。但我需要排除一些指数。假设我有a，b，c，d，e索引，但是我不想包含索引b，c。
我编写了elasticsearch查询来获取记录：
GET _msearch?
{"index":"*","size":100000,"exclude":["b","c"]} //used kibana to check indexes
{"query":{}} //required to successfully run the
浏览 0提问于2018-11-15得票数 1
回答已采纳
我一直在尝试设置一个elasticsearch集群，用于处理来自某些3D打印机的一些日志数据。我们有超过850 K文件每天产生20台机器。他们每个人都有自己的索引。
现在我们有16个月的数据，使得每个elasticsearch索引中有410 M个记录。我们正在用火花处理CSV文件中的数据，并将其写入带有3台机器的elasticsearch集群，其中每一台都有16 16的RAM和16个CPU核。但是，每次我们达到10-14亿doc/index时，我们就会得到一个网络错误。
Job aborted due to stage failure: Task 173 in stage 9.0 failed
浏览 2提问于2018-06-12得票数 1
我正在使用helm.elastic.co的舵图在kubernetes中运行节拍器。这样就可以将带有3776个字段的庞大索引模板加载到elasticsearch索引中。但实际上只使用了633，并将值发送给索引。
问题是，当节拍-节拍器-度量程序试图将事件发送到elasticsearch时，我得到了以下错误：
Cannot index event ..."reason":"Limit of total fields [5000] has been exceeded"}
此错误发生在节拍实例中，其中使用带有“收集器”度量集的prometheus模块。我不确定是否因为加
浏览 3提问于2021-12-01得票数 0
1回答
我在kubernetes上有一个Elasticsearch集群。最近，logstash无法将任何数据推送到群集，因为集群中的一个节点没有磁盘空间。
这是logstash中的错误
[Ruby-0-Thread-13@[main]>worker1: /usr/share/logstash/logstash-core/lib/logstash/pipeline.rb:383] elasticsearch - retrying failed action with response code: 403 ({"type"=>"cluster_bloc
浏览 0提问于2018-09-26得票数 2
回答已采纳
可以在接收elasticsearch的文档中包含“日期和时间”字段，而无需事先定义它。日期和时间对应于json接收到的elasticsearch
这是映射：
{
"mappings": {
"properties": {
"entries":{"type": "nested"
}
}
}
}
是否有可能在映射字段中定义它，以便elasticsearch自动包含当前日期？
浏览 17提问于2020-08-12得票数 1
回答已采纳
如何使用Python包装器提高搜索结果的准确性？我的基本示例返回结果，但结果非常不准确。
我在Ubuntu 16上运行Elasticsearch 5.2，首先创建索引并添加一些文档，例如：
es = Elasticsearch()
# Document A
es.index(
index='my-test-index',
doc_type='text',
body=dict(
search_key='some specific keywords',
weight=1.0,
d
浏览 2提问于2017-02-18得票数 0
我使用7.7版本的ELK堆栈设置了日志记录，如中所述。
我的logstash管道类似于建议的示例：
input {
gelf {
port => 12201
}
}
output {
stdout {}
elasticsearch {
hosts => ["http://elasticsearch:9200"]
}
}
大多数消息使用logstash.*作为索引模式显示在我的Kibana中。但有些消息会被丢弃。
2020-05-28 15:30:36,565 INFO [io.quarkus]
浏览 27提问于2020-05-28得票数 2
回答已采纳
2回答
我正在寻找一种云搜索解决方案，最好是基于AWS的解决方案(所以是Elasticsearch或CloudSearch)，用于维护项目目录的服务，并且每个用户都可以在他们的库中拥有这些项目的子集。
用户应该能够只搜索他们自己的库。他们无法访问整个项目目录。
该解决方案应该能够支持大约20,000项具有元数据的独特项目，并支持几百万用户，每个用户都拥有自己的库，平均包含10,000项。
什么是合理的配置来支持这一点？Elasticsearch或CloudSearch会满足这些要求吗？
编辑：
我最关心的是如何在不添加超过10亿条记录的情况下，让用户只有效地搜索自己的库。其中一个想法是在用户和他们的库
浏览 5提问于2017-03-21得票数 0
回答已采纳
我的elasticsearch服务器目前包含5B文档。但是，它停止了out DB的索引，我们的DB保存了7B记录。我目前只有5个碎片：
"number_of_shards"："5“
我怎么才能增加这个呢？为了更多的数据保持，会增加这个值吗？服务器是4TBSSD，目前只使用800 is。
浏览 1提问于2018-10-14得票数 0
回答已采纳
1回答
将多个值映射到弹性搜索中的唯一列
、、、、
我想和Elasticsearch一起处理一些Whatsapp聊天。所以我最初计划的是数据加载。
问题是，从Whatsapp导出的数据并不包含每个用户真正的唯一id，而是只包含从输出聊天的设备的联系人目录中获取的用户名称(即。用户可以更改数字或在同一组中有两个数字)。
因此，我需要在用户名和自生成的唯一id之间创建一个自定义显式映射表，该id将被填充到另一列中。
然后，我的问题是：“如何在Elasticsearch中实现这种显式映射以生成额外的唯一列？”或者，一个有效的答案可能是一个完全不同的方法来解决这个问题。
PS。在我编写时，我认为解决方案可能是在摄入过程中，就像在python脚本中一样，
浏览 7提问于2022-08-27得票数 0
我正在使用节点js写入Elasticsearch，并且我需要处理超过最大索引大小的情况，以便在发生这种情况时可以写入新的索引。问题是我找不到异常的名称或该情况的状态代码。谢谢。
浏览 14提问于2017-03-05得票数 0
1回答
我需要根据以下工作流程决定是使用elasticsearch import还是update/upsert。
Elasticsearch是一个商业智能应用程序的后端。
每天，我们以纯文本文件的形式从Hadoop收集大约200 we的日志和分析数据。
删除elasticsearch中的所有现有索引，并为今天的数据创建一个新的索引。
将200 is数据导入到新索引中。
导入大约需要3.5小时，然后elasticsearch在接下来的24小时内为应用程序提供服务，直到下一次导入过程开始，所有事情都会再次重复。
我们正在使用elasticsearch-php SDK来处理批量导入，如果该信息可以提供帮助的
浏览 21提问于2018-02-14得票数 0
我需要保存一些数据，这是一些操作的结果，使指数化操作(分析器或其他方式)到另一个elasticsearch索引。例如，我有：
文件1.1；时间2s
文件1.2；时间5s
文件2.1；时间3s
2.2号文件；时间7s
例如，我需要在其他索引中保存1.1-1.2的结果(这里的结果是2-5 => 3) (为了性能)。当然，这是一个简化，还有其他一些领域。但做这件事的最佳方式是什么。
浏览 3提问于2013-08-28得票数 0
回答已采纳
我已经更新到ElasticSearch 2.1了。从2.0开始不再支持删除映射类型。
以前，简单地删除一个类型，然后重新创建它是非常有用的。
所以，问题是我应该怎么做才能在ElasticSearch 2.1上实现它呢？
假设我有一个类型为tp的索引idx。我想我应该使用alias，但是我不知道怎么做。是否存在用于index-level的alias？是否存在用于type-level的alias
浏览 1提问于2015-12-15得票数 0
我试图索引超过7000条记录到elasticsearch。我将根据JSonarray的长度从它中选择所有这些记录，我将遍历数组，并使用Indexrequest将记录逐一索引到elasticsearch中。因为我是新来的，所以我想确认一下这个方法是正确的。下面我已经给出了我的代码。
for (int i = 0; i < odsData.size(); i++) {
IndexRequest request = new IndexRequest(ConstantsHelper.INDEX_NAME + strDate);
浏览 8提问于2020-09-23得票数 0
回答已采纳
我们使用Nutch爬行一些站点，将索引推到Elasticsearch，并通过调用Elasticsearch使用自定义UI进行搜索。
问题是，我需要爬行一些站点，但将它们排除在Elasticsearch索引之外(例如，我需要爬行A、B和C，但不包括索引中的B)我们无法找到在将索引推送到Elasticsearch阶段时可以实现的解决方案，因此我们决定尝试在Elasticsearch查询页面上筛选。
elasticsearch索引( nutch创建的)包含一个URL字段。这是完美的，但问题是Elasticsearch (据我理解)使用全文方法进行了解析，例如，实际上被解析为4个或更多的键盘(http
浏览 0提问于2018-01-29得票数 0
我已经将ElasticSearch更新为2.1版本。
在此之前，我使用以下方法删除了类型中的每个文档：
curl -XDELETE '<server_node>:<port>/<index>/<type>' -i
curl -XDELETE 'http://ESNode01:9201/living/inputs' -i
从现在开始，我们的反应是：
HTTP/1.1 400不良请求内容-类型:text/平原；charset=UTF-8
内容长度: 61
未为uri /living/inputs和方法删除找到处理程序
浏览 4提问于2015-12-15得票数 9
回答已采纳
我使用的是ElasticSearch 5，我需要自动删除超过X天/周或某个日期的文档。我不确定_ttl在5版中是否可用，但从我所读到的资料来看，请不要推荐它。
我将更新我的文档，它只是一个非更新的定义期间，我需要删除。
有什么想法吗？
浏览 1提问于2016-12-07得票数 0
回答已采纳
我正在编写一个简单的应用程序，通过Kafka使用者将数据存储到Elasticsearch中。我的问题是，每当我执行相同的消费者应用程序，它是抛出一个异常后，处理40或50条记录。异常描述指出，总字段的限制已超过索引(1000)。我所了解到的是，Elasticsearch中的默认值(条目)是1000，但在我的例子中，它远远低于1000。
我在下面添加一个例外，谢谢您的帮助和建议！
Suppressed: org.elasticsearch.client.ResponseException: method [POST], host [https://kafka-poject-twitter-821
浏览 6提问于2020-06-22得票数 0
回答已采纳
我正在尝试使用Kibana来可视化一些我在Elasticsearch中摄入的兄弟记录。我已经载入了~1个月的记录(总共约有30亿条记录，还有~4TB)。数据被摄取和索引，没有问题。我可以在Kibana中构建一些简单的可视化，但是当我尝试加载我创建的仪表板时(其中包括12种不同的可视化，并且至少启动了许多Elasticsearch查询)，我就开始收到错误。
我正在运行一个包含5个数据节点的7节点Elasticsearch集群：
host001 192.168.1.1 18 8 0.00 - * Feron
host002 192.168.1.2 15 8 0.00 - - Dark
浏览 3提问于2015-10-15得票数 1
回答已采纳
我正在使用麋鹿堆栈(更多的ELG堆栈，因为我使用Grafana作为前端，而不是出于个人原因使用kibana )。我使用Filebeat将日志文件发送到Logstash，然后将其存储在Elasticsearch中，并通过Grafana显示。我使用了本指南作为设置。
现在，当我在filebeat.yml配置文件中添加了另一条路径，然后删除前面在Elasticsearch中的索引，然后通过以下命令再次加载模板时，
filebeat setup --template -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=
浏览 0提问于2018-06-05得票数 0
我有一个中等大小的elasticsearch索引(1.46T或~1e8文档)。它运行在4台服务器上，每个服务器都有64 OS的Ram，在弹性服务器和操作系统之间平均分配(用于缓存)。
我想尝试新的“重要条款”聚合，因此我启动了以下查询.
{
"query": {
"ids": {
"type": "document",
"values": [
"xCN4T1ABZRSj6lsB3p2IMTffv9-4ztzn1R11P_NwTTc"
]
浏览 3提问于2014-04-23得票数 6
回答已采纳
我们计划将三个应用程序从solr迁移到elasticsearch。我们面临的一个问题是，所有这些应用程序都使用solr的单个实例，并且它们在solr中使用核保护数据不受其他应用程序的影响。因此，在solr中，每个应用都有自己的核心。因此，没有其他应用程序可以读取/更新其数据。
我已经浏览了一些关于elasticsearch的比较站点和入门教程，但无法找到可以从elasticsearch获得相同功能的功能。为每个应用程序获取单独的elasticsearch实例不是一个选项。
浏览 1提问于2019-09-17得票数 0
回答已采纳
3回答
如果elasticsearch快照包含多个索引(例如: wikipedia、ehow、howStaffWorks )，那么我们是否可以将这些索引中的一个加载到elasticsearch服务器，或者在加载快照时必须加载所有索引？
浏览 5提问于2014-09-30得票数 1
回答已采纳
我有一个elasticsearch集群，它的设置为6个节点(版本2.3.5，16 GB堆)。
我已经有超过3000个timeseries索引与默认的5个碎片和一个副本。最后，我在连接到集群的节点方面遇到了问题。不仅有4个节点存在。另外两个不能连接。它们记录一个连接到主节点的错误：
Caused by: org.jboss.netty.channel.ConnectTimeoutException: connection timed out:
因此，在4个节点上，每个节点上有3000多个碎片。每个节点有超过26000个开放描述符。
我开始重新编制他们的索引以减少碎片。但问题是:对于典型的ela
浏览 4提问于2016-09-30得票数 2
回答已采纳
我使用NodeJS elasticsearch包与ElasticSearch交互。我有一个有file字段的文档。我希望能够上传一个文件到索引，但我发现的唯一方法是使用elasticsearch-mapper-附件插件。
问题是，如果我使用它，就必须在内存中加载整个文件，将其编码到Base64，然后将字符串传递给ElasticSearch。
我希望能够将一个流传递给ElasticSearch (引用任何二进制文件: pdf、xls、doc、ppt)。
浏览 2提问于2016-09-29得票数 1
回答已采纳
我正在将大约4000万份文档索引到Elasticsearch中。通常是一次性加载数据，然后我们在上面运行查询。索引本身没有进一步更新。然而，Elasticsearch的默认设置并没有给我带来我所期望的吞吐量。
因此，在需要调优和验证的长列表中，我想知道按业务键订购是否有助于提高搜索吞吐量。我们所有的分析查询都使用这个键，并且它已经被索引为关键字，我们对它执行如下所示的筛选，
{
"query" : {
"bool" : {
"must" : {
"multi_
浏览 5提问于2020-10-02得票数 0
回答已采纳
我在C#中使用Serilog来创建一个日志文件，该文件由Filebeat摄取并通过Logstash发送到Elasticsearch。Elasticsearch索引符合ECS 1.5。
日志文件有时包含字段"host.ip“的错误值，它可能包含类似"localhost:5000”的值。这会导致日志帖子被拒绝，因为这样的字符串无法转换为ip编号。这都是意料之中的事情，更正日志文件的问题不在本问题的讨论范围内。
我决定在索引级别添加"ignore_malformed: true“设置。在此之后，日志帖子不再被拒绝-我可以在Elasticsearch中找到它们。因此，设置已被证
浏览 32提问于2020-06-05得票数 0
回答已采纳
1回答
我有一个超过一百万行的数据集。我已经使用logstash集成了elasticsearch和Mysql。当我输入以下URL以获取邮递员时，
*
我得到以下信息：
{
"took": 1,
"timed_out": false,
"_shards": {
"total": 5,
"successful": 5,
"failed": 0
},
"hits": {
"total": 2,
"max_score": 1,
浏览 1提问于2017-08-31得票数 0
回答已采纳
2回答
在对elasticsearch中的文档进行索引时，我遇到了以下问题，我的文档包含一些在其他文档中不重复的字段，因此我最终拥有了一个超过100.000个元素的映射。让我们看一个例子：
如果我将类似的内容发送到一个空索引：
{"example":{
"a1":123,
"a2":444,
"a3":52566,
"a4":7,
.....
"aN":11
}
}
它将创建以下映射：
{"example" : {
浏览 1提问于2015-05-22得票数 1
目前，我正在使用以下程序从elastic search中提取id及其严重性信息。
from elasticsearch import Elasticsearch
from elasticsearch_dsl import Search, Q
client = Elasticsearch(
[
#'http://user:secret@10.x.x.11:9200/',
'http://10.x.x.11:9200/',
],
verify_certs=True
)
s = Search(using=cl
浏览 0提问于2016-08-02得票数 1
回答已采纳
我正在尝试使用kafka connect elasticsearch将数据从apache kafka producer发送到elastic search
在elasticsearch中获取以下错误：
[2017-12-21T11:00:54,979][DEBUG][o.e.a.b.TransportShardBulkAction]
[pageviews7][0] failed to execute bulk item (index) BulkShardRequest
[[pageviews7][0]] containing [index {[pageviews7][kafkaconnect
浏览 13提问于2017-12-21得票数 1
1回答
当我们试图将更多的文档摄取到'Lucene‘实例中超过其最大限制2,147,483,519时会发生什么？ 我读到，当我们接近20亿个文档时，我们开始看到性能下降。但是'Lucene‘会停止接受超过其最大限制的新文档吗？ 另外，当达到文档限制时，“Elasticsearch”如何处理它的一个分片的相同场景。
浏览 29提问于2020-06-30得票数 2
回答已采纳
尝试建立弹性搜索，基班纳和日志存储从本地文件夹读取日志。它在7.x.x版上运行良好，但当我试图升级到8时，它就没有了。
我正在使用这个YAML文件：
version: '3.6'
services:
Elasticsearch:
image: elasticsearch:8.4.0
container_name: elasticsearch
volumes:
- elastic_data:/usr/share/elasticsearch/data/
environment:
- discovery.type=single-no
浏览 7提问于2022-08-27得票数 0
我在elasticsearch中有一个名为“动物”的索引。其中包含几个“狗”类型的文档。我想删除“动物”索引中所有的“狗”文档。我正在使用python elasticsearch包。我的python代码如下：
connection = Elasticsearch([{"host": "myhost", "port": "myport" } ])
body = {} # What should I put in the body???
connection.bulk(body, index="animals", do
浏览 2提问于2016-07-11得票数 0
我停止了elasticSearch服务并重新启动了它。现在，其中一个索引无法加载。以下是索引的状态： yellow open test-index _taPEhm3ReSwCYjb1Y5hQA 1 1 3 0 7.5kb 7.5kb
yellow open wiki-index-000001 aaZvlpgJSuO43uMGKuyqKw 1 1 0 0 208b 208b
yellow open wiki-index-unique s1tU2HpnStWNobkZjQ7KQA 1 1 118098273 5
浏览 28提问于2020-11-21得票数 0
回答已采纳
我将包含catalogue_number和name的product类型数据加载到Elasticsearch中。我还将包含name和purchases的customer数据加载到Elasticsearch中(其中购买量是产品编号的数组)。
例如：
CATALOGUE_NUMBER, NAME
518, "Toilet Paper"
388, "Candy Bar"
263, "Carrots"
而且，对于客户：
NAME, PURCHASES
"Jack", [518, 388]
"John", [263]
"
浏览 4提问于2017-08-12得票数 0
我刚刚安装了ElasticSearch，根本没有加载任何数据。htop显示了运行大量线程的ElasticSearch。
为什么ElasticSearch要运行所有这些进程？它在做什么？
我知道您可以将htop配置为将所有线程分组为一行。但是，这仍然不能回答为什么任何事情都在运行的问题。
浏览 1提问于2016-01-28得票数 3
回答已采纳
我有一个elasticsearch索引，它有多个文档，现在我想用一些新的文档更新索引，这些文档也可能包含现有文档的副本。做这件事最好的方法是什么？我在所有CRUD操作中使用elasticsearch py
浏览 3提问于2020-09-28得票数 0
回答已采纳
假设我拥有具有不同度量属性的列以及相应的度量值的Pandas数据。
ID Parameter Value
0 'A' 4.3
1 'B' 3.1
2 'C' 8.9
3 'A' 2.1
4 'A' 3.9
. . .
. . .
. . .
100
浏览 1提问于2018-02-05得票数 25
回答已采纳
我试图为elasticsearch index创建index。当我使用下面的查询创建索引时，可以应用mappings。
请查找在elasticsearch中创建索引的查询
put index/profile/1
{
"firstname" : "Karthik",
"lastname" : "AS",
"address" : "4/167, SouthExtn, shanmuga nagar, NA",
"Skill" : "Java, JEE
浏览 0提问于2018-06-11得票数 0
回答已采纳
我注意到elasticsearch一夜之间消耗了超过30 of的磁盘空间。相比之下，我想要索引的所有日志的总大小只有5 GB...Well，甚至不是真的，可能更像是2.5-3 3GB。这有什么原因吗?有没有办法重新配置它？我在运行麋鹿堆栈。
浏览 1提问于2015-01-16得票数 7
回答已采纳
据我所知，索引(或数据)存储在
/var/lib/elasticsearch
默认情况下，此文件夹包含nodes和0和1文件夹，这些文件夹的总体大小为376M。
日志存储在
/var/log/elasticsearch
-rw-r--r-- 1 elasticsearch elasticsearch 1.4G Dec 17 23:59 elasticsearch.log.2014-12-17
-rw-r--r-- 1 elasticsearch elasticsearch 1.5G Dec 18 19:35 elasticsearch.log.2014-12-18
-rw-r--r-- 1
浏览 0提问于2015-01-05得票数 5
回答已采纳
我是elasticsearch的新手，并且拥有巨大的数据( mysql表中超过16k的大行)。我需要将此数据推送到elasticsearch中，但在将其编入索引时遇到问题。有没有办法让索引数据更快？如何处理海量数据？
浏览 1提问于2012-05-21得票数 6
无论我做什么，我都不能增加超过10000事件/秒的索引。在一个日志存储实例中，我每秒从kafka获得大约13000个事件。我运行3 Logstash在不同的机器读取数据从相同的卡夫卡主题。
我已经建立了一个麋鹿集群与3个Logstash读取数据从卡夫卡，并发送到我的弹性集群。
我的集群包含3个Logstash、3个弹性主节点、3个弹性客户端节点和50个弹性数据节点。
Logstash 2.0.4
Elastic Search 5.0.2
Kibana 5.0.2
所有Citrix VM的配置相同：
红帽Linux-7
英特尔(R) Xeon(R) CPU E5-2630 v3 @ 2.40G
浏览 3提问于2017-01-26得票数 0
2回答
我正在使用lambda将上传到S3的文件通过ES摄取附件插件推送到亚马逊网络服务托管的elasticsearch上。
有些PDF文件可能会很大-超过100mb -而且似乎最好是以块的形式流式传输文件，而不是将整个文件缓冲区加载到lambda内存中。我见过的s3-lambda-es示例代码都是在json日志上工作的，这些日志很容易流传输，但我还没有看到任何人使用二进制文档来处理摄取插件。
注意:我在http-aws-es connectionClass中使用了elasticssearch-js库来让它与lambda一起工作。
我当前的代码基本上可以工作，但它在发送到ES之前加载整个pdf。下面是
浏览 0提问于2017-04-30得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
