专栏首页二狗的DBA之路通过 esrally 压测elasticsearch

通过 esrally 压测elasticsearch

需要安装的软件:

python3

git版本高于1.9

python3的安装,忽略,很简单

git源码编译安装:

https://mirrors.edge.kernel.org/pub/software/scm/git/
tar xf git-2.21.0.tar.gz 
cd git-2.21.0
./configure --prefix=/usr/bin/
make -j 4 && make install

安装JDK12

jdk地址: 

wget https://download.java.net/java/GA/jdk12.0.2/e482c34c86bd4bf8b56c0b35558996b9/10/GPL/openjdk-12.0.2_linux-x64_bin.tar.gz 

tar xf openjdk-12.0.2_linux-x64_bin.tar.gz  -C /usr/local/

创建es用户

useradd es 
su - es
export JAVA_HOME=/usr/local/jdk-12.0.2
export PATH=$JAVA_HOME/bin:$PATH

esrally官方文档: https://esrally.readthedocs.io/en/latest/configuration.html

开始配置 esrally:

/usr/local/python3/bin/esrally  configure

然后会创建 /home/es/.rally/ 这个目录

/usr/local/python3/bin/esrally  list tracks

Available tracks:
Name           Description                                                                                                                                                                        Documents    Comessed Size    Uncompressed Size    Default Challenge        All Challenges
-------------  ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------  -----------  ---------------  -------------------  -----------------------  ---------------------------------------------------------------------------------------------------------------------------
geopointshape  Point coordinates from PlanetOSM indexed as geoshapes                                                                                                                              60,844,404   470 MB           2.6 GB               append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-fast-with-conflicts
metricbeat     Metricbeat data                                                                                                                                                                    1,079,600    87.MB            1.2 GB               append-no-conflicts      append-no-conflicts
pmc            Full text benchmark with academic papers from PMC                                                                                                                                  574,199      5.5B             21.7 GB              append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-sorted-no-conflicts,append-fast-with-conflicts
http_logs      HTTP server log data                                                                                                                                                               247,249,096  1.2B             31.1 GB              append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-sorted-no-conflicts,append-index-only-with-ingest-pipeline,update
geonames       POIs from Geonames                                                                                                                                                                 11,396,505   252 MB           3.3 GB               append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-sorted-no-conflicts,append-fast-with-conflicts
geopoint       Point coordinates from PlanetOSM                                                                                                                                                   60,844,404   481 MB           2.3 GB               append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-fast-with-conflicts
eventdata      This benchmark indexes HTTP access logs generated based sample logs from the elastic.co website using the generator available in https://github.com/elastic/rally-eventdata-track  20,000,000   755 MB           15.3 GB              append-no-conflicts      append-no-conflicts
nested         StackOverflow Q&A stored as nested docs                                                                                                                                            11,203,029   663 MB           3.4 GB               nested-search-challenge  nested-search-challenge,index-only
so             Indexing benchmark using up to questions and answers from StackOverflow                                                                                                            36,062,278   8.9B             33.1 GB              append-no-conflicts      append-no-conflicts
geoshape       Shapes from PlanetOSM                                                                                                                                                              60,523,283   13.GB            45.4 GB              append-no-conflicts      append-no-conflicts
noaa           Global daily weather measurements from NOAA                                                                                                                                        33,659,481   947 MB           9.0 GB               append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only
percolator     Percolator benchmark based on AOL queries                                                                                                                                          2,000,000    102 kB           104.9 MB             append-no-conflicts      append-no-conflicts
nyc_taxis      Taxi rides in New York in 2015                                                                                                                                                     165,346,692  4.5B             74.3 GB              append-no-conflicts      append-no-conflicts,append-no-conflicts-index-only,append-sorted-no-conflicts-index-only,update,append-ml
--------------------------------
[INFO] SUCCESS (took 51 seconds)
--------------------------------

压测阿里云环境的es2.3.3

su - es

export JAVA_HOME=/usr/local/jdk-12.0.2

export PATH=$JAVA_HOME/bin:$PATH

/usr/local/python3/bin/esrally --pipeline=benchmark-only --target-hosts=es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200

------------------------------------------------------

    _______             __   _____

   / ____(_)___  ____ _/ /  / ___/_________  ________

  / /_  / / __ \/ __ `/ /   \__ \/ ___/ __ \/ ___/ _ \

 / __/ / / / / / /_/ / /   ___/ / /__/ /_/ / /  /  __/

/_/   /_/_/ /_/\__,_/_/   /____/\___/\____/_/   \___/

------------------------------------------------------

2019-12-05 11:36:03,880 ActorAddr-(T|:44952)/PID:1712 esrally.reporter INFO 

|                                                         Metric |                   Task |       Value |    Unit |

|---------------------------------------------------------------:|-----------------------:|------------:|--------:|

|                     Cumulative indexing time of primary shards |                        |     50.6006 |     min |

|             Min cumulative indexing time across primary shards |                        |           0 |     min |

|          Median cumulative indexing time across primary shards |                        |           0 |     min |

|             Max cumulative indexing time across primary shards |                        |     11.7327 |     min |

|            Cumulative indexing throttle time of primary shards |                        |           0 |     min |

|    Min cumulative indexing throttle time across primary shards |                        |           0 |     min |

| Median cumulative indexing throttle time across primary shards |                        |           0 |     min |

|    Max cumulative indexing throttle time across primary shards |                        |           0 |     min |

|                        Cumulative merge time of primary shards |                        |     28.7238 |     min |

|                       Cumulative merge count of primary shards |                        |         634 |         |

|                Min cumulative merge time across primary shards |                        |           0 |     min |

|             Median cumulative merge time across primary shards |                        |           0 |     min |

|                Max cumulative merge time across primary shards |                        |     7.40308 |     min |

|               Cumulative merge throttle time of primary shards |                        |     3.58372 |     min |

|       Min cumulative merge throttle time across primary shards |                        |           0 |     min |

|    Median cumulative merge throttle time across primary shards |                        |           0 |     min |

|       Max cumulative merge throttle time across primary shards |                        |     1.21168 |     min |

|                      Cumulative refresh time of primary shards |                        |     12.5344 |     min |

|                     Cumulative refresh count of primary shards |                        |        3960 |         |

|              Min cumulative refresh time across primary shards |                        |           0 |     min |

|           Median cumulative refresh time across primary shards |                        |           0 |     min |

|              Max cumulative refresh time across primary shards |                        |     2.88455 |     min |

|                        Cumulative flush time of primary shards |                        |   0.0517667 |     min |

|                       Cumulative flush count of primary shards |                        |          17 |         |

|                Min cumulative flush time across primary shards |                        |           0 |     min |

|             Median cumulative flush time across primary shards |                        |           0 |     min |

|                Max cumulative flush time across primary shards |                        |   0.0142167 |     min |

|                                             Total Young Gen GC |                        |     429.144 |       s |

|                                               Total Old Gen GC |                        |      80.149 |       s |

|                                                     Store size |                        |     42.9031 |      GB |

|                                                  Translog size |                        | 2.76323e-06 |      GB |

|                                         Heap used for segments |                        |     155.989 |      MB |

|                                       Heap used for doc values |                        |     1.71252 |      MB |

|                                            Heap used for terms |                        |     151.204 |      MB |

|                                            Heap used for norms |                        |    0.132751 |      MB |

|                                    Heap used for stored fields |                        |     2.94003 |      MB |

|                                                  Segment count |                        |         534 |         |

|                                                 Min Throughput |           index-append |     15346.5 |  docs/s |

|                                              Median Throughput |           index-append |     15679.1 |  docs/s |

|                                                 Max Throughput |           index-append |     16563.1 |  docs/s |

|                                        50th percentile latency |           index-append |     2572.24 |      ms |

|                                        90th percentile latency |           index-append |     3436.66 |      ms |

|                                        99th percentile latency |           index-append |     4211.05 |      ms |

|                                      99.9th percentile latency |           index-append |     4599.41 |      ms |

|                                       100th percentile latency |           index-append |     4678.18 |      ms |

|                                   50th percentile service time |           index-append |     2572.24 |      ms |

|                                   90th percentile service time |           index-append |     3436.66 |      ms |

|                                   99th percentile service time |           index-append |     4211.05 |      ms |

|                                 99.9th percentile service time |           index-append |     4599.41 |      ms |

|                                  100th percentile service time |           index-append |     4678.18 |      ms |

|                                                     error rate |           index-append |           0 |       % |

|                                                 Min Throughput |            index-stats |       90.02 |   ops/s |

|                                              Median Throughput |            index-stats |       90.04 |   ops/s |

|                                                 Max Throughput |            index-stats |       90.08 |   ops/s |

|                                        50th percentile latency |            index-stats |     6.02111 |      ms |

|                                        90th percentile latency |            index-stats |     8.86774 |      ms |

|                                        99th percentile latency |            index-stats |     42.3696 |      ms |

|                                      99.9th percentile latency |            index-stats |     85.1385 |      ms |

|                                       100th percentile latency |            index-stats |     88.8076 |      ms |

|                                   50th percentile service time |            index-stats |     5.91218 |      ms |

|                                   90th percentile service time |            index-stats |     7.35952 |      ms |

|                                   99th percentile service time |            index-stats |     18.6886 |      ms |

|                                 99.9th percentile service time |            index-stats |     39.9026 |      ms |

|                                  100th percentile service time |            index-stats |     74.2301 |      ms |

|                                                     error rate |            index-stats |           0 |       % |

|                                                 Min Throughput |             node-stats |       89.53 |   ops/s |

|                                              Median Throughput |             node-stats |       90.07 |   ops/s |

|                                                 Max Throughput |             node-stats |       90.28 |   ops/s |

|                                        50th percentile latency |             node-stats |     5.08438 |      ms |

|                                        90th percentile latency |             node-stats |     8.88973 |      ms |

|                                        99th percentile latency |             node-stats |     76.5986 |      ms |

|                                      99.9th percentile latency |             node-stats |     97.4872 |      ms |

|                                       100th percentile latency |             node-stats |      98.339 |      ms |

|                                   50th percentile service time |             node-stats |     5.00674 |      ms |

|                                   90th percentile service time |             node-stats |      6.6037 |      ms |

|                                   99th percentile service time |             node-stats |     18.2712 |      ms |

|                                 99.9th percentile service time |             node-stats |     48.8116 |      ms |

|                                  100th percentile service time |             node-stats |      61.194 |      ms |

|                                                     error rate |             node-stats |           0 |       % |

|                                                 Min Throughput |                default |       50.01 |   ops/s |

|                                              Median Throughput |                default |       50.02 |   ops/s |

|                                                 Max Throughput |                default |       50.05 |   ops/s |

|                                        50th percentile latency |                default |     10.6258 |      ms |

|                                        90th percentile latency |                default |     14.9461 |      ms |

|                                        99th percentile latency |                default |     18.1433 |      ms |

|                                      99.9th percentile latency |                default |     21.3906 |      ms |

|                                       100th percentile latency |                default |     22.3396 |      ms |

|                                   50th percentile service time |                default |     10.5573 |      ms |

|                                   90th percentile service time |                default |     14.8878 |      ms |

|                                   99th percentile service time |                default |     18.0845 |      ms |

|                                 99.9th percentile service time |                default |     21.3312 |      ms |

|                                  100th percentile service time |                default |     22.2814 |      ms |

|                                                     error rate |                default |           0 |       % |

|                                                 Min Throughput |                   term |       200.1 |   ops/s |

|                                              Median Throughput |                   term |      200.13 |   ops/s |

|                                                 Max Throughput |                   term |      200.23 |   ops/s |

|                                        50th percentile latency |                   term |     1.51974 |      ms |

|                                        90th percentile latency |                   term |      1.6954 |      ms |

|                                        99th percentile latency |                   term |     6.66124 |      ms |

|                                      99.9th percentile latency |                   term |     15.2816 |      ms |

|                                       100th percentile latency |                   term |     16.8316 |      ms |

|                                   50th percentile service time |                   term |     1.46063 |      ms |

|                                   90th percentile service time |                   term |     1.61522 |      ms |

|                                   99th percentile service time |                   term |     4.10225 |      ms |

|                                 99.9th percentile service time |                   term |     15.2238 |      ms |

|                                  100th percentile service time |                   term |     16.7731 |      ms |

|                                                     error rate |                   term |           0 |       % |

|                                                 Min Throughput |                 phrase |      200.01 |   ops/s |

|                                              Median Throughput |                 phrase |      200.12 |   ops/s |

|                                                 Max Throughput |                 phrase |      200.19 |   ops/s |

|                                        50th percentile latency |                 phrase |     2.15299 |      ms |

|                                        90th percentile latency |                 phrase |     3.71056 |      ms |

|                                        99th percentile latency |                 phrase |     15.0728 |      ms |

|                                      99.9th percentile latency |                 phrase |     17.9697 |      ms |

|                                       100th percentile latency |                 phrase |     20.9373 |      ms |

|                                   50th percentile service time |                 phrase |      2.0853 |      ms |

|                                   90th percentile service time |                 phrase |     2.72552 |      ms |

|                                   99th percentile service time |                 phrase |     14.7404 |      ms |

|                                 99.9th percentile service time |                 phrase |      16.492 |      ms |

|                                  100th percentile service time |                 phrase |     20.8794 |      ms |

|                                                     error rate |                 phrase |           0 |       % |

|                                                 Min Throughput |   country_agg_uncached |        3.94 |   ops/s |

|                                              Median Throughput |   country_agg_uncached |        3.99 |   ops/s |

|                                                 Max Throughput |   country_agg_uncached |           4 |   ops/s |

|                                        50th percentile latency |   country_agg_uncached |     453.766 |      ms |

|                                        90th percentile latency |   country_agg_uncached |     769.082 |      ms |

|                                        99th percentile latency |   country_agg_uncached |     957.694 |      ms |

|                                       100th percentile latency |   country_agg_uncached |     984.625 |      ms |

|                                   50th percentile service time |   country_agg_uncached |     223.603 |      ms |

|                                   90th percentile service time |   country_agg_uncached |     256.647 |      ms |

|                                   99th percentile service time |   country_agg_uncached |     373.593 |      ms |

|                                  100th percentile service time |   country_agg_uncached |     412.185 |      ms |

|                                                     error rate |   country_agg_uncached |           0 |       % |

|                                                 Min Throughput |     country_agg_cached |      100.03 |   ops/s |

|                                              Median Throughput |     country_agg_cached |      100.09 |   ops/s |

|                                                 Max Throughput |     country_agg_cached |      100.14 |   ops/s |

|                                        50th percentile latency |     country_agg_cached |     1.75755 |      ms |

|                                        90th percentile latency |     country_agg_cached |     1.98545 |      ms |

|                                        99th percentile latency |     country_agg_cached |     3.68271 |      ms |

|                                      99.9th percentile latency |     country_agg_cached |      7.5676 |      ms |

|                                       100th percentile latency |     country_agg_cached |      14.721 |      ms |

|                                   50th percentile service time |     country_agg_cached |     1.69877 |      ms |

|                                   90th percentile service time |     country_agg_cached |     1.92259 |      ms |

|                                   99th percentile service time |     country_agg_cached |      3.6158 |      ms |

|                                 99.9th percentile service time |     country_agg_cached |     7.50826 |      ms |

|                                  100th percentile service time |     country_agg_cached |     14.6624 |      ms |

|                                                     error rate |     country_agg_cached |           0 |       % |

|                                                 Min Throughput |                 scroll |       20.04 | pages/s |

|                                              Median Throughput |                 scroll |       20.05 | pages/s |

|                                                 Max Throughput |                 scroll |       20.07 | pages/s |

|                                        50th percentile latency |                 scroll |     438.089 |      ms |

|                                        90th percentile latency |                 scroll |     460.156 |      ms |

|                                        99th percentile latency |                 scroll |     517.941 |      ms |

|                                       100th percentile latency |                 scroll |     558.949 |      ms |

|                                   50th percentile service time |                 scroll |     437.256 |      ms |

|                                   90th percentile service time |                 scroll |     459.327 |      ms |

|                                   99th percentile service time |                 scroll |     517.183 |      ms |

|                                  100th percentile service time |                 scroll |      558.15 |      ms |

|                                                     error rate |                 scroll |           0 |       % |

|                                                 Min Throughput |             expression |         1.4 |   ops/s |

|                                              Median Throughput |             expression |        1.41 |   ops/s |

|                                                 Max Throughput |             expression |        1.41 |   ops/s |

|                                        50th percentile latency |             expression |     53493.4 |      ms |

|                                        90th percentile latency |             expression |     61703.9 |      ms |

|                                        99th percentile latency |             expression |       63532 |      ms |

|                                       100th percentile latency |             expression |     63687.5 |      ms |

|                                   50th percentile service time |             expression |     696.336 |      ms |

|                                   90th percentile service time |             expression |      732.37 |      ms |

|                                   99th percentile service time |             expression |     791.284 |      ms |

|                                  100th percentile service time |             expression |      900.99 |      ms |

|                                                     error rate |             expression |           0 |       % |

|                                        50th percentile latency |            large_terms |      906044 |      ms |

|                                        90th percentile latency |            large_terms | 1.04709e+06 |      ms |

|                                        99th percentile latency |            large_terms | 1.07876e+06 |      ms |

|                                       100th percentile latency |            large_terms | 1.08199e+06 |      ms |

|                                   50th percentile service time |            large_terms |     4201.18 |      ms |

|                                   90th percentile service time |            large_terms |     4756.67 |      ms |

|                                   99th percentile service time |            large_terms |     5243.67 |      ms |

|                                  100th percentile service time |            large_terms |     5258.64 |      ms |

|                                                     error rate |            large_terms |         100 |       % |

|                                                 Min Throughput |   large_filtered_terms |         0.6 |   ops/s |

|                                              Median Throughput |   large_filtered_terms |        0.61 |   ops/s |

|                                                 Max Throughput |   large_filtered_terms |        0.61 |   ops/s |

|                                        50th percentile latency |   large_filtered_terms |      245773 |      ms |

|                                        90th percentile latency |   large_filtered_terms |      283055 |      ms |

|                                        99th percentile latency |   large_filtered_terms |      292309 |      ms |

|                                       100th percentile latency |   large_filtered_terms |      293178 |      ms |

|                                   50th percentile service time |   large_filtered_terms |     1561.13 |      ms |

|                                   90th percentile service time |   large_filtered_terms |     1729.85 |      ms |

|                                   99th percentile service time |   large_filtered_terms |     2606.56 |      ms |

|                                  100th percentile service time |   large_filtered_terms |     2639.79 |      ms |

|                                                     error rate |   large_filtered_terms |           0 |       % |

|                                                 Min Throughput | large_prohibited_terms |        0.64 |   ops/s |

|                                              Median Throughput | large_prohibited_terms |        0.65 |   ops/s |

|                                                 Max Throughput | large_prohibited_terms |        0.65 |   ops/s |

|                                        50th percentile latency | large_prohibited_terms |      222051 |      ms |

|                                        90th percentile latency | large_prohibited_terms |      256500 |      ms |

|                                        99th percentile latency | large_prohibited_terms |      265220 |      ms |

|                                       100th percentile latency | large_prohibited_terms |      266069 |      ms |

|                                   50th percentile service time | large_prohibited_terms |     1515.93 |      ms |

|                                   90th percentile service time | large_prohibited_terms |     1609.41 |      ms |

|                                   99th percentile service time | large_prohibited_terms |     2611.93 |      ms |

|                                  100th percentile service time | large_prohibited_terms |      2671.6 |      ms |

|                                                     error rate | large_prohibited_terms |           0 |       % |

2019-12-05 11:36:03,883 ActorAddr-(T|:44952)/PID:1712 esrally.metrics INFO Closing metrics store.

2019-12-05 11:36:03,887 ActorAddr-(T|:34978)/PID:1732 esrally.actor INFO MechanicActor#receiveMessage unrecognized(msg = [<class 'thespian.actors.ActorExitRequest'>] sender = [ActorAddr-(T|:44952)])

2019-12-05 11:36:03,886 ActorAddr-(T|:44952)/PID:1712 esrally.actor INFO BenchmarkActor received unknown message [ActorExitRequest] (ignoring).

2019-12-05 11:36:03,888 ActorAddr-(T|:44952)/PID:1712 esrally.actor INFO BenchmarkActor received unknown message [ChildActorExited:ActorAddr-(T|:34978)] (ignoring).

2019-12-05 11:36:06,889 -not-actor-/PID:1704 esrally.rally INFO Attempting to shutdown internal actor system.

2019-12-05 11:36:06,891 -not-actor-/PID:1711 root INFO ActorSystem Logging Shutdown

2019-12-05 11:36:06,911 -not-actor-/PID:1710 root INFO ---- Actor System shutdown

2019-12-05 11:36:06,911 -not-actor-/PID:1704 esrally.rally INFO Actor system is still running. Waiting...

2019-12-05 11:36:07,913 -not-actor-/PID:1704 esrally.rally INFO Shutdown completed.

注意:压测期间, esrally 日志有爆出如下内容:

2019-12-05 13:10:21,296 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:5.030s]
2019-12-05 13:10:24,803 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:3.499s]
2019-12-05 13:10:29,115 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:4.303s]
2019-12-05 13:10:33,84 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:3.961s]
2019-12-05 13:10:37,517 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:4.425s]
2019-12-05 13:10:42,297 -not-actor-/PID:3945 elasticsearch WARNING GET http://es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200/_search [status:500 request:4.771s]

再次压测:

[es@test-01 ~]$ /usr/local/python3/bin/esrally --pipeline=benchmark-only --target-hosts=es-cn-xxxxxxx.elasticsearch.aliyuncs.com:9200

    ____        ____

   / __ \____ _/ / /_  __

  / /_/ / __ `/ / / / / /

 / _, _/ /_/ / / / /_/ /

/_/ |_|\__,_/_/_/\__, /

                /____/

************************************************************************

************** WARNING: A dark dungeon lies ahead of you  **************

************************************************************************

Rally does not have control over the configuration of the benchmarked

Elasticsearch cluster.

Be aware that results may be misleading due to problems with the setup.

Rally is also not able to gather lots of metrics at all (like CPU usage

of the benchmarked cluster) or may even produce misleading metrics (like

the index size).

************************************************************************

****** Use this pipeline only if you are aware of the tradeoffs.  ******

*************************** Watch your step! ***************************

[WARNING] Ensure that these settings are defined in elasticsearch.yml:

  "indices.query.bool.max_clause_count": 50000

}

If they are absent, running this track will fail or lead to unexpected results.

[INFO] Racing on track [geonames], challenge [append-no-conflicts] and car ['external'] with version [2.3.3].

[WARNING] merges_total_time is 1723426 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

[WARNING] merges_total_throttled_time is 215023 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

************************************************************************

Rally does not have control over the configuration of the benchmarked

Elasticsearch cluster.

Be aware that results may be misleading due to problems with the setup.

Rally is also not able to gather lots of metrics at all (like CPU usage

of the benchmarked cluster) or may even produce misleading metrics (like

the index size).

************************************************************************

****** Use this pipeline only if you are aware of the tradeoffs.  ******

*************************** Watch your step! ***************************

************************************************************************

[WARNING] Ensure that these settings are defined in elasticsearch.yml:

  "indices.query.bool.max_clause_count": 50000

}

If they are absent, running this track will fail or lead to unexpected results.

[INFO] Racing on track [geonames], challenge [append-no-conflicts] and car ['external'] with version [2.3.3].

[WARNING] merges_total_time is 1723426 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

[WARNING] merges_total_throttled_time is 215023 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

[WARNING] indexing_total_time is 3036037 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

[WARNING] refresh_total_time is 752065 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

[WARNING] flush_total_time is 3106 ms indicating that the cluster is not in a defined clean state. Recorded index time metrics may be misleading.

Running delete-index                                                           [100% done]

Running create-index                                                           [100% done]

Running check-cluster-health                                                   [100% done]

Running index-append                                                           [100% done]

Running refresh-after-index                                                    [100% done]

Running force-merge                                                            [100% done]

Running refresh-after-force-merge                                              [100% done]

Running index-stats                                                            [100% done]

Running node-stats                                                             [100% done]

Running default                                                                [100% done]

Running term                                                                   [100% done]

Running phrase                                                                 [100% done]

Running country_agg_uncached                                                   [100% done]

Running country_agg_cached                                                     [100% done]

Running scroll                                                                 [100% done]

Running expression                                                             [100% done]

Running large_terms                                                            [100% done]

Running large_filtered_terms                                                   [100% done]

Running large_prohibited_terms                                                 [100% done]

------------------------------------------------------

    _______             __   _____

   / ____(_)___  ____ _/ /  / ___/_________  ________

  / /_  / / __ \/ __ `/ /   \__ \/ ___/ __ \/ ___/ _ \

 / __/ / / / / / /_/ / /   ___/ / /__/ /_/ / /  /  __/

/_/   /_/_/ /_/\__,_/_/   /____/\___/\____/_/   \___/

------------------------------------------------------

|                                                         Metric |                   Task |       Value |    Unit |

|---------------------------------------------------------------:|-----------------------:|------------:|--------:|

|                     Cumulative indexing time of primary shards |                        |     50.2242 |     min |

|             Min cumulative indexing time across primary shards |                        |           0 |     min |

|          Median cumulative indexing time across primary shards |                        |           0 |     min |

|             Max cumulative indexing time across primary shards |                        |     11.9424 |     min |

|            Cumulative indexing throttle time of primary shards |                        |           0 |     min |

|    Min cumulative indexing throttle time across primary shards |                        |           0 |     min |

| Median cumulative indexing throttle time across primary shards |                        |           0 |     min |

|    Max cumulative indexing throttle time across primary shards |                        |           0 |     min |

|                        Cumulative merge time of primary shards |                        |     30.2628 |     min |

|                       Cumulative merge count of primary shards |                        |         649 |         |

|                Min cumulative merge time across primary shards |                        |           0 |     min |

|             Median cumulative merge time across primary shards |                        |           0 |     min |

|                Max cumulative merge time across primary shards |                        |     7.56005 |     min |

|               Cumulative merge throttle time of primary shards |                        |     4.45932 |     min |

|       Min cumulative merge throttle time across primary shards |                        |           0 |     min |

|    Median cumulative merge throttle time across primary shards |                        |           0 |     min |

|       Max cumulative merge throttle time across primary shards |                        |      1.4932 |     min |

|                      Cumulative refresh time of primary shards |                        |     12.1026 |     min |

|                     Cumulative refresh count of primary shards |                        |        4100 |         |

|              Min cumulative refresh time across primary shards |                        |           0 |     min |

|           Median cumulative refresh time across primary shards |                        |           0 |     min |

|              Max cumulative refresh time across primary shards |                        |     2.86677 |     min |

|                        Cumulative flush time of primary shards |                        |   0.0492333 |     min |

|                       Cumulative flush count of primary shards |                        |          17 |         |

|                Min cumulative flush time across primary shards |                        |           0 |     min |

|             Median cumulative flush time across primary shards |                        |           0 |     min |

|                Max cumulative flush time across primary shards |                        |   0.0120333 |     min |

|                                             Total Young Gen GC |                        |     133.665 |       s |

|                                               Total Old Gen GC |                        |       2.338 |       s |

|                                                     Store size |                        |       42.89 |      GB |

|                                                  Translog size |                        | 2.76323e-06 |      GB |

|                                         Heap used for segments |                        |     155.118 |      MB |

|                                       Heap used for doc values |                        |     1.72109 |      MB |

|                                            Heap used for terms |                        |     150.315 |      MB |

|                                            Heap used for norms |                        |    0.134399 |      MB |

|                                    Heap used for stored fields |                        |     2.94794 |      MB |

|                                                  Segment count |                        |         536 |         |

|                                                 Min Throughput |           index-append |     15154.4 |  docs/s |

|                                              Median Throughput |           index-append |     15840.4 |  docs/s |

|                                                 Max Throughput |           index-append |     16869.9 |  docs/s |

|                                        50th percentile latency |           index-append |     2605.34 |      ms |

|                                        90th percentile latency |           index-append |     3552.54 |      ms |

|                                        99th percentile latency |           index-append |     4422.58 |      ms |

|                                      99.9th percentile latency |           index-append |     4982.87 |      ms |

|                                       100th percentile latency |           index-append |     5119.11 |      ms |

|                                   50th percentile service time |           index-append |     2605.34 |      ms |

|                                   90th percentile service time |           index-append |     3552.54 |      ms |

|                                   99th percentile service time |           index-append |     4422.58 |      ms |

|                                 99.9th percentile service time |           index-append |     4982.87 |      ms |

|                                  100th percentile service time |           index-append |     5119.11 |      ms |

|                                                     error rate |           index-append |           0 |       % |

|                                                 Min Throughput |            index-stats |       90.02 |   ops/s |

|                                              Median Throughput |            index-stats |       90.04 |   ops/s |

|                                                 Max Throughput |            index-stats |       90.08 |   ops/s |

|                                        50th percentile latency |            index-stats |     5.85103 |      ms |

|                                        90th percentile latency |            index-stats |     10.2232 |      ms |

|                                        99th percentile latency |            index-stats |     66.5564 |      ms |

|                                      99.9th percentile latency |            index-stats |     110.738 |      ms |

|                                       100th percentile latency |            index-stats |     115.007 |      ms |

|                                   50th percentile service time |            index-stats |     5.71052 |      ms |

|                                   90th percentile service time |            index-stats |     8.04877 |      ms |

|                                   99th percentile service time |            index-stats |     17.6762 |      ms |

|                                 99.9th percentile service time |            index-stats |     58.0995 |      ms |

|                                  100th percentile service time |            index-stats |      62.962 |      ms |

|                                                     error rate |            index-stats |           0 |       % |

|                                                 Min Throughput |             node-stats |       89.64 |   ops/s |

|                                              Median Throughput |             node-stats |       90.05 |   ops/s |

|                                                 Max Throughput |             node-stats |       90.25 |   ops/s |

|                                        50th percentile latency |             node-stats |     5.40282 |      ms |

|                                        90th percentile latency |             node-stats |     18.2909 |      ms |

|                                        99th percentile latency |             node-stats |     224.623 |      ms |

|                                      99.9th percentile latency |             node-stats |     253.559 |      ms |

|                                       100th percentile latency |             node-stats |     255.108 |      ms |

|                                   50th percentile service time |             node-stats |     5.19543 |      ms |

|                                   90th percentile service time |             node-stats |     8.13047 |      ms |

|                                   99th percentile service time |             node-stats |     30.0458 |      ms |

|                                 99.9th percentile service time |             node-stats |     50.1421 |      ms |

|                                  100th percentile service time |             node-stats |     61.5228 |      ms |

|                                                     error rate |             node-stats |           0 |       % |

|                                                 Min Throughput |                default |       20.51 |   ops/s |

|                                              Median Throughput |                default |       21.23 |   ops/s |

|                                                 Max Throughput |                default |       22.76 |   ops/s |

|                                        50th percentile latency |                default |     27516.9 |      ms |

|                                        90th percentile latency |                default |     34203.9 |      ms |

|                                        99th percentile latency |                default |       35610 |      ms |

|                                      99.9th percentile latency |                default |     35781.3 |      ms |

|                                       100th percentile latency |                default |     35795.3 |      ms |

|                                   50th percentile service time |                default |      36.527 |      ms |

|                                   90th percentile service time |                default |     54.4873 |      ms |

|                                   99th percentile service time |                default |     72.8107 |      ms |

|                                 99.9th percentile service time |                default |     100.272 |      ms |

|                                  100th percentile service time |                default |     126.244 |      ms |

|                                                     error rate |                default |           0 |       % |

|                                                 Min Throughput |                   term |       200.1 |   ops/s |

|                                              Median Throughput |                   term |      200.14 |   ops/s |

|                                                 Max Throughput |                   term |      200.24 |   ops/s |

|                                        50th percentile latency |                   term |     1.46572 |      ms |

|                                        90th percentile latency |                   term |     1.77302 |      ms |

|                                        99th percentile latency |                   term |     8.85099 |      ms |

|                                      99.9th percentile latency |                   term |     18.4768 |      ms |

|                                       100th percentile latency |                   term |     18.9609 |      ms |

|                                   50th percentile service time |                   term |     1.40698 |      ms |

|                                   90th percentile service time |                   term |     1.66509 |      ms |

|                                   99th percentile service time |                   term |     3.72446 |      ms |

|                                 99.9th percentile service time |                   term |     18.4195 |      ms |

|                                  100th percentile service time |                   term |     18.9031 |      ms |

|                                                     error rate |                   term |           0 |       % |

|                                                 Min Throughput |                 phrase |      200.07 |   ops/s |

|                                              Median Throughput |                 phrase |       200.1 |   ops/s |

|                                                 Max Throughput |                 phrase |      200.16 |   ops/s |

|                                        50th percentile latency |                 phrase |     2.01647 |      ms |

|                                        90th percentile latency |                 phrase |     2.59113 |      ms |

|                                        99th percentile latency |                 phrase |     12.1538 |      ms |

|                                      99.9th percentile latency |                 phrase |     18.0263 |      ms |

|                                       100th percentile latency |                 phrase |      18.099 |      ms |

|                                   50th percentile service time |                 phrase |     1.95619 |      ms |

|                                   90th percentile service time |                 phrase |     2.34294 |      ms |

|                                   99th percentile service time |                 phrase |     11.1538 |      ms |

|                                 99.9th percentile service time |                 phrase |     17.9697 |      ms |

|                                  100th percentile service time |                 phrase |     18.0413 |      ms |

|                                                     error rate |                 phrase |           0 |       % |

|                                                 Min Throughput |   country_agg_uncached |           4 |   ops/s |

|                                              Median Throughput |   country_agg_uncached |           4 |   ops/s |

|                                                 Max Throughput |   country_agg_uncached |           4 |   ops/s |

|                                        50th percentile latency |   country_agg_uncached |       232.6 |      ms |

|                                        90th percentile latency |   country_agg_uncached |     253.871 |      ms |

|                                        99th percentile latency |   country_agg_uncached |      289.22 |      ms |

|                                       100th percentile latency |   country_agg_uncached |     295.102 |      ms |

|                                   50th percentile service time |   country_agg_uncached |     231.177 |      ms |

|                                   90th percentile service time |   country_agg_uncached |     244.644 |      ms |

|                                   99th percentile service time |   country_agg_uncached |     288.192 |      ms |

|                                  100th percentile service time |   country_agg_uncached |       289.1 |      ms |

|                                                     error rate |   country_agg_uncached |           0 |       % |

|                                                 Min Throughput |     country_agg_cached |      100.06 |   ops/s |

|                                              Median Throughput |     country_agg_cached |      100.09 |   ops/s |

|                                                 Max Throughput |     country_agg_cached |      100.17 |   ops/s |

|                                        50th percentile latency |     country_agg_cached |     1.68623 |      ms |

|                                        90th percentile latency |     country_agg_cached |     1.86272 |      ms |

|                                        99th percentile latency |     country_agg_cached |     4.05259 |      ms |

|                                      99.9th percentile latency |     country_agg_cached |     13.5019 |      ms |

|                                       100th percentile latency |     country_agg_cached |     13.5373 |      ms |

|                                   50th percentile service time |     country_agg_cached |     1.62764 |      ms |

|                                   90th percentile service time |     country_agg_cached |     1.80298 |      ms |

|                                   99th percentile service time |     country_agg_cached |     3.43389 |      ms |

|                                 99.9th percentile service time |     country_agg_cached |     13.4422 |      ms |

|                                  100th percentile service time |     country_agg_cached |      13.478 |      ms |

|                                                     error rate |     country_agg_cached |           0 |       % |

|                                                 Min Throughput |                 scroll |       20.04 | pages/s |

|                                              Median Throughput |                 scroll |       20.05 | pages/s |

|                                                 Max Throughput |                 scroll |       20.07 | pages/s |

|                                        50th percentile latency |                 scroll |     457.139 |      ms |

|                                        90th percentile latency |                 scroll |     471.132 |      ms |

|                                        99th percentile latency |                 scroll |     526.526 |      ms |

|                                       100th percentile latency |                 scroll |     562.743 |      ms |

|                                   50th percentile service time |                 scroll |     456.373 |      ms |

|                                   90th percentile service time |                 scroll |     470.612 |      ms |

|                                   99th percentile service time |                 scroll |     525.718 |      ms |

|                                  100th percentile service time |                 scroll |     561.943 |      ms |

|                                                     error rate |                 scroll |           0 |       % |

|                                                 Min Throughput |             expression |        1.29 |   ops/s |

|                                              Median Throughput |             expression |         1.3 |   ops/s |

|                                                 Max Throughput |             expression |         1.3 |   ops/s |

|                                        50th percentile latency |             expression |     68389.3 |      ms |

|                                        90th percentile latency |             expression |     78950.3 |      ms |

|                                        99th percentile latency |             expression |     81327.2 |      ms |

|                                       100th percentile latency |             expression |     81575.7 |      ms |

|                                   50th percentile service time |             expression |     755.102 |      ms |

|                                   90th percentile service time |             expression |      789.85 |      ms |

|                                   99th percentile service time |             expression |     862.083 |      ms |

|                                  100th percentile service time |             expression |     987.782 |      ms |

|                                                     error rate |             expression |           0 |       % |

|                                        50th percentile latency |            large_terms |      912286 |      ms |

|                                        90th percentile latency |            large_terms | 1.05671e+06 |      ms |

|                                        99th percentile latency |            large_terms | 1.09033e+06 |      ms |

|                                       100th percentile latency |            large_terms | 1.09366e+06 |      ms |

|                                   50th percentile service time |            large_terms |     4277.11 |      ms |

|                                   90th percentile service time |            large_terms |      4803.6 |      ms |

|                                   99th percentile service time |            large_terms |     4927.98 |      ms |

|                                  100th percentile service time |            large_terms |     4976.14 |      ms |

|                                                     error rate |            large_terms |         100 |       % |

|                                                 Min Throughput |   large_filtered_terms |        0.59 |   ops/s |

|                                              Median Throughput |   large_filtered_terms |        0.59 |   ops/s |

|                                                 Max Throughput |   large_filtered_terms |        0.59 |   ops/s |

|                                        50th percentile latency |   large_filtered_terms |      256845 |      ms |

|                                        90th percentile latency |   large_filtered_terms |      297226 |      ms |

|                                        99th percentile latency |   large_filtered_terms |      306211 |      ms |

|                                       100th percentile latency |   large_filtered_terms |      307108 |      ms |

|                                   50th percentile service time |   large_filtered_terms |     1700.61 |      ms |

|                                   90th percentile service time |   large_filtered_terms |     1843.11 |      ms |

|                                   99th percentile service time |   large_filtered_terms |     2739.02 |      ms |

|                                  100th percentile service time |   large_filtered_terms |     2768.78 |      ms |

|                                                     error rate |   large_filtered_terms |           0 |       % |

|                                                 Min Throughput | large_prohibited_terms |        0.62 |   ops/s |

|                                              Median Throughput | large_prohibited_terms |        0.62 |   ops/s |

|                                                 Max Throughput | large_prohibited_terms |        0.62 |   ops/s |

|                                        50th percentile latency | large_prohibited_terms |      238360 |      ms |

|                                        90th percentile latency | large_prohibited_terms |      276451 |      ms |

|                                        99th percentile latency | large_prohibited_terms |      284501 |      ms |

|                                       100th percentile latency | large_prohibited_terms |      285289 |      ms |

|                                   50th percentile service time | large_prohibited_terms |     1634.98 |      ms |

|                                   90th percentile service time | large_prohibited_terms |      1736.8 |      ms |

|                                   99th percentile service time | large_prohibited_terms |     2288.69 |      ms |

|                                  100th percentile service time | large_prohibited_terms |     2332.06 |      ms |

|                                                     error rate | large_prohibited_terms |           0 |       % |

[WARNING] No throughput metrics available for [large_terms]. Likely cause: Error rate is 100.0%. Please check the logs.

----------------------------------

[INFO] SUCCESS (took 3938 seconds)

----------------------------------

[es@test-01 ~]$ /usr/local/python3/bin/esrally list races

    ____        ____
   / __ \____ _/ / /_  __
  / /_/ / __ `/ / / / / /
 / _, _/ /_/ / / / /_/ /
/_/ |_|\__,_/_/_/\__, /
                /____/
Recent races:
Race ID                               Race Timestamp    Track     Track Parameters    Challenge            Car       User Tags    Track Revision    Team Revision
------------------------------------  ----------------  --------  ------------------  -------------------  --------  -----------  ----------------  ---------------
7512650e-cb3e-4ce5-b9d7-d95732780d40  20191205T123309Z  geonames                      append-no-conflicts  external               c21742c
6d5f33de-eb48-49c2-89a3-b46ccb776786  20191205T103223Z  geonames                      append-no-conflicts  external               c21742c
-------------------------------
[INFO] SUCCESS (took 8 seconds)
-------------------------------

[es@test-01 ~]$ /usr/local/python3/bin/esrally compare   --baseline 7512650e-cb3e-4ce5-b9d7-d95732780d40   --contender  6d5f33de-eb48-49c2-89a3-b46ccb776786 

    ____        ____
   / __ \____ _/ / /_  __
  / /_/ / __ `/ / / / / /
 / _, _/ /_/ / / / /_/ /
/_/ |_|\__,_/_/_/\__, /
                /____/
Comparing baseline
  Race ID: 7512650e-cb3e-4ce5-b9d7-d95732780d40
  Race timestamp: 2019-12-05 12:33:09
  Challenge: append-no-conflicts
  Car: external
with contender
  Race ID: 6d5f33de-eb48-49c2-89a3-b46ccb776786
  Race timestamp: 2019-12-05 10:32:23
  Challenge: append-no-conflicts
  Car: external
------------------------------------------------------
    _______             __   _____
   / ____(_)___  ____ _/ /  / ___/_________  ________
  / /_  / / __ \/ __ `/ /   \__ \/ ___/ __ \/ ___/ _ \
 / __/ / / / / / /_/ / /   ___/ / /__/ /_/ / /  /  __/
/_/   /_/_/ /_/\__,_/_/   /____/\___/\____/_/   \___/
------------------------------------------------------

|                                                        Metric |                   Task |    Baseline |   Contender |     Diff |    Unit |

|--------------------------------------------------------------:|-----------------------:|------------:|------------:|---------:|--------:|

|                    Cumulative indexing time of primary shards |                        |     50.2242 |     50.6006 |  0.37647 |     min |

|             Min cumulative indexing time across primary shard |                        |           0 |           0 |        0 |     min |

|          Median cumulative indexing time across primary shard |                        |           0 |           0 |        0 |     min |

|             Max cumulative indexing time across primary shard |                        |     11.9424 |     11.7327 | -0.20977 |     min |

|           Cumulative indexing throttle time of primary shards |                        |           0 |           0 |        0 |     min |

|    Min cumulative indexing throttle time across primary shard |                        |           0 |           0 |        0 |     min |

| Median cumulative indexing throttle time across primary shard |                        |           0 |           0 |        0 |     min |

|    Max cumulative indexing throttle time across primary shard |                        |           0 |           0 |        0 |     min |

|                       Cumulative merge time of primary shards |                        |     30.2628 |     28.7238 | -1.53907 |     min |

|                      Cumulative merge count of primary shards |                        |         649 |         634 |      -15 |         |

|                Min cumulative merge time across primary shard |                        |           0 |           0 |        0 |     min |

|             Median cumulative merge time across primary shard |                        |           0 |           0 |        0 |     min |

|                Max cumulative merge time across primary shard |                        |     7.56005 |     7.40308 | -0.15697 |     min |

|              Cumulative merge throttle time of primary shards |                        |     4.45932 |     3.58372 |  -0.8756 |     min |

|       Min cumulative merge throttle time across primary shard |                        |           0 |           0 |        0 |     min |

|    Median cumulative merge throttle time across primary shard |                        |           0 |           0 |        0 |     min |

|       Max cumulative merge throttle time across primary shard |                        |      1.4932 |     1.21168 | -0.28152 |     min |

|                     Cumulative refresh time of primary shards |                        |     12.1026 |     12.5344 |  0.43178 |     min |

|                    Cumulative refresh count of primary shards |                        |        4100 |        3960 |     -140 |         |

|              Min cumulative refresh time across primary shard |                        |           0 |           0 |        0 |     min |

|           Median cumulative refresh time across primary shard |                        |           0 |           0 |        0 |     min |

|              Max cumulative refresh time across primary shard |                        |     2.86677 |     2.88455 |  0.01778 |     min |

|                       Cumulative flush time of primary shards |                        |   0.0492333 |   0.0517667 |  0.00253 |     min |

|                      Cumulative flush count of primary shards |                        |          17 |          17 |        0 |         |

|                Min cumulative flush time across primary shard |                        |           0 |           0 |        0 |     min |

|             Median cumulative flush time across primary shard |                        |           0 |           0 |        0 |     min |

|                Max cumulative flush time across primary shard |                        |   0.0120333 |   0.0142167 |  0.00218 |     min |

|                                            Total Young Gen GC |                        |     133.665 |     429.144 |  295.479 |       s |

|                                              Total Old Gen GC |                        |       2.338 |      80.149 |   77.811 |       s |

|                                                    Store size |                        |       42.89 |     42.9031 |  0.01314 |      GB |

|                                                 Translog size |                        | 2.76323e-06 | 2.76323e-06 |        0 |      GB |

|                                        Heap used for segments |                        |     155.118 |     155.989 |  0.87039 |      MB |

|                                      Heap used for doc values |                        |     1.72109 |     1.71252 | -0.00857 |      MB |

|                                           Heap used for terms |                        |     150.315 |     151.204 |  0.88851 |      MB |

|                                           Heap used for norms |                        |    0.134399 |    0.132751 | -0.00165 |      MB |

|                                   Heap used for stored fields |                        |     2.94794 |     2.94003 | -0.00791 |      MB |

|                                                 Segment count |                        |         536 |         534 |       -2 |         |

|                                                Min Throughput |           index-append |     15154.4 |     15346.5 |   192.17 |  docs/s |

|                                             Median Throughput |           index-append |     15840.4 |     15679.1 | -161.356 |  docs/s |

|                                                Max Throughput |           index-append |     16869.9 |     16563.1 | -306.793 |  docs/s |

|                                       50th percentile latency |           index-append |     2605.34 |     2572.24 | -33.1007 |      ms |

|                                       90th percentile latency |           index-append |     3552.54 |     3436.66 | -115.884 |      ms |

|                                       99th percentile latency |           index-append |     4422.58 |     4211.05 | -211.524 |      ms |

|                                     99.9th percentile latency |           index-append |     4982.87 |     4599.41 | -383.463 |      ms |

|                                      100th percentile latency |           index-append |     5119.11 |     4678.18 | -440.921 |      ms |

|                                  50th percentile service time |           index-append |     2605.34 |     2572.24 | -33.1007 |      ms |

|                                  90th percentile service time |           index-append |     3552.54 |     3436.66 | -115.884 |      ms |

|                                  99th percentile service time |           index-append |     4422.58 |     4211.05 | -211.524 |      ms |

|                                99.9th percentile service time |           index-append |     4982.87 |     4599.41 | -383.463 |      ms |

|                                 100th percentile service time |           index-append |     5119.11 |     4678.18 | -440.921 |      ms |

|                                                    error rate |           index-append |           0 |           0 |        0 |       % |

|                                                Min Throughput |            index-stats |     90.0183 |     90.0247 |  0.00635 |   ops/s |

|                                             Median Throughput |            index-stats |     90.0424 |     90.0432 |  0.00077 |   ops/s |

|                                                Max Throughput |            index-stats |     90.0794 |     90.0813 |  0.00194 |   ops/s |

|                                       50th percentile latency |            index-stats |     5.85103 |     6.02111 |  0.17008 |      ms |

|                                       90th percentile latency |            index-stats |     10.2232 |     8.86774 |  -1.3555 |      ms |

|                                       99th percentile latency |            index-stats |     66.5564 |     42.3696 | -24.1868 |      ms |

|                                     99.9th percentile latency |            index-stats |     110.738 |     85.1385 |  -25.599 |      ms |

|                                      100th percentile latency |            index-stats |     115.007 |     88.8076 | -26.1989 |      ms |

|                                  50th percentile service time |            index-stats |     5.71052 |     5.91218 |  0.20165 |      ms |

|                                  90th percentile service time |            index-stats |     8.04877 |     7.35952 | -0.68925 |      ms |

|                                  99th percentile service time |            index-stats |     17.6762 |     18.6886 |  1.01237 |      ms |

|                                99.9th percentile service time |            index-stats |     58.0995 |     39.9026 | -18.1968 |      ms |

|                                 100th percentile service time |            index-stats |      62.962 |     74.2301 |  11.2681 |      ms |

|                                                    error rate |            index-stats |           0 |           0 |        0 |       % |

|                                                Min Throughput |             node-stats |      89.638 |      89.527 | -0.11101 |   ops/s |

|                                             Median Throughput |             node-stats |     90.0544 |     90.0651 |  0.01078 |   ops/s |

|                                                Max Throughput |             node-stats |     90.2515 |     90.2755 |  0.02402 |   ops/s |

|                                       50th percentile latency |             node-stats |     5.40282 |     5.08438 | -0.31843 |      ms |

|                                       90th percentile latency |             node-stats |     18.2909 |     8.88973 | -9.40115 |      ms |

|                                       99th percentile latency |             node-stats |     224.623 |     76.5986 | -148.025 |      ms |

|                                     99.9th percentile latency |             node-stats |     253.559 |     97.4872 | -156.072 |      ms |

|                                      100th percentile latency |             node-stats |     255.108 |      98.339 | -156.769 |      ms |

|                                  50th percentile service time |             node-stats |     5.19543 |     5.00674 | -0.18869 |      ms |

|                                  90th percentile service time |             node-stats |     8.13047 |      6.6037 | -1.52677 |      ms |

|                                  99th percentile service time |             node-stats |     30.0458 |     18.2712 | -11.7745 |      ms |

|                                99.9th percentile service time |             node-stats |     50.1421 |     48.8116 | -1.33048 |      ms |

|                                 100th percentile service time |             node-stats |     61.5228 |      61.194 | -0.32886 |      ms |

|                                                    error rate |             node-stats |           0 |           0 |        0 |       % |

|                                                Min Throughput |                default |     20.5142 |     50.0066 |  29.4923 |   ops/s |

|                                             Median Throughput |                default |     21.2319 |     50.0222 |  28.7903 |   ops/s |

|                                                Max Throughput |                default |     22.7575 |     50.0492 |  27.2917 |   ops/s |

|                                       50th percentile latency |                default |     27516.9 |     10.6258 | -27506.3 |      ms |

|                                       90th percentile latency |                default |     34203.9 |     14.9461 |   -34189 |      ms |

|                                       99th percentile latency |                default |       35610 |     18.1433 | -35591.8 |      ms |

|                                     99.9th percentile latency |                default |     35781.3 |     21.3906 | -35759.9 |      ms |

|                                      100th percentile latency |                default |     35795.3 |     22.3396 | -35772.9 |      ms |

|                                  50th percentile service time |                default |      36.527 |     10.5573 | -25.9697 |      ms |

|                                  90th percentile service time |                default |     54.4873 |     14.8878 | -39.5995 |      ms |

|                                  99th percentile service time |                default |     72.8107 |     18.0845 | -54.7262 |      ms |

|                                99.9th percentile service time |                default |     100.272 |     21.3312 | -78.9411 |      ms |

|                                 100th percentile service time |                default |     126.244 |     22.2814 | -103.962 |      ms |

|                                                    error rate |                default |           0 |           0 |        0 |       % |

|                                                Min Throughput |                   term |     200.096 |     200.097 |  0.00156 |   ops/s |

|                                             Median Throughput |                   term |     200.143 |     200.133 | -0.00961 |   ops/s |

|                                                Max Throughput |                   term |     200.235 |     200.226 | -0.00932 |   ops/s |

|                                       50th percentile latency |                   term |     1.46572 |     1.51974 |  0.05402 |      ms |

|                                       90th percentile latency |                   term |     1.77302 |      1.6954 | -0.07762 |      ms |

|                                       99th percentile latency |                   term |     8.85099 |     6.66124 | -2.18975 |      ms |

|                                     99.9th percentile latency |                   term |     18.4768 |     15.2816 | -3.19514 |      ms |

|                                      100th percentile latency |                   term |     18.9609 |     16.8316 |  -2.1293 |      ms |

|                                  50th percentile service time |                   term |     1.40698 |     1.46063 |  0.05365 |      ms |

|                                  90th percentile service time |                   term |     1.66509 |     1.61522 | -0.04987 |      ms |

|                                  99th percentile service time |                   term |     3.72446 |     4.10225 |  0.37779 |      ms |

|                                99.9th percentile service time |                   term |     18.4195 |     15.2238 | -3.19562 |      ms |

|                                 100th percentile service time |                   term |     18.9031 |     16.7731 | -2.13002 |      ms |

|                                                    error rate |                   term |           0 |           0 |        0 |       % |

|                                                Min Throughput |                 phrase |      200.07 |     200.005 | -0.06471 |   ops/s |

|                                             Median Throughput |                 phrase |     200.101 |      200.12 |  0.01843 |   ops/s |

|                                                Max Throughput |                 phrase |      200.16 |     200.188 |  0.02767 |   ops/s |

|                                       50th percentile latency |                 phrase |     2.01647 |     2.15299 |  0.13652 |      ms |

|                                       90th percentile latency |                 phrase |     2.59113 |     3.71056 |  1.11943 |      ms |

|                                       99th percentile latency |                 phrase |     12.1538 |     15.0728 |  2.91896 |      ms |

|                                     99.9th percentile latency |                 phrase |     18.0263 |     17.9697 | -0.05664 |      ms |

|                                      100th percentile latency |                 phrase |      18.099 |     20.9373 |  2.83827 |      ms |

|                                  50th percentile service time |                 phrase |     1.95619 |      2.0853 |  0.12911 |      ms |

|                                  90th percentile service time |                 phrase |     2.34294 |     2.72552 |  0.38257 |      ms |

|                                  99th percentile service time |                 phrase |     11.1538 |     14.7404 |   3.5866 |      ms |

|                                99.9th percentile service time |                 phrase |     17.9697 |      16.492 | -1.47776 |      ms |

|                                 100th percentile service time |                 phrase |     18.0413 |     20.8794 |  2.83803 |      ms |

|                                                    error rate |                 phrase |           0 |           0 |        0 |       % |

|                                                Min Throughput |   country_agg_uncached |     3.99704 |     3.94474 |  -0.0523 |   ops/s |

|                                             Median Throughput |   country_agg_uncached |     4.00116 |     3.98724 | -0.01391 |   ops/s |

|                                                Max Throughput |   country_agg_uncached |     4.00148 |      4.0017 |  0.00022 |   ops/s |

|                                       50th percentile latency |   country_agg_uncached |       232.6 |     453.766 |  221.165 |      ms |

|                                       90th percentile latency |   country_agg_uncached |     253.871 |     769.082 |  515.211 |      ms |

|                                       99th percentile latency |   country_agg_uncached |      289.22 |     957.694 |  668.474 |      ms |

|                                      100th percentile latency |   country_agg_uncached |     295.102 |     984.625 |  689.523 |      ms |

|                                  50th percentile service time |   country_agg_uncached |     231.177 |     223.603 | -7.57404 |      ms |

|                                  90th percentile service time |   country_agg_uncached |     244.644 |     256.647 |  12.0031 |      ms |

|                                  99th percentile service time |   country_agg_uncached |     288.192 |     373.593 |   85.401 |      ms |

|                                 100th percentile service time |   country_agg_uncached |       289.1 |     412.185 |  123.085 |      ms |

|                                                    error rate |   country_agg_uncached |           0 |           0 |        0 |       % |

|                                                Min Throughput |     country_agg_cached |     100.059 |     100.034 | -0.02513 |   ops/s |

|                                             Median Throughput |     country_agg_cached |     100.087 |     100.085 | -0.00213 |   ops/s |

|                                                Max Throughput |     country_agg_cached |     100.166 |     100.137 |  -0.0295 |   ops/s |

|                                       50th percentile latency |     country_agg_cached |     1.68623 |     1.75755 |  0.07132 |      ms |

|                                       90th percentile latency |     country_agg_cached |     1.86272 |     1.98545 |  0.12273 |      ms |

|                                       99th percentile latency |     country_agg_cached |     4.05259 |     3.68271 | -0.36988 |      ms |

|                                     99.9th percentile latency |     country_agg_cached |     13.5019 |      7.5676 | -5.93429 |      ms |

|                                      100th percentile latency |     country_agg_cached |     13.5373 |      14.721 |  1.18367 |      ms |

|                                  50th percentile service time |     country_agg_cached |     1.62764 |     1.69877 |  0.07113 |      ms |

|                                  90th percentile service time |     country_agg_cached |     1.80298 |     1.92259 |  0.11961 |      ms |

|                                  99th percentile service time |     country_agg_cached |     3.43389 |      3.6158 |   0.1819 |      ms |

|                                99.9th percentile service time |     country_agg_cached |     13.4422 |     7.50826 |  -5.9339 |      ms |

|                                 100th percentile service time |     country_agg_cached |      13.478 |     14.6624 |  1.18443 |      ms |

|                                                    error rate |     country_agg_cached |           0 |           0 |        0 |       % |

|                                                Min Throughput |                 scroll |     20.0398 |     20.0412 |  0.00146 | pages/s |

|                                             Median Throughput |                 scroll |     20.0511 |     20.0527 |  0.00155 | pages/s |

|                                                Max Throughput |                 scroll |     20.0658 |     20.0653 | -0.00052 | pages/s |

|                                       50th percentile latency |                 scroll |     457.139 |     438.089 |   -19.05 |      ms |

|                                       90th percentile latency |                 scroll |     471.132 |     460.156 | -10.9755 |      ms |

|                                       99th percentile latency |                 scroll |     526.526 |     517.941 | -8.58478 |      ms |

|                                      100th percentile latency |                 scroll |     562.743 |     558.949 | -3.79432 |      ms |

|                                  50th percentile service time |                 scroll |     456.373 |     437.256 | -19.1169 |      ms |

|                                  90th percentile service time |                 scroll |     470.612 |     459.327 | -11.2854 |      ms |

|                                  99th percentile service time |                 scroll |     525.718 |     517.183 | -8.53449 |      ms |

|                                 100th percentile service time |                 scroll |     561.943 |      558.15 | -3.79347 |      ms |

|                                                    error rate |                 scroll |           0 |           0 |        0 |       % |

|                                                Min Throughput |             expression |     1.29111 |     1.39902 |  0.10791 |   ops/s |

|                                             Median Throughput |             expression |     1.29715 |     1.40569 |  0.10854 |   ops/s |

|                                                Max Throughput |             expression |      1.2997 |     1.40721 |  0.10751 |   ops/s |

|                                       50th percentile latency |             expression |     68389.3 |     53493.4 | -14895.9 |      ms |

|                                       90th percentile latency |             expression |     78950.3 |     61703.9 | -17246.4 |      ms |

|                                       99th percentile latency |             expression |     81327.2 |       63532 | -17795.3 |      ms |

|                                      100th percentile latency |             expression |     81575.7 |     63687.5 | -17888.2 |      ms |

|                                  50th percentile service time |             expression |     755.102 |     696.336 | -58.7669 |      ms |

|                                  90th percentile service time |             expression |      789.85 |      732.37 | -57.4797 |      ms |

|                                  99th percentile service time |             expression |     862.083 |     791.284 | -70.7997 |      ms |

|                                 100th percentile service time |             expression |     987.782 |      900.99 | -86.7925 |      ms |

|                                                    error rate |             expression |           0 |           0 |        0 |       % |

|                                       50th percentile latency |            large_terms |      912286 |      906044 | -6241.74 |      ms |

|                                       90th percentile latency |            large_terms | 1.05671e+06 | 1.04709e+06 | -9622.98 |      ms |

|                                       99th percentile latency |            large_terms | 1.09033e+06 | 1.07876e+06 | -11568.7 |      ms |

|                                      100th percentile latency |            large_terms | 1.09366e+06 | 1.08199e+06 | -11672.9 |      ms |

|                                  50th percentile service time |            large_terms |     4277.11 |     4201.18 | -75.9265 |      ms |

|                                  90th percentile service time |            large_terms |      4803.6 |     4756.67 | -46.9299 |      ms |

|                                  99th percentile service time |            large_terms |     4927.98 |     5243.67 |  315.686 |      ms |

|                                 100th percentile service time |            large_terms |     4976.14 |     5258.64 |  282.505 |      ms |

|                                                    error rate |            large_terms |         100 |         100 |        0 |       % |

|                                                Min Throughput |   large_filtered_terms |    0.590362 |    0.604571 |  0.01421 |   ops/s |

|                                             Median Throughput |   large_filtered_terms |    0.591796 |    0.607424 |  0.01563 |   ops/s |

|                                                Max Throughput |   large_filtered_terms |    0.593124 |    0.610402 |  0.01728 |   ops/s |

|                                       50th percentile latency |   large_filtered_terms |      256845 |      245773 | -11072.5 |      ms |

|                                       90th percentile latency |   large_filtered_terms |      297226 |      283055 | -14171.2 |      ms |

|                                       99th percentile latency |   large_filtered_terms |      306211 |      292309 | -13902.7 |      ms |

|                                      100th percentile latency |   large_filtered_terms |      307108 |      293178 |   -13930 |      ms |

|                                  50th percentile service time |   large_filtered_terms |     1700.61 |     1561.13 | -139.483 |      ms |

|                                  90th percentile service time |   large_filtered_terms |     1843.11 |     1729.85 | -113.259 |      ms |

|                                  99th percentile service time |   large_filtered_terms |     2739.02 |     2606.56 | -132.464 |      ms |

|                                 100th percentile service time |   large_filtered_terms |     2768.78 |     2639.79 | -128.991 |      ms |

|                                                    error rate |   large_filtered_terms |           0 |           0 |        0 |       % |

|                                                Min Throughput | large_prohibited_terms |    0.615361 |     0.64378 |  0.02842 |   ops/s |

|                                             Median Throughput | large_prohibited_terms |    0.617968 |    0.645034 |  0.02707 |   ops/s |

|                                                Max Throughput | large_prohibited_terms |    0.619079 |    0.646092 |  0.02701 |   ops/s |

|                                       50th percentile latency | large_prohibited_terms |      238360 |      222051 | -16308.7 |      ms |

|                                       90th percentile latency | large_prohibited_terms |      276451 |      256500 | -19951.5 |      ms |

|                                       99th percentile latency | large_prohibited_terms |      284501 |      265220 | -19281.3 |      ms |

|                                      100th percentile latency | large_prohibited_terms |      285289 |      266069 | -19220.2 |      ms |

|                                  50th percentile service time | large_prohibited_terms |     1634.98 |     1515.93 |  -119.05 |      ms |

|                                  90th percentile service time | large_prohibited_terms |      1736.8 |     1609.41 | -127.387 |      ms |

|                                  99th percentile service time | large_prohibited_terms |     2288.69 |     2611.93 |  323.244 |      ms |

|                                 100th percentile service time | large_prohibited_terms |     2332.06 |      2671.6 |  339.543 |      ms |

|                                                    error rate | large_prohibited_terms |           0 |           0 |        0 |       % |

--------------------------------

[INFO] SUCCESS (took 16 seconds)

--------------------------------

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • innodb ibd结构图

    最近在翻姜老师的存储引擎2,干货很多。结合Jeremy Cole的innodb分析工具,可以加深大家对InnoDB物理结构的理解。

    二狗不要跑
  • es数据的冷热分离实验

    PS:这里就没分 hot warm cold 这种三级存储,我们一般使用 hot warm 2种即可。

    二狗不要跑
  • MySQL 8.0.17 clone插件的使用

    mysql8.0.17里 引入了一个clone插件, 可以方便我们快速克隆出一个从库或者MGR的节点:

    二狗不要跑
  • 如何将您的Git存储库备份到腾讯云COS

    依赖源代码存储库进行版本控制是一种最佳的方法,当代码更改导致应用程序崩溃或行为不正常时,可以恢复运行。但是,如果发生诸如不小心删除分支或无法访问存储库等严重性事...

    水门
  • vue -- config.js 配置跨域文件

    1、在使用vue开发的时候经常要涉及到跨域的问题,其实在vue cli中是有我们设置跨域请求的文件的。

    小蔚
  • 资讯 | DARPA 最新计划 L2M:研发超越图灵模型和诺依曼架构的新型计算机

    选自CIO 作者:Agam Shah 机器之心编译 参与:黄小天 DARPA 认为,计算机应该做的不仅是计算,还有像人一样学习。 ? 美国国防部高级研究计划局(...

    机器之心
  • php,vue,vue-ssr 三版本页面对比Demo

    目前我这边的web页面,都是采用php+smarty模板生成的,是一种比较早期的开发模式。好处是没有现阶段常用的前后端分离出现的首屏问题,因为其本身就是服务器渲...

    shirishiyue
  • FTP服务配置与管理

    1、ftp服务器是一种文件传输协议,主要的作用是客户端与服务器之间的文件传输功能实现 2、vsftpd是目前在Linux/unix领域应用十分广泛的一款ftp服...

    Weiyang
  • Hbase原理、基本概念、基本架构

    Hbase原理、基本概念、基本架构 概述 ? HBase是一个构建在HDFS上的分布式列存储系统; HBase是基于Google BigTable模型开发...

    汤高
  • 对于没有编程经验的人,R 语言是否很难掌握?

    R 是统计领域广泛使用的诞生于 1980 年左右的 S 语言的一个分支。R 是属于 GNU 系统的一个自由、免费、源代码开放的软件,它是一个用于统计计算和统计制...

    小莹莹

扫码关注云+社区

领取腾讯云代金券