腾讯云 Elasticsearch 集群迁移之 Logstash 方案

curl -s -uelastic:'源端集群密码' 'http://源端IP:9200/_cat/plugins?h=component,version' | sort | uniq

curl -s -uelastic:'源端集群密码' 'http://源端IP:9200/_settings?pretty' | grep "_path"

# 进入到ES主目录，$ES_HOME需替换成实际目录
cd /$ES_HOME/config/analysis-ik

# 进入ik词典目录下，查看配置文件
cat IKAnalyzer.cfg.xml

es-security-sync \\
  --src_url http://10.0.xx.xx:9200 \\
  --dst_url http://10.0.xx.xx:9400 \\
  --src_user log_user \\
  --dst_user log_user \\
  --src_password ****** \\
  --dst_password ******

es-template-cp \\
  --src_url http://源ES IP:9200 \\
  --dst_url http://腾讯云ES IP:9200 \\
  --src_password '******' \\
  --dst_password '腾讯云ES密码'

#下载jar包
#运行环境: JDK-1.8
wget https://tools-release-1253240642.cos.ap-shanghai.myqcloud.com/elasticsearch/packages/CopyPipelines.jar

java -jar CopyPipelines.jar http://源ES IP:9200 elastic '源端ES密码' http://腾讯云ES IP:9200 elastic '腾讯云ES密码'  skip

java -jar CopyPipelines.jar http://源ES IP:9200 elastic '源端ES密码' http://腾讯云ES IP:9200 elastic '腾讯云ES密码' overwrite

es-index-properties-sync \\
  --src_url http://10.0.xx.xx:9200 \\
  --dst_url http://10.0.xx.xx:9200 \\
  --src_password ****** \\
  --dst_password ****** \\
  --indices '*,-.*' \\

rpm -vih https://tools-release-1253240642.cos.ap-shanghai.myqcloud.com/elasticsearch/packages/es-index-grouping-lastest.x86_64.rpm

--user        default: elastic
--password    default: 默认读取环境变量 export password='***'
--ip          default: 没有默认值，必要参数，不允许为空
--port        default: 9200
--pattern     default: 索引匹配规则，默认为 '*'，支持逗号分隔
--instances   default: 分组数量。没有默认值，必要参数，不允许为空

es-index-grouping --ip 源ES IP --instances 10

password='123456' es-index-grouping --ip 源ES IP --port 9200 --user logUser --pattern '*,-.*' --instances 10

input {
    elasticsearch {
        hosts => "源ES IP:9200"
        index => "*,-.*"  # 如果是分组同步，这里则填入其中一个组的 index list，支持通配，例如：index => "index-a-*, index-b-*"
        user => "elastic"
        password => "xxxxxx"
        docinfo => true
        size => 5000
        slices => 4        #建议设置为源端多数索引的分片数量
      }
}

output {
    elasticsearch {
        hosts => ["http://腾讯云 ES IP:9200"]
        user => "elastic"
        password => "腾讯云ES密码"
        index => "%{[@metadata][_index]}"
        document_type => "%{[@metadata][_type]}"
        document_id => "%{[@metadata][_id]}"
    }
}

filter {
    mutate {
        gsub => ["[@metadata][_index]", "test-", "ceshi-"]
  }
}

#为单个索引开启动态mapping
PUT index_name/_mapping
{
  "dynamic": true
}

#为全部索引开启动态mapping
PUT *,-.*/_mapping
{
  "dynamic": true
}

input {
    elasticsearch {
        # 源端ES地址。
        hosts =>  ["http://源ES IP:9200"]
        # 安全集群配置登录用户名密码。
        user => "elastic"
        password => "源端ES密码"
        # 需要迁移的索引列表，多个索引使用英文逗号（,）分隔，支持通配。
        index => "sample_data"
        # 按时间范围查询差异数据，以下配置表示查询最近1小时更新的数据。
        query => '{"query":{"range":{"update_time":{"gte":"now-1h/h","lte":"now/m"}}}}'
        # 定时任务，以下配置表示每半小时执行一次。
        schedule => "0 */30 * * * ?"
        scroll => "5m"
        docinfo=>true
        size => 5000
}

output {
    elasticsearch {
        hosts => ["http://腾讯云 ES IP:9200"]
        user => "elastic"
        password => "腾讯云ES密码"
        index => "%{[@metadata][_index]}"
        document_type => "%{[@metadata][_type]}"
        document_id => "%{[@metadata][_id]}"
    }
}

GET sample_data/_search
{
  "query": {
    "range": {
      "update_time": {
        "gte": "now-1h/h",
        "lte": "now/m"
      }
    }
  },
  "_source": "update_time"
}

#下载jar包
#运行环境: JDK-1.8
wget https://tools-release-1253240642.cos.ap-shanghai.myqcloud.com/elasticsearch/packages/ElasticsearchCompare.jar

java -jar ESIndexDocumentCountComparison.jar <srcClusterUrl> <srcUser> <srcPassword> <dstClusterUrl> <dstUser> <dstPassword> <index pattern>

java -jar ESIndexDocumentCountComparison.jar http://源端ES IP:9200 elastic '源端ES密码' http://腾讯云ES IP:9200 elastic '腾讯云ES密码'  "*,-.*"