POST /my_photos/_bulk
{ "index" : { "_id" : "1" } }
{ "photo_id" : "photo1.jpg", "upload_date" : "2024-02-01T10:00:00" }
{ "index" : { "_id" : "2" } }
{ "photo_id" : "photo2.jpg", "upload_date" : "2024-02-01T10:05:00" }
{ "index" : { "_id" : "3" } }
{ "photo_id" : "photo12.jpg", "upload_date" : "2024-02-01T10:10:00" }
{ "index" : { "_id" : "4" } }
{ "photo_id" : "photo111.jpg", "upload_date" : "2024-02-01T10:15:00" }


### 执行检索
GET /my_photos/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "photo_id.keyword": {
        "order": "asc"
      }
    }
  ]
}

召回结果，同图中后半部分结果一致。

结果并没有达到预期。

而可行的解决方案，还得从文件名入手才可以。图像文件名包含数字，需要根据这些数字进行排序，这才是根本！

3、解决方案实现

我们采用两种不同的解决方案来尝试解决这个问题。

第一种：基于脚本排序。

第二种：复杂问题简单化，预处理管道拆分出数值字段，基于数值排序。

3.1 方案1：脚本排序实现

使用 _script 进行排序是一种灵活的方法，它允许我们编写自定义脚本来解析文件名并提取排序依据的数字。

GET /my_photos/_search
{
  "query": {
    "match_all": {}
  },
  "sort": {
    "_script": {
      "type": "number",
      "script": {
        "lang": "painless",
        "source": """
          String photoId = doc['photo_id.keyword'].value;
          if (photoId == null) return 0;
          Matcher m = /[0-9]+/.matcher(photoId);
          if (m.find()) {
            return Integer.parseInt(m.group(0));
          } else {
            return 0;
          }
        """
      },
      "order": "asc"
    }
  }
}

执行结果已经有序：

上述脚本基于正则表达式从photo_id字段中查找并提取出数字，如果找到就返回这个数字，如果找不到就返回0。

这样的操作对于根据数字对文档进行排序非常有用。

虽然这种方法非常强大，但它可能会因为脚本的执行而影响查询性能，数据量巨大的时候，咱们要慎用！

3.2 方案2：预处理解决方案实现

除了上面的方案，另一种方法是在索引数据时使用Ingest管道预处理图像文件名。

这样可以在数据索引时就提取出文件名中的数字并存储在一个专门的字段中。

这种方法的好处是可以显著提高排序的效率，因为数字已经被预处理并作为数值类型存储，使得排序操作更加快速。

就是开头咱们提到的复杂问题简单化。

创建预处理管道，基于 grok 提取数值字段

PUT _ingest/pipeline/extract_photo_number
{
  "description": "Extracts numbers from photo_id and stores it in photo_number",
  "processors": [
    {
      "grok": {
        "field": "photo_id",
        "patterns": ["%{NUMBER:photo_number:int}"]
      }
    }
  ]
}

DELETE my_photos_20240201

### 创建索引的时候，记得指定上面创建好的预处理管道。
### 新增的字段photo_number，和上面的预处理管道获取的字段一一对应。
PUT my_photos_20240201
{
  "settings": {
    "default_pipeline":"extract_photo_number"
  }, 
  "mappings": {
    "properties": {
      "photo_id": {
        "type": "text",
        "fields": {
          "keyword": {
            "type": "keyword",
            "ignore_above": 256
          }
        }
      },
      "photo_number": {
        "type": "long"
      },
      "upload_date": {
        "type": "date"
      }
    }
  }
}

### 批量写入数据
POST /my_photos_20240201/_bulk
{ "index" : { "_id" : "1" } }
{ "photo_id" : "photo1.jpg", "upload_date" : "2024-02-01T10:00:00" }
{ "index" : { "_id" : "2" } }
{ "photo_id" : "photo2.jpg", "upload_date" : "2024-02-01T10:05:00" }
{ "index" : { "_id" : "3" } }
{ "photo_id" : "photo12.jpg", "upload_date" : "2024-02-01T10:10:00" }
{ "index" : { "_id" : "4" } }
{ "photo_id" : "photo111.jpg", "upload_date" : "2024-02-01T10:15:00" }

### 执行检索和排序
POST my_photos_20240201/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "photo_number": {
        "order": "asc"
      }
    }
  ]
}

官方文档参考：

https://www.elastic.co/guide/en/elasticsearch/reference/current/grok-processor.html

执行结果如下：