基于 AI 套件快速导入文件并检索

import com.tencent.tcvectordb.client.RPCVectorDBClient;
import com.tencent.tcvectordb.model.*;

package main

import (
    "context"
    "time"
    "log"
    "github.com/tencent/vectordatabase-sdk-go/tcvectordb"
)

public class VectorDBExample {
    public static void main(String[] args) {
        // 创建VectorDB Client
        ConnectParam connectParam = ConnectParam.newBuilder()
                .withUrl("http://10.0.X.X:80")
                .withUsername("root")
                .withKey("eC4bLRy2va******************************")
                .withTimeout(30)
                .build();
        VectorDBClient client = new RPCVectorDBClient(connectParam,ReadConsistencyEnum.EVENTUAL_CONSISTENCY);
    }
}

func main() {
    // 初始化客户端
    var defaultOption = &tcvectordb.ClientOption{
        Timeout:            time.Second * 5,
        MaxIdldConnPerHost: 2,
        IdleConnTimeout:    time.Minute,
        ReadConsistency:    tcvectordb.EventualConsistency,
    }
    client, err := tcvectordb.NewRpcClient("http://10.0.X.X:80", "root", "eC4bLRy2va******************************", defaultOption)
    if err != nil {
        panic(err)
    }
}

AIDatabase db = client.createAIDatabase("db-test-ai");

var (
    ctx                 = context.Background()
    aiDatabase          = "db-test-ai"
)
db, _ := client.CreateAIDatabase(context.Background(), aiDatabase)
log.Printf("Create AI database success, %s", db.DatabaseName)

// link database， client 为 VectorDBClient() 创建的客户端对象
AIDatabase db = client.aiDatabase("db-test-ai");
// 初始化 ColletionView 参数
CreateCollectionViewParam collectionParam = CreateCollectionViewParam.newBuilder()
                .withName("coll-ai-files")
                .withDescription("This is a collectionView")
                .addField(new FilterIndex("author", FieldType.String, IndexType.FILTER))
                .build();
// Create CollectionView                
CollectionView db.createCollectionView(collectionParam);

var (
    ctx                = context.Background()
    aiDatabase         = "db-test-ai"
    collectionViewName = "coll-ai-files"
)
// 第一步：设计索引，为文件 meta 信息标量字段 author 配置 Filter 索引
index := tcvectordb.Indexes{
    FilterIndex: []tcvectordb.FilterIndex{
        {
            FieldName: "author",
            FieldType: tcvectordb.String,
            IndexType: tcvectordb.FILTER,
        },
    },
}
// 第二步：创建集合视图
coll, _ := db.CreateCollectionView(ctx, collectionViewName, tcvectordb.CreateCollectionViewParams{
    Description: "This is a collectionView",
    Indexes:     index,
})
log.Printf("CreateCollectionView success: %v: %v", coll.DatabaseName, coll.CollectionViewName)

// link database， client 为 VectorDBClient() 创建的客户端对象
AIDatabase db = client.aiDatabase("db-test-ai");
// link collectionView
CollectionView collection = db.describeCollectionView("coll-ai-files");
// LocalFilePath 配置上传文件的本地路径
// DocumentSetName 指定文件存储于数据库的名称
LoadAndSplitTextParam param = LoadAndSplitTextParam.newBuilder()
                .withLocalFilePath("/tmp/腾讯云向量数据库.pdf")
                .Build();
// 配置文件 Meatdata 标量字段的值                
Map<String, Object> metaDataMap = new HashMap<>();
metaDataMap.put("author", "Tencent");
// 调用 loadAndSplitText() 上传文件
collection.loadAndSplitText(param, metaDataMap);

metaData := map[string]interface{}{
        "author": "Tencent",
    }
UpsertResult, _ := coll.LoadAndSplitText(ctx, tcvectordb.LoadAndSplitTextParams{
    LocalFilePath: "/tmp/腾讯云向量数据库.pdf",
    MetaData:      metaData,
})
log.Printf("LoadAndSplitText success: %+v", UpsertResult)

String fileId="";
String fileName = "腾讯云向量数据库.pdf";
System.out.println(collection.getFile(fileName,fileId).toString());

result, _ := coll.GetDocumentSetByName(ctx, "腾讯云向量数据库.pdf")
log.Printf("GetDocumentSetByName success: %+v", result)

// link database， client 为 VectorDBClient() 创建的客户端对象
AIDatabase db = client.aiDatabase("db-test-ai");
// link collectionView
CollectionView collection = db.describeCollectionView("coll-ai-files");
// 设置查询参数
// Content 配置需检索的文本信息
// DocumentSetNames 指定需要查找的文件名，可批量设置
SearchByContentsParam searchByContentsParam = SearchByContentsParam.newBuilder()
                .withContent("向量是指什么")
                .withDocumentSetNames(Arrays.asList("腾讯云向量数据库.pdf"))
                .build();
// 根据配置的查询条件进行内容检索
List<Document> searchRes = collection.search(searchByContentsParam);
// 输出检索结果
int i = 0;
for (Document doc : searchRes) {
    System.out.println("\\tres" +(i++)+": "+ doc.toString());
}

res0: {
  "score": 0.8938464522361755,
  "data": {
    "text": "### 什么是向量？\\n向量是指在数学和物理中用来表示大小和方向的量。它由一组有序的数值组成，这些数值代表了向量在每个坐标轴上的分量。\\n",
    "endPos": 508,
    "startPos": 441,
    "next": [
      "### 什么是非结构化数据？\\n非结构化数据，是指图像、文本、音频等数据。与结构化数据相比，非结构化数据不遵循预定义模型或组织方式，通常更难以处理和分析。\\n"
    ],
    "pre": [
      "## 关键概念\\n如果您不熟悉向量数据库和相似性搜索领域，请优先阅读以下基本概念，便于您对向量数据库有一个初步的了解。\\n"
    ]
  },
  "documentSet": {
    "documentSetName": "\\"腾讯云向量数据库.pdf\\"",
    "documentSetId": "\\"1182525034158882816\\"",
    "docFields": [
      {
        "name": "author",
        "value": "Tencent"
      },
      {
        "name": "tags",
        "value": [
          "Embedding",
          "向量",
          "AI"
        ]
      }
    ]
  }
}res1: {
  "score": 0.8378515839576721,
  "data": {
    "text": "### 什么是 AI 中的向量表示？\\n当我们处理非结构化数据时，需要将其转换为计算机可以理解和处理的形式。向量表示是一种将非结构化数据转换为嵌入向量的技术，通过多维度向量数值表述某个对象或事物的属性或者特征。腾讯云向量数据库提供的模型能力，目前在开发调试中。\\n",
    "endPos": 784,
    "startPos": 585,
    "next": [
      "### 什么是向量检索？\\n向量检索是一种基于向量空间模型的信息检索方法。将非结构化的数据表示为向量存入向量数据库，向量检索通过计算查询向量与数据库中存储的向量的相似度来找到目标向量。\\n"
    ],
    "pre": [
      "### 什么是非结构化数据？\\n非结构化数据，是指图像、文本、音频等数据。与结构化数据相比，非结构化数据不遵循预定义模型或组织方式，通常更难以处理和分析。\\n"
    ]
  },
  "documentSet": {
    "documentSetName": "\\"腾讯云向量数据库.pdf\\"",
    "documentSetId": "\\"1182525034158882816\\"",
    "docFields": [
      {
        "name": "author",
        "value": "Tencent"
      },
      {
        "name": "tags",
        "value": [
          "Embedding",
          "向量",
          "AI"
        ]
      }
    ]
  }
}res2: {
  "score": 0.8152828216552734,
  "data": {
    "text": "### 什么是向量检索？\\n向量检索是一种基于向量空间模型的信息检索方法。将非结构化的数据表示为向量存入向量数据库，向量检索通过计算查询向量与数据库中存储的向量的相似度来找到目标向量。\\n",
    "endPos": 876,
    "startPos": 784,
    "next": [
      "## 为什么是腾讯云向量数据库？\\n腾讯云向量数据库作为一种专门存储和检索向量数据的服务提供给用户， 在高性能、高可用、大规模、低成本、简单易用、稳定可靠、智能运维等方面体现出显著优势。 \\n"
    ],
    "pre": [
      "### 什么是 AI 中的向量表示？\\n当我们处理非结构化数据时，需要将其转换为计算机可以理解和处理的形式。向量表示是一种将非结构化数据转换为嵌入向量的技术，通过多维度向量数值表述某个对象或事物的属性或者特征。腾讯云向量数据库提供的模型能力，目前在开发调试中。\\n"
    ]
  },
  "documentSet": {
    "documentSetName": "\\"腾讯云向量数据库.pdf\\"",
    "documentSetId": "\\"1182525034158882816\\"",
    "docFields": [
      {
        "name": "author",
        "value": "Tencent"
      },
      {
        "name": "tags",
        "value": [
          "Embedding",
          "向量",
          "AI"
        ]
      }
    ]
  }
}

// 等待文件解析完成
time.Sleep(time.Second * 30)
searchRes, _ := coll.Search(ctx, tcvectordb.SearchAIDocumentSetsParams{
    Content: "向量是指什么",
    DocumentSetName: []string{"腾讯云向量数据库.pdf"},
})
for _, doc := range searchRes.Documents {
    log.Printf("document: %+v", doc)
}

result, _ := client.DropAIDatabase(context.Background(), aiDatabase)