基于腾讯云ES混合搜索与TI-ONE部署DeepSeek，快速构建RAG应用

PUT /index-name
{
  "mappings": {
    "properties": {
    "title": {
        "type": "keyword"
      },
      "content": {
        "type": "text"
      },
      "url": {
        "type": "keyword"
      },
      "content_embedding": {
        "type": "dense_vector",
        "dims": 384
      }
    }
  }
}

PUT /_ingest/pipeline/index-name-pipeline
{
  "description": "Text embedding pipeline",
  "processors": [
    {
      "inference": {
        "model_id": ".multilingual-e5-small",
        "input_output": [
          {
            "input_field": "content",
            "output_field": "content_embedding"
          },
          {
            "input_field": "title",
            "output_field": "title_embedding"

          }
        ]
      }
    }
  ]
}

POST index-name/_bulk?pipeline=index-name-pipeline&refresh
{ "index" : {} }
{ "title" : "标题 1","content": "内容 1","url": "https：url1"  }
{ "index" : {} }
{ "title" : "标题 2","content": "内容 2","url": "https：url2"  }

import json
from tencentcloud.common import credential
from tencentcloud.common.profile.client_profile import ClientProfile
from tencentcloud.common.profile.http_profile import HttpProfile
from tencentcloud.common.exception.tencent_cloud_sdk_exception import TencentCloudSDKException
from tencentcloud.tione.v20211111 import tione_client, models
def deepseek_gpt(system_prompt, user_prompt):
    try:
    # 实例化一个认证对象，入参需要传入腾讯云账户 SecretId 和 SecretKey，此处还需注意密钥对的保密
    # 代码泄露可能会导致 SecretId 和 SecretKey 泄露，并威胁账号下所有资源的安全性。以下代码示例仅供参考，建议采用更安全的方式来使用密钥，请参见：https://cloud.tencent.com/document/product/1278/85305
    # 密钥可前往官网控制台 https://console.cloud.tencent.com/cam/capi 进行获取
        cred = credential.Credential("SecretId", "SecretKey")
    # 实例化一个http选项，可选的，没有特殊需求可以跳过
        httpProfile = HttpProfile()
        httpProfile.endpoint = "tione.tencentcloudapi.com"

    # 实例化一个client选项，可选的，没有特殊需求可以跳过
        clientProfile = ClientProfile()
        clientProfile.httpProfile = httpProfile
    # 实例化要请求产品的client对象,clientProfile是可选的
        client = tione_client.TioneClient(cred, "ap-guangzhou", clientProfile)

# 实例化一个请求对象,每个接口都会对应一个request对象
# Model使用第二步在TI-ONE获取的模型信息
        req = models.ChatCompletionRequest()
        params = {
            "Model": "ms-vkf8hnsv",
                "Messages": [
                    {"Role": "system", "Content":system_prompt},
                    {"Role": "user", "Content": user_prompt}
                ]
            }
        req.from_json_string(json.dumps(params))   

    # 返回的resp是一个ChatCompletionResponse的实例，与请求对象对应
        resp = client.ChatCompletion(req)
    # 输出json格式的字符串回包
        return resp

    except TencentCloudSDKException as err:
        print(err)

pip install streamlit

import streamlit as st
from elasticsearch import Elasticsearch
from tione_ds import deepseek_gpt

es_client = Elasticsearch(
    "ES集群访问地址",basic_auth=("用户名", "密码"))

def get_elasticsearch_results(query):
    es_query = {
        "knn": {
            "field": "content_embedding",
            "num_candidates": 100,
            "query_vector_builder": {
                "text_embedding": {
                    "model_id": ".multilingual-e5-small",
                    "model_text": query
                }
            }
        },
        "query":{
            "match":{
                "content":query
            }
        },
        "rank":{
            "rrf":{
                "window_size":100,
                "rank_constant":20
            }
        }
    }
    result = es_client.search(index="index-name", body=es_query)
    return result["hits"]["hits"]

def create_deepseek_prompt(results,question):
    context = ""
    for hit in results:
        source_field = hit["_source"]["content"]
        hit_context = source_field
        context += f"{hit_context}\n"
    prompt = f"""
Instructions:
结合{context}的信息回答{question}的问题，要求简练高效
"""
    return prompt

def generate_deepseek_completion(user_prompt, question):
    response = deepseek_gpt(user_prompt, question)
    print(str(response))
    return response.Choices[0].Message.Content.replace('<think>','').replace('</think>','')
    

def format_result(hit):
    title = hit["_source"]["title"]
    return f'[{title}]'

def main():
    st.title("我的专属AI助手")

    # 创建输入框和查询按钮
    question = st.text_input("请输入您的问题：")
    if st.button("查询并生成答案"):
        # 获取Elasticsearch结果并创建HunYuan提示
        elasticsearch_results = get_elasticsearch_results(question)
        user_prompt = create_deepseek_prompt(elasticsearch_results,question)
        system_prompt = f"""
你是一个问答任务的助手。使用呈现的上下文实事求是地回答问题。
"""

        # 使用deepseek模型生成回答
        openai_completion = generate_deepseek_completion(system_prompt, user_prompt)

        # 显示结果
        st.write(openai_completion)

        # 展示Elasticsearch查询结果
        st.write("大模型参考的文档：")
        for hit in elasticsearch_results:
            st.markdown(format_result(hit))

if __name__ == "__main__":
    main()

streamlit run web_ds.py

POST index-name/_bulk?pipeline=index-name-pipeline&refresh
{ "index" : {} }
{ "title" : "腾讯云ES发展历程介绍","content": "腾讯云 Elasticsearch Service（ES）是云端全托管海量数据检索分析服务，拥有高性能自研内核，集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群，也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES您可以高效构建信息检索、日志分析、运维监控等服务，它独特的向量检索还可助您构建基于语义、图像的AI深度应用。其发展历程如下：2018年，腾讯云ES正式发布，提供开箱即用的云端全托管检索分析服务；2019年，与Elastic达成战略合作，提供X-Pack商业套件；2021年，规模化运营，达百PB规模，提供自研压缩编码等能力；2022年，针对日志场景深度优化，提供一站式数据链路、自治索引等能力；2023年，产品形态升级，提供自动弹性、完全免运维的的Serverless版；2024年，极智搜索，与AI大模型深度结合，提供一站式RAG方案。","url": "https：url1"  }