Reinvent Data Science-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Reinvent Data Science

专栏成员

272

文章

250242

阅读量

39

订阅数

如何定位Milvus性能瓶颈并优化

监控搜索索引性能优化

在此前的文章中，我们已经介绍了评估各种向量数据库时使用的关键指标和性能测试工具。本文将以 Milvus 向量数据库为例，特别关注 Milvus 2.2 或以上版本，讲解如何监控搜索性能、识别瓶颈并优化向量数据库性能。

2024-07-20

600

一文看懂开源许可证：大语言模型和向量数据库入门指南

软件向量数据库开源模型入门

开源意味着创作者将软件、硬件甚至是大语言模型免费提供给社区使用。开源项目通常由社区中来自不同公司的开发者共同努力开发和维护。产品或软件的许可证类型明确规定了可以如何使用不同的开源产品。

2024-07-20

370

向量数据库性能测试技巧

技巧性能向量数据库数据库性能测试

简介：随着非结构化数据的持续增长和人工智能（AI）以及大语言模型（LLM）的爆火，向量数据库已成为至关重要的基础设施。在这种趋势下，如何评估并挑选出最适合您的向量数据库呢？本文将深入探讨向量数据库的关键评估指标和性能测试工具。同时，本文还将介绍如何评估向量数据库性能助您做出明智的决策。

2024-07-20

1100

详解 BGE-M3 与 Splade 模型

工作架构模型搜索原理

在之前的文章《详解如何通过稀疏向量优化信息检索》中，我们已经讨论了信息检索技术从简单的关键词匹配到复杂的情境理解的发展，并提出了稀疏 Embedding 向量可以通过“学习”获得的观点。这些巧妙的 Embedding 技术融合了稠密和稀疏向量检索方法的优点。学习型的（Learned）稀疏向量不仅解决了密集检索中常见的跨领域问题，还通过融合更多的上下文信息，增强了传统稀疏向量搜索的能力。

2024-07-20

440

详解如何通过稀疏向量优化信息检索

数据搜索优化编码模型

在信息检索方法的发展历程中，我们见证了从传统的统计关键词匹配到如 BERT 这样的深度学习模型的转变。虽然传统方法提供了坚实的基础，但往往难以精准捕捉文本的语义关系。如 BERT 这样的稠密检索方法通过利用高维向量捕获文本的上下文语义，为搜索技术带来了显著进步。然而，由于这些方法依赖于特定领域的知识，它们在处理领域外（out-of-domain）问题时可能会遇到困难。

2024-07-20

530

使用 Grafana 和 Loki 搭建 Milvus 日志查询系统

grafana 部署配置日志系统

本教程将介绍如何设置 Grafana 和 Loki 来有效监控您的 Milvus 实例。

2024-07-20

610

一起来认识 GPU-Cagra 索引！

性能 gpu 排序搜索索引

向量搜索是一个非常典型计算密集型的场景。作为世界上最快的向量数据库，Milvus的向量检索引擎Knowhere占用了超过整个系统80%的计算资源。而当我们谈论到高性能的计算，GPU总是一个绕不开的话题，在向量领域也不例外。

2024-07-10

880

实用指南｜如何提升 RAG Pipeline 效果？

优化 pipeline 模型搜索索引

随着RAG应用逐渐的普及，如何提高RAG应用的回答效果正在被越来越多的人关注。本文列出了各类优化RAG pipeline的方法和对应的图例说明，以帮助你快速了解目前主流的RAG优化策略。

2024-07-10

1800

PyMilvus 与 Embedding 模型集成

embedding 模型数据搜索数据处理

现在，Milvus 的 Python SDK——PyMilvus 中已集成模型模块，支持直接添加 Embedding 和重排（Reranker）模型，大幅简化了将数据转化为向量以及对搜索结果进行重排的流程，十分适用于检索增强生成（RAG）应用。

2024-07-10

970

使用RAGAs评估基于Milvus的RAG应用

框架数据性能 import 函数

现在，我们很容易构建一个基于检索增强生成（RAG）的应用，但将其投入生产却非常困难，因为RAG的性能很难达到令人满意的状态。

2024-07-10

820

一文玩转 Milvus 新特性之 Hybrid Search

数据搜索 search 模型排序

OpenAI 最近官宣的多模态大模型 GPT-4o 再一次引发了热议，近年来对多模态的处理能力被认为是通往 AGI 的必经之路。虽然关于 GPT-4o 的训练方法尚未公布，但从 CLIP 双模态模型的训练上我们可以窥见端倪，将不同模态但相互关联的数据提取特征，转为固定维度的向量输入给模型，然后通过对比学习的方式调整模型参数进行模态间融合。

2024-06-28

3660

如何选择合适的 Embedding 模型？

搜索音频 embedding 模型视频

RAG 通常会用到三种不的AI模型，即 Embedding 模型、Rerankear模型以及大语言模型。本文将介绍如何根据您的数据类型以及语言或特定领域（如法律）选择合适的 Embedding 模型。

2024-06-27

2310

Milvus 集成 DSPy：搭建高效 RAG Pipeline

模型数据优化 pipeline 程序

大语言模型（LLM）为行业带来变革，具备强大的生成能力，在与知识库和检索器等工具相结合时，能够高效推动聊天机器人和 Agent 等高级生成式 AI（GenAI）应用的发展。与 LLMs 互动的过程中，最核心的部分是提示（prompt）。Prompt 是指用于指导这些模型执行特定任务的命令。然而，制定有效的 Prompt 是一个细致且复杂的过程，常需借助如思维链（Chain-of-Thought）和 ReAct 等高级技术。随着这些技术的发展，Prompt 的复杂性日益增加。此外，即使是相同的 Prompt ，在不同的 LLM（如 GPT-4 和 Gemini）之间也可能因其预训练方法和数据集的不同而产生差异化的结果。这一挑战引发了业内对 Prompt 工程的研究，这是一项专注于调整和优化 Prompt 以获得更佳和更定制化结果的劳动密集型任务。

2024-06-25

3830

实用指南｜如何使用 Milvus 将 JSON 数据向量化并进行相似性搜索

模型数据搜索 json 量化

然而，JSON 数据的层次结构虽然实用，但在存储、检索及数据分析时操作起来较为复杂。将 JSON 数据向量化能够提升数据处理、存储、检索及分析的效率，进而提高系统整体性能和操作便利性。

2024-06-25

5880

Jina AI + Milvus Lite：搭建 RAG 问答机器人

数据搜索索引机器人教程

开发人员特别重视那些易于设置、启动迅速且能在生产环境中无缝扩展的基础组件。针对这一需求，我们推出了最新的轻量级向量数据库产品——Milvus Lite。对于 Python 开发者而言，Milvus Lite 是一个极具价值的工具，尤其适用于追求高质量、易用性的搜索应用。

2024-06-25

1900

Milvus跨集群数据迁移

备份集群镜像数据数据迁移

注意：此方案为非实时同步方案，但借助 MinIO 客户端的数据同步功能，应该也是可以做到实时同步迁移。

2024-06-14

2040

Ask AI 上线！构建企业级的 Chatbot

官方文档搜索存储机器人 chatbot

早些时候我们在社区微信群发出了一份关于 Milvus 自动问答机器人的调研问卷。

2024-06-13

910

重磅推出：Milvus Lite 正式上线，几秒内即可轻松搭建 GenAI 应用

数据搜索研发部署开发

Milvus Lite（https://milvus.io/docs/milvus_lite.md）是一个轻量级向量数据库，支持本地运行，可用于搭建 Python 应用，由 Zilliz 基于全球最受欢迎的开源向量数据库 Milvus（https://milvus.io/intro）研发。从架构上，Milvus Lite 复用了 Milvus 向量索引和查询解析的核心组件，同时移除了 Milvus 中专为分布式系统高扩展性设计的组件。这种架构设计使 Milvus Lite 变为一种紧凑且高效的向量数据库解决方案，非常适用于计算资源有限的环境，如笔记本电脑、Jupyter Notebook 和移动设备等。

2024-06-13

1140

重磅！Zilliz 与智源研究院联合推出自动化多样性信息检索评测基准 AIR-Bench

自动化测试模型设计数据

Github：https://github.com/AIR-Bench/AIR-Bench

2024-05-31

1230

一文深度剖析 ColBERT

量化模型存储 token 编码

在之前的文章中，我们已经深入探讨了各种类型的 embedding 向量和专为高效信息检索而设计的模型，包括针对具体用例设计的稠密、稀疏和二进制 embedding 向量，它们各自的优势和劣势。此外，我们还介绍了各种 Embedding 向量模型，如用于稠密向量生成和检索的 BERT，以及用于稀疏向量生成和检索的 SPLADE 和BGE-M3。

2024-05-31

2060

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态