首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

ChatGPT 都推荐的向量数据库,不仅仅是向量索引

导读:在 AIGC 的时代背景下向量数据库井喷式发展。不少人理解向量数据库就是在传统数据库之上新增一个向量索引,然而随着大模型应用逐渐拓展到核心业务领域,通过复杂代码工程来拼接大模型、向量索引和结构化数据分析结果会阻碍规模化复制。同时并发查询性能、数据一致性、高可靠和弹性伸缩等特性会变得越发重要。阿里云 AnalyticDB 锚点未来 5 年企业数据架构智能化升级需求,全自研了企业级向量数据库,它也是国内云厂商中唯一被 ChatGPT 和 LangChain 推荐的向量引擎。本文带大家一起了解阿里云 AnalyticDB 技术负责人姚奕玮在 QCon 全球软件开发大会(北京站)2023 上的精彩演讲,解密 AnalyticDB 全自研企业级向量数据库核心技术,以及新一代向量数据库在云原生存算分离和 AI 原生上的技术演进路线。 完整幻灯片下载: https://qcon.infoq.cn/202309/beijing/presentation/5454

03

ChatGPT 都推荐的向量数据库,不仅仅是向量索引

导读:在 AIGC 的时代背景下向量数据库井喷式发展。不少人理解向量数据库就是在传统数据库之上新增一个向量索引,然而随着大模型应用逐渐拓展到核心业务领域,通过复杂代码工程来拼接大模型、向量索引和结构化数据分析结果会阻碍规模化复制。同时并发查询性能、数据一致性、高可靠和弹性伸缩等特性会变得越发重要。阿里云 AnalyticDB 锚点未来 5 年企业数据架构智能化升级需求,全自研了企业级向量数据库,它也是国内云厂商中唯一被 ChatGPT 和 LangChain 推荐的向量引擎。本文带大家一起了解阿里云 AnalyticDB 技术负责人姚奕玮在 QCon 全球软件开发大会(北京站)2023 上的精彩演讲,解密 AnalyticDB 全自研企业级向量数据库核心技术,以及新一代向量数据库在云原生存算分离和 AI 原生上的技术演进路线。 完整幻灯片下载: https://qcon.infoq.cn/202309/beijing/presentation/5454

03

Milvus存算分离系列-3: 存算双写

书接上文,还是回到数据实时可见这个问题上。milvus的target机制实际上只解决了一部分问题,即那些已经“落盘”的数据,可以通过target推进机制来可见。这种机制类似于lucene的“flush”功能,即只有刷新过的数据可查,而没刷新的数据不能查询。这个做法在share nothing的架构下问题不大,比如es就是完全接受lucene的flush机制,提供了“近实时”查询,即一般把flushInterval设置为1s,新写入的数据在1s之后就是可见的。但是对于milvus这种存算分离+云原生的架构,如果新写入的数据要经过write-object storage再download的过程才能可查,那么且不说由于flushInterval太短造成的小文件问题,仅仅是这个upload+download的过程的延时肯定都已经做不到“近实时”了。本文从此出发,介绍milvus是怎么解决“最新数据实时可见”这个问题的。

06
领券