资深研发

架构进阶

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

    众所周知，检索是大模型RAG应用中的重要步骤。用户输入的问题，需要rag服务先使用检索模块检索到与问题最相关的知识，再进行筛选、排序、甄别、整理、总结，直到生成最终的回答。而检索结果直接关系到回答的质量。

Mac下Elasticsearch7.x安装及Springboot集成

相信大家都有过使用知识库或在线文档编辑的经历。飞书、钉钉文档、百度知识库等产品都提供了word、excel等office文档的创建和编辑能力。onlyoffice就是一套可以查看并编辑文本文件、电子表格和演示文稿的在线办公软件，社区版可以免费使用。本篇就将基于minikube来实现onlyoffice的本地环境部署。

知识库文档编辑：基于minikube的onlyoffice环境部署

    在上一篇文章中提到，在postgresql中，使用pgvector可以实现向量存储和检索，使用pg_trgm基于三元组文本模糊匹配和相似度计算，结合GIN 索引和GiST索引实现全文检索。但pg_trgm并不是一个专业的中文分词工具，它是基于字符层面的处理，不理解语义。而且在未安装zhparser等分词插件的情况下，执行SELECT show_trgm('中文测试');时会发现结果为空，因此需要结合zhparser、jiebaR，或使用ElasticSearch等插件或工具实现中文分词/全文检索。

Postgresql中的检索:中文分词及语义检索

    大模型的RAG架构，不论是入门还是某个环节的深入，已经有不少文章都做了介绍。我在大模型 RAG：文档分块方案与 RAG 全流程中也做了阐述。本篇在 大模型 RAG：基于 PgSql 的向量检索的基础上，介绍基于postgresql的向量检索和全文检索基础环境搭建及检索示例，为后续的多路检索召回、重排序做好准备。

RAG检索实践：多路检索(PostgreSQL环境准备)

    前段时间，有位朋友询问DeepSeek本地化部署是否有必要。这个问题看似简单，实际上并不好回答。个人认为，如果对数据安全有很强的要求，那么是需要的；再有就是对准确率要求非常高，需要对模型进行微调，在数据不能流出的情况下必须私有化部署。 如果对数据安全要求没有特殊要求，那么还是建议不要私有化部署，而是使用公有云的大模型服务。

大模型是否有必要本地化部署？

    大模型尤其是DeepSeek的火爆，带来了无数话题。最近很火的一个话题就是DeepSeek+AI工具的组合，很多营销号冠以N大神器之名，仿佛是开天辟地的创新。可事实上，真的有那么神吗？

DeepSeek+神器组合

    与通义千问、文心一言等大模型的网页版相比，DeepSeek的页面更简洁，除了简单的介绍+对话框，深度思考和联网搜索两个选项，以及文档上传。不过DeepSeek的文档上传只有取消联网搜索的情况下才可操作，并且仅识别文字。

DeepSeek-R1深度思考

在上一篇文章《大模型RAG：基于PgSql的向量检索》中，简单介绍了RAG概念和简要实现。在实际的应用中，技术方案远不会这样简单。

大模型RAG：文档分块方案与RAG全流程

检索增强生成（Retrieval-augmented Generation），简称RAG。

大模型RAG：基于PgSql的向量检索

    大模型无疑是这两年最火的概念，国内外各厂商都不甘示弱纷纷推出自己的大模型能力和应用。废话不多说，在实际的大模型应用中，向量检索服务无疑是目前不可缺少的一个重要部分，几乎所有的prompt工程都离不开，因此这里从阿里的DashVector入手，从实际应用角度来了解什么是向量检索服务，以及怎样使用。

大模型探索：阿里向量检索服务DashVector

对象存储——Minio 初探中我们介绍了单机部署MinIO的过程，以及在控制台上的一些操作。因为在实际应用中，主要还是通过sdk进行操作，所以这里我们也开始介绍MinIO SDK的使用。MinIO SDK的官网地址：https://min.io/docs/minio/linux/developers/minio-drivers.html?ref=docs。从中可以看出，MinIO发布了.NET、Golang、Haskell、Java、JavaScript、Python共6种语言的SDK，接下来我们基于Java SDK来实现对MinIO的一些常规操作。

MinIO对象存储——Java SDK

上一篇的初体验之后，本篇我们继续探索，将transformers模型导出到onnx。这里主要参考huggingface的官方文档：https://huggingface.co/docs/transformers/v4.20.1/en/serialization#exporting-a-model-to-onnx。

Huggingface:导出transformers模型到onnx

huggingface相关环境的安装和问题处理本篇暂不涉及，后续补充。这里以一个模型为例，完成从模型介绍到加载、运行的完整过程，作为我们熟悉huggingface的一个示例。

大模型之Huggingface初体验

    上一篇我们讲到了处理器在执行时，会对指令进行重排序，而这会导致数据一致性问题。对指令重排的理解非常重要，这也是并发问题出现的最大原因。

【并发编程的艺术】详解指令重排序与数据依赖

在上一篇文章，概述了JVM体系结构和内存模型的基础概念，我们了解到synchronized 和 volatile都属于内存模型中，处理可见性、顺序性、一致性等问题的关键策略，这又涉及到操作系统层面。

【并发编程的艺术】JAVA并发机制的底层原理

类加载器的功能，是处理类的动态加载（Loading），链接（Linking），并且在第一次引用类时进行初始化（Initialization）。

【并发编程的艺术】JVM体系与内存模型

huggingface 相关环境的安装和问题处理本篇暂不涉及，后续补充。这里以一个模型为例，完成从模型介绍到加载、运行的完整过程，作为我们熟悉 huggingface 的一个示例。

大模型之 Huggingface 初体验

抱歉也开始用了这么“标题党”的标题。事情起源于前几天需要把个人资料的pdf文档一页一页的拆出来，好传到相关的网站上。直接截图到word再转pdf比较麻烦，所以想用工具直接转换。结果找了几个pdf阅读器，这类操作都需要会员或收费。作为一名程序员，这么简单的操作还要收费显然是一种羞耻（当然我是不会承认主要是因为qiong的），几分钟就可以代码解决的问题为啥要花钱呢？废话不多说，开搞。

五分钟实现pdf分页

业务架构面向企业战略和企业整体。它的一般实现包括设计和落地两个过程，并且设计与落地（升级）这两个过程是不断交替上升的。

企业级业务架构设计笔记三:设计起点与设计过程

本篇还是基于《企业级业务架构设计：方法论与实践》一书，探讨业务架构与IT架构之间的关系，以及业务模型。个人和身边的人，通常会把IT架构称为技术架构，技术架构的表现形式通常还包括诸如4+1视图等等。所以换句话说，就是讨论业务架构和技术架构之间的关系，也就是如何把抽象的业务，落地为具体的技术实现。

企业级业务架构设计：方法论与实践学习笔记二

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

腾讯云开发者社区推出了架构进阶专栏，为你提供了架构进阶的相关文章，致力于帮助开发者快速成长与发展。

架构进阶

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐