腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
JadePeng的技术博客
专栏作者
举报
202
文章
505614
阅读量
39
订阅数
订阅专栏
申请加入专栏
全部文章(202)
java(30)
其他(18)
容器镜像服务(16)
网络安全(15)
https(14)
http(13)
api(12)
网站(12)
开源(12)
模型(12)
github(11)
spring(11)
git(10)
容器(10)
jenkins(10)
数据(10)
javascript(9)
html(9)
编程算法(8)
存储(8)
数据结构(8)
php(7)
python(7)
json(7)
nginx(7)
angularjs(6)
vue.js(6)
mvc(6)
分布式(6)
入门(6)
缓存(5)
搜索(5)
索引(5)
c#(4)
.net(4)
asp.net(4)
node.js(4)
数据库(4)
mongodb(4)
html5(4)
微服务(4)
遍历(4)
xml(3)
jquery(3)
android(3)
打包(3)
ide(3)
搜索引擎(3)
文件存储(3)
SSL 证书(3)
知识图谱(3)
腾讯云测试服务(3)
kubernetes(3)
面向对象编程(3)
spring boot(3)
zookeeper(3)
markdown(3)
实践(3)
效率(3)
sql(2)
maven(2)
mapreduce(2)
数据加密服务(2)
es 2(2)
人工智能(2)
devops(2)
jdk(2)
线性回归(2)
npm(2)
tcp/ip(2)
windows(2)
data(2)
embedding(2)
self(2)
text(2)
测试(2)
递归(2)
服务(2)
接口(2)
内存(2)
配置(2)
优化(2)
tensorflow(1)
ios(1)
go(1)
servlet(1)
react(1)
arm(1)
云数据库 SQL Server(1)
云数据库 Redis(1)
access(1)
sqlalchemy(1)
jar(1)
linux(1)
ubuntu(1)
apache(1)
神经网络(1)
thinkphp(1)
日志服务(1)
访问管理(1)
TDSQL MySQL 版(1)
svg(1)
webpack(1)
游戏(1)
运维(1)
shell(1)
jvm(1)
ssh(1)
正则表达式(1)
sql server(1)
ftp(1)
keras(1)
pytorch(1)
silverlight(1)
selenium(1)
flash(1)
rpc(1)
socket编程(1)
hexo(1)
powershell(1)
大数据(1)
安全(1)
数据分析(1)
hbase(1)
任务调度(1)
聚类算法(1)
ascii(1)
es(1)
alias(1)
class(1)
contains(1)
count(1)
element(1)
gpu(1)
io(1)
ip(1)
layout(1)
model(1)
optimization(1)
pdf(1)
pip(1)
pipeline(1)
pivot(1)
proxy(1)
root(1)
socket(1)
swig(1)
timestamp(1)
tools(1)
var(1)
编译(1)
表格(1)
部署(1)
程序员(1)
磁盘(1)
代理(1)
工程化(1)
工具(1)
函数(1)
技巧(1)
集群(1)
开源框架(1)
框架(1)
连接(1)
量化(1)
软件开发(1)
设计模式(1)
文件系统(1)
系统(1)
系统设计(1)
性能(1)
压缩(1)
原理(1)
源码阅读(1)
LLM(1)
搜索文章
搜索
搜索
关闭
浅谈sparse vec检索工程化实现
data
pivot
工程化
数据
索引
前面我们通过两篇文章: BGE M3-Embedding 模型介绍 和 Sparse稀疏检索介绍与实践 介绍了sparse 稀疏检索,今天我们来看看如何建立一个工程化的系统来实现sparse vec的检索。
JadePeng
2024-04-23
57
0
BGE M3-Embedding 模型介绍
数据
优化
embedding
text
模型
BGE M3-Embedding来自BAAI和中国科学技术大学,是BAAI开源的模型。相关论文在https://arxiv.org/abs/2402.03216,论文提出了一种新的embedding模型,称为M3-Embedding,它在多语言性(Multi-Linguality)、多功能性(Multi-Functionality)和多粒度性(Multi-Granularity)方面表现出色。M3-Embedding支持超过100种工作语言,支持8192长度的输入文本,同时支持密集检索(Dense Retrieval)、多向量检索(Multi-Vector Retrieval)和稀疏检索(Sparse Retrieval),为现实世界中的信息检索(IR)应用提供了统一的模型基础,通过这几种检索方式的组合,取得了良好的混合召回效果。
JadePeng
2024-04-19
194
0
Sparse稀疏检索介绍与实践
模型
实践
效率
神经网络
测试
在处理大规模文本数据时,我们经常会遇到一些挑战,比如如何有效地表示和检索文档,当前主要有两个主要方法,传统的文本BM25检索,以及将文档映射到向量空间的向量检索。
JadePeng
2024-04-16
164
0
知识图谱增强的KG-RAG框架
效率
知识图谱
测试
框架
模型
昨天我们聊到KG在RAG中如何发挥作用,今天我们来看一个具体的例子。 我们找到一篇论文: https://arxiv.org/abs/2311.17330 ,论文的研究人员开发了一种名为知识图谱增强的提示生成(KG-RAG)框架(https://github.com/BaranziniLab/KG_RAG),该框架利用生物医学知识图谱SPOKE与大型语言模型相结合,有效的提升了LLM在医疗领域的问答效果。
JadePeng
2024-04-12
256
0
知识图谱在RAG中的应用探讨
系统
知识图谱
存储
递归
搜索
关于知识图谱在现在的RAG中能发挥出什么样的作用,之前看了360 刘焕勇的一个分享,简单的提了使用知识图谱增强大模型的问答效果的几个方面:
JadePeng
2024-04-11
95
0
深度解读RAGFlow的深度文档理解DeepDoc
遍历
表格
模型
layout
self
4 月 1 日,Infinity宣布端到端 RAG 解决方案 RAGFlow 开源,仅一天收获上千颗星,到底有何魅力? 我们来安装体验并从代码层面来分析看看。
JadePeng
2024-04-10
1.3K
0
RAG 范式、技术和趋势
优化
模型
数据
效率
性能
这里分享同济大学 Haofen Wang的关于检索增强生成的报告:《Retrieval-Augmented Generation (RAG): Paradigms, Technologies, and Trends》 ,RAG 范式、技术和趋势。
JadePeng
2024-03-16
360
0
In-batch negatives Embedding模型介绍与实践
模型
实践
数据
索引
embedding
语义索引(可通俗理解为向量索引)技术是搜索引擎、推荐系统、广告系统在召回阶段的核心技术之一。语义索引模型的目标是:给定输入文本,模型可以从海量候选召回库中快速、准确地召回一批语义相关文本。语义索引模型的效果直接决定了语义相关的物料能否被成功召回进入系统参与上层排序,从基础层面影响整个系统的效果。
JadePeng
2024-03-15
75
0
ReACT介绍与llama_index ReActAgent实践
tools
模型
实践
搜索
react
Agent是大模型的重要应用方向,而ReACT是学术界提出的重要方法,本文介绍ReACT论文,然后通过llama_index ReActAgent来分析ReACT的执行过程。
JadePeng
2024-03-14
170
0
LLM 推理和应用 开源框架梳理
LLM
部署
开源框架
量化
模型
之前对LLM 推理和应用了解不多,因此抽时间梳理了一下,我们从模型量化,模型推理,以及开发平台等三个层面来梳理分析。
JadePeng
2024-03-13
501
0
RAPTOR 一种基于树的RAG方法,RAG的准确率提高 20%
聚类算法
遍历
递归
集群
模型
RAG 是当前使用LLM的标准方法,大多数现有方法仅从检索语料库中检索短的连续块,限制了对整个文档上下文的整体理解。
JadePeng
2024-03-09
181
0
Langchain 介绍与入门
存储
工具
接口
入门
数据
安装 LangChain CLI 和 LangServe, 安装langchain-cli会自动安装LangServe
JadePeng
2024-03-01
183
0
搜索引擎RAG召回效果评测MTEB介绍与使用入门
self
模型
入门
数据
搜索引擎
RAG 评测数据集建设尚处于初期阶段,缺乏针对特定领域和场景的专业数据集。市面上常见的 MS-Marco 和 BEIR 数据集覆盖范围有限,且在实际使用场景中效果可能与评测表现不符。目前最权威的检索榜单是 HuggingFace MTEB,今天我们来学习使用MTEB,并来评测自研模型recall效果。
JadePeng
2024-02-27
275
0
索引构建磁盘IO太高,巧用tmpfs让内存来帮忙
索引
文件系统
io
磁盘
内存
在文本索引构建这种需要大量占用磁盘IO的任务,如果正巧你的内存还有点余粮,是否可以先索引存储到内存,然后再顺序写入到磁盘呢?,需要大量占用磁盘IO,如果正巧你的内存还有点余粮,是否可以先索引存储到内存,然后再顺序写入到磁盘呢?
JadePeng
2024-02-07
84
0
xapian 搜索引擎介绍与使用入门
搜索引擎
存储
编译
入门
搜索
Xapian 是一个开源搜索引擎库,使用 C++ 编写,并提供绑定(bindings )以允许从多种编程语言使用。它是一个高度适应性的工具包,允许开发人员轻松地将高级索引和搜索功能添加到自己的应用程序中。Xapian 支持多种加权模型和丰富的布尔查询运算符。最新稳定版本是 1.4.24,发布于 2023 年 11 月 6 日。
JadePeng
2024-01-19
175
0
跨语言调用神器SWIG介绍与使用入门
接口
入门
root
swig
函数
SWIG 是一个软件开发工具,能够简化不同编程语言与 C 和 C++ 程序连接的开发任务。 简而言之,SWIG 是一款编译器,它可以获取 C/C++ 声明并创建访问这些声明所需的包装器,从而可从包括 Perl、Python、Tcl、Ruby、Guile 和 Java 在内的其他语言访问这些声明。SWIG 通常不需要修改现有代码,而且通常只需几分钟即可构建一个可用的接口。
JadePeng
2024-01-19
291
0
从Bitcask存储模型谈超轻量级KV系统设计与实现
存储
模型
内存
数据
系统设计
Bitcask是一种“基于日志结构的哈希表”(A Log-Structured Hash Table for Fast Key/Value Data)
JadePeng
2024-01-14
316
0
Rocksdb 离线生成sst文件并在线加载
存储
大数据
服务
数据
压缩
RocksDB是Facebook的一个实验项目,目的是希望能开发一套能在服务器压力下,真正发挥高速存储硬件(特别是Flash存储)性能的高效数据库系统。这是一个C++库,允许存储任意长度二进制kv数据。支持原子读写操作。
JadePeng
2024-01-07
197
0
Hnswlib 介绍与入门使用
遍历
入门
数据
搜索
索引
Hnswlib是一个强大的近邻搜索(ANN)库, 官方介绍 Header-only C++ HNSW implementation with python bindings, insertions and updates. 热门的向量数据库Milvus底层的ANN库之一就是Hnswlib, 为milvus提供HNSW检索。
JadePeng
2023-12-14
322
0
Hnswlib 介绍与入门使用
遍历
入门
数据
搜索
索引
Hnswlib是一个强大的近邻搜索(ANN)库, 官方介绍 Header-only C++ HNSW implementation with python bindings, insertions and updates. 热门的向量数据库Milvus底层的ANN库之一就是Hnswlib, 为milvus提供HNSW检索。
JadePeng
2023-12-14
503
0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
立即发文
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档