腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

JadePeng的技术博客

专栏作者

200

文章

502479

阅读量

39

订阅数

Sparse稀疏检索介绍与实践

模型实践效率神经网络测试

在处理大规模文本数据时，我们经常会遇到一些挑战，比如如何有效地表示和检索文档，当前主要有两个主要方法，传统的文本BM25检索，以及将文档映射到向量空间的向量检索。

2024-04-16

1110

知识图谱增强的KG-RAG框架

效率知识图谱测试框架模型

昨天我们聊到KG在RAG中如何发挥作用，今天我们来看一个具体的例子。我们找到一篇论文： https://arxiv.org/abs/2311.17330 ，论文的研究人员开发了一种名为知识图谱增强的提示生成（KG-RAG）框架（https://github.com/BaranziniLab/KG_RAG），该框架利用生物医学知识图谱SPOKE与大型语言模型相结合，有效的提升了LLM在医疗领域的问答效果。

2024-04-12

1960

知识图谱在RAG中的应用探讨

系统知识图谱存储递归搜索

关于知识图谱在现在的RAG中能发挥出什么样的作用，之前看了360 刘焕勇的一个分享，简单的提了使用知识图谱增强大模型的问答效果的几个方面：

2024-04-11

770

深度解读RAGFlow的深度文档理解DeepDoc

遍历表格模型 layout self

4 月 1 日，Infinity宣布端到端 RAG 解决方案 RAGFlow 开源，仅一天收获上千颗星，到底有何魅力？我们来安装体验并从代码层面来分析看看。

2024-04-10

8060

RAG 范式、技术和趋势

优化模型数据效率性能

这里分享同济大学 Haofen Wang的关于检索增强生成的报告：《Retrieval-Augmented Generation (RAG): Paradigms, Technologies, and Trends》，RAG 范式、技术和趋势。

2024-03-16

2950

In-batch negatives Embedding模型介绍与实践

模型实践数据索引 embedding

语义索引（可通俗理解为向量索引）技术是搜索引擎、推荐系统、广告系统在召回阶段的核心技术之一。语义索引模型的目标是：给定输入文本，模型可以从海量候选召回库中快速、准确地召回一批语义相关文本。语义索引模型的效果直接决定了语义相关的物料能否被成功召回进入系统参与上层排序，从基础层面影响整个系统的效果。

2024-03-15

680

ReACT介绍与llama_index ReActAgent实践

tools 模型实践搜索 react

Agent是大模型的重要应用方向，而ReACT是学术界提出的重要方法，本文介绍ReACT论文，然后通过llama_index ReActAgent来分析ReACT的执行过程。

2024-03-14

1330

LLM 推理和应用开源框架梳理

LLM 部署开源框架量化模型

之前对LLM 推理和应用了解不多，因此抽时间梳理了一下，我们从模型量化，模型推理，以及开发平台等三个层面来梳理分析。

2024-03-13

4220

RAPTOR 一种基于树的RAG方法，RAG的准确率提高 20%

聚类算法遍历递归集群模型

RAG 是当前使用LLM的标准方法，大多数现有方法仅从检索语料库中检索短的连续块，限制了对整个文档上下文的整体理解。

2024-03-09

1710

Langchain 介绍与入门

存储工具接口入门数据

安装 LangChain CLI 和 LangServe，安装langchain-cli会自动安装LangServe

2024-03-01

1660

搜索引擎RAG召回效果评测MTEB介绍与使用入门

self 模型入门数据搜索引擎

RAG 评测数据集建设尚处于初期阶段，缺乏针对特定领域和场景的专业数据集。市面上常见的 MS-Marco 和 BEIR 数据集覆盖范围有限，且在实际使用场景中效果可能与评测表现不符。目前最权威的检索榜单是 HuggingFace MTEB，今天我们来学习使用MTEB，并来评测自研模型recall效果。

2024-02-27

2400

索引构建磁盘IO太高，巧用tmpfs让内存来帮忙

索引文件系统 io 磁盘内存

在文本索引构建这种需要大量占用磁盘IO的任务，如果正巧你的内存还有点余粮，是否可以先索引存储到内存，然后再顺序写入到磁盘呢？，需要大量占用磁盘IO，如果正巧你的内存还有点余粮，是否可以先索引存储到内存，然后再顺序写入到磁盘呢？

2024-02-07

800

xapian 搜索引擎介绍与使用入门

搜索引擎存储编译入门搜索

Xapian 是一个开源搜索引擎库，使用 C++ 编写，并提供绑定(bindings )以允许从多种编程语言使用。它是一个高度适应性的工具包，允许开发人员轻松地将高级索引和搜索功能添加到自己的应用程序中。Xapian 支持多种加权模型和丰富的布尔查询运算符。最新稳定版本是 1.4.24，发布于 2023 年 11 月 6 日。

2024-01-19

1610

跨语言调用神器SWIG介绍与使用入门

接口入门 root swig 函数

SWIG 是一个软件开发工具，能够简化不同编程语言与 C 和 C++ 程序连接的开发任务。简而言之，SWIG 是一款编译器，它可以获取 C/C++ 声明并创建访问这些声明所需的包装器，从而可从包括 Perl、Python、Tcl、Ruby、Guile 和 Java 在内的其他语言访问这些声明。SWIG 通常不需要修改现有代码，而且通常只需几分钟即可构建一个可用的接口。

2024-01-19

2680

从Bitcask存储模型谈超轻量级KV系统设计与实现

存储模型内存数据系统设计

Bitcask是一种“基于日志结构的哈希表”（A Log-Structured Hash Table for Fast Key/Value Data）

2024-01-14

2960

Rocksdb 离线生成sst文件并在线加载

存储大数据服务数据压缩

RocksDB是Facebook的一个实验项目，目的是希望能开发一套能在服务器压力下，真正发挥高速存储硬件（特别是Flash存储）性能的高效数据库系统。这是一个C++库，允许存储任意长度二进制kv数据。支持原子读写操作。

2024-01-07

1910

Hnswlib 介绍与入门使用

遍历入门数据搜索索引

Hnswlib是一个强大的近邻搜索（ANN)库，官方介绍 Header-only C++ HNSW implementation with python bindings, insertions and updates. 热门的向量数据库Milvus底层的ANN库之一就是Hnswlib, 为milvus提供HNSW检索。

2023-12-14

2990

Hnswlib 介绍与入门使用

遍历入门数据搜索索引

Hnswlib是一个强大的近邻搜索（ANN)库，官方介绍 Header-only C++ HNSW implementation with python bindings, insertions and updates. 热门的向量数据库Milvus底层的ANN库之一就是Hnswlib, 为milvus提供HNSW检索。

2023-12-14

4760

trafilatura 网页解析原理分析

class contains element text 原理

Trafilatura是一个Python包和命令行工具，用于收集网络上的文本。其主要应用场景包括网络爬虫下载和网页解析等。

2023-11-01

3110

使用代理中转服务，解决selenium 使用短时效代理避免重启

selenium proxy 代理服务配置

selenium 配置代理需要在启动的时候配置，如果代理失效或者不可用，切换需要重启，浪费时间。

2023-10-16

1760

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态