JadePeng的技术博客-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

JadePeng的技术博客

专栏成员

206

文章

535728

阅读量

39

订阅数

PhiData 一款开发AI搜索、agents智能体和工作流应用的AI框架

框架搜索工具工作流开发

在人工智能领域，构建一个能够理解并响应用户需求的智能助手是一项挑战性的任务。PhiData作为一个开源框架，为开发者提供了构建具有长期记忆、丰富知识和强大工具的AI助手的可能性。本文将介绍PhiData的核心优势、应用示例以及如何使用PhiData来构建自己的AI助手。

2024-05-25

6700

Google出品的NotebookLM 人工智能笔记本，一款基于RAG的personalized AI产品

google 产品模型搜索引擎人工智能

Google推出了实验性的NotebookLM产品，一款基于RAG的个性化AI助手产品，基于用户提供的可信信息，通过RAG，帮助用户洞察和学习参考内容，然后借助AI整理笔记，转换为用户最终需要的大纲、博客、商业计划书等最终目的。

2024-05-21

2510

比Selenium更优秀的playwright介绍与未来展望

搜索异步 selenium playwright 浏览器

Playwright是微软开发的，专门为满足端到端测试需求而创建的。Playwright支持包括Chromium、WebKit和Firefox在内的所有现代渲染引擎。在Windows、Linux和macOS上进行测试，本地或在CI上，无头或有头，带有本机移动仿真。

2024-05-16

2250

LLM生态下爬虫程序的现状与未来

爬虫 snapshot 程序工具 LLM

最近出现一批与LLM有关的新的爬虫框架，一类是为LLM提供内容抓取解析的，比如 Jina Reader 和 FireCrawl ，可以将抓取的网页解析为markdown这样的对LLM友好的内容，例如markdown，这类本质上还是传统的爬虫解决方案。还有一类是通过LLM+agent工作流方式来构建的下一代爬虫程序，比如Skyvern、 Scrapegraph-ai等。

2024-05-10

2600

浅谈sparse vec检索工程化实现

data pivot 工程化数据索引

前面我们通过两篇文章: BGE M3-Embedding 模型介绍和 Sparse稀疏检索介绍与实践介绍了sparse 稀疏检索，今天我们来看看如何建立一个工程化的系统来实现sparse vec的检索。

2024-04-23

920

BGE M3-Embedding 模型介绍

数据优化 embedding text 模型

BGE M3-Embedding来自BAAI和中国科学技术大学，是BAAI开源的模型。相关论文在https://arxiv.org/abs/2402.03216，论文提出了一种新的embedding模型，称为M3-Embedding，它在多语言性（Multi-Linguality）、多功能性（Multi-Functionality）和多粒度性（Multi-Granularity）方面表现出色。M3-Embedding支持超过100种工作语言，支持8192长度的输入文本，同时支持密集检索（Dense Retrieval）、多向量检索（Multi-Vector Retrieval）和稀疏检索（Sparse Retrieval），为现实世界中的信息检索（IR）应用提供了统一的模型基础，通过这几种检索方式的组合，取得了良好的混合召回效果。

2024-04-19

2.7K0

Sparse稀疏检索介绍与实践

模型实践效率神经网络测试

在处理大规模文本数据时，我们经常会遇到一些挑战，比如如何有效地表示和检索文档，当前主要有两个主要方法，传统的文本BM25检索，以及将文档映射到向量空间的向量检索。

2024-04-16

3350

知识图谱增强的KG-RAG框架

效率知识图谱测试框架模型

昨天我们聊到KG在RAG中如何发挥作用，今天我们来看一个具体的例子。我们找到一篇论文： https://arxiv.org/abs/2311.17330 ，论文的研究人员开发了一种名为知识图谱增强的提示生成（KG-RAG）框架（https://github.com/BaranziniLab/KG_RAG），该框架利用生物医学知识图谱SPOKE与大型语言模型相结合，有效的提升了LLM在医疗领域的问答效果。

2024-04-12

6710

知识图谱在RAG中的应用探讨

系统知识图谱存储递归搜索

关于知识图谱在现在的RAG中能发挥出什么样的作用，之前看了360 刘焕勇的一个分享，简单的提了使用知识图谱增强大模型的问答效果的几个方面：

2024-04-11

4730

深度解读RAGFlow的深度文档理解DeepDoc

遍历表格模型 layout self

4 月 1 日，Infinity宣布端到端 RAG 解决方案 RAGFlow 开源，仅一天收获上千颗星，到底有何魅力？我们来安装体验并从代码层面来分析看看。

2024-04-10

3.4K0

RAG 范式、技术和趋势

优化模型数据效率性能

这里分享同济大学 Haofen Wang的关于检索增强生成的报告：《Retrieval-Augmented Generation (RAG): Paradigms, Technologies, and Trends》，RAG 范式、技术和趋势。

2024-03-16

8170

In-batch negatives Embedding模型介绍与实践

模型实践数据索引 embedding

语义索引（可通俗理解为向量索引）技术是搜索引擎、推荐系统、广告系统在召回阶段的核心技术之一。语义索引模型的目标是：给定输入文本，模型可以从海量候选召回库中快速、准确地召回一批语义相关文本。语义索引模型的效果直接决定了语义相关的物料能否被成功召回进入系统参与上层排序，从基础层面影响整个系统的效果。

2024-03-15

1730

ReACT介绍与llama_index ReActAgent实践

tools 模型实践搜索 react

Agent是大模型的重要应用方向，而ReACT是学术界提出的重要方法，本文介绍ReACT论文，然后通过llama_index ReActAgent来分析ReACT的执行过程。

2024-03-14

4800

LLM 推理和应用开源框架梳理

LLM 部署开源框架量化模型

之前对LLM 推理和应用了解不多，因此抽时间梳理了一下，我们从模型量化，模型推理，以及开发平台等三个层面来梳理分析。

2024-03-13

1.2K0

RAPTOR 一种基于树的RAG方法，RAG的准确率提高 20%

聚类算法遍历递归集群模型

RAG 是当前使用LLM的标准方法，大多数现有方法仅从检索语料库中检索短的连续块，限制了对整个文档上下文的整体理解。

2024-03-09

4850

Langchain 介绍与入门

存储工具接口入门数据

安装 LangChain CLI 和 LangServe，安装langchain-cli会自动安装LangServe

2024-03-01

3330

搜索引擎RAG召回效果评测MTEB介绍与使用入门

self 模型入门数据搜索引擎

RAG 评测数据集建设尚处于初期阶段，缺乏针对特定领域和场景的专业数据集。市面上常见的 MS-Marco 和 BEIR 数据集覆盖范围有限，且在实际使用场景中效果可能与评测表现不符。目前最权威的检索榜单是 HuggingFace MTEB，今天我们来学习使用MTEB，并来评测自研模型recall效果。

2024-02-27

4900

索引构建磁盘IO太高，巧用tmpfs让内存来帮忙

索引文件系统 io 磁盘内存

在文本索引构建这种需要大量占用磁盘IO的任务，如果正巧你的内存还有点余粮，是否可以先索引存储到内存，然后再顺序写入到磁盘呢？，需要大量占用磁盘IO，如果正巧你的内存还有点余粮，是否可以先索引存储到内存，然后再顺序写入到磁盘呢？

2024-02-07

1280

xapian 搜索引擎介绍与使用入门

搜索引擎存储编译入门搜索

Xapian 是一个开源搜索引擎库，使用 C++ 编写，并提供绑定(bindings )以允许从多种编程语言使用。它是一个高度适应性的工具包，允许开发人员轻松地将高级索引和搜索功能添加到自己的应用程序中。Xapian 支持多种加权模型和丰富的布尔查询运算符。最新稳定版本是 1.4.24，发布于 2023 年 11 月 6 日。

2024-01-19

2800

跨语言调用神器SWIG介绍与使用入门

接口入门 root swig 函数

SWIG 是一个软件开发工具，能够简化不同编程语言与 C 和 C++ 程序连接的开发任务。简而言之，SWIG 是一款编译器，它可以获取 C/C++ 声明并创建访问这些声明所需的包装器，从而可从包括 Perl、Python、Tcl、Ruby、Guile 和 Java 在内的其他语言访问这些声明。SWIG 通常不需要修改现有代码，而且通常只需几分钟即可构建一个可用的接口。

2024-01-19

5930

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态