腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
程序生活
专栏成员
举报
447
文章
504494
阅读量
58
订阅数
订阅专栏
申请加入专栏
全部文章(447)
编程算法(88)
python(75)
https(48)
其他(46)
神经网络(46)
模型(46)
机器学习(39)
深度学习(39)
数据(38)
网络安全(37)
NLP 服务(26)
人工智能(24)
数据结构(18)
腾讯云测试服务(17)
函数(17)
github(14)
性能(14)
LLM(13)
开源(12)
pytorch(12)
git(10)
论文(10)
tensorflow(9)
php(9)
爬虫(8)
二叉树(8)
data(8)
搜索(8)
工具(7)
框架(7)
ajax(6)
qt(6)
存储(6)
卷积神经网络(6)
opencv(6)
线性回归(6)
大数据(6)
特征工程(6)
对象(6)
系统(6)
node.js(5)
html(5)
图像处理(5)
网站(5)
model(5)
nlp(5)
text(5)
测试(5)
javascript(4)
数据库(4)
linux(4)
http(4)
keras(4)
image(4)
script(4)
编码(4)
教程(4)
索引(4)
优化(4)
字符串(4)
数据挖掘(3)
css(3)
sql(3)
中文分词(3)
文字识别(3)
hadoop(3)
hive(3)
numpy(3)
监督学习(3)
腾讯云开发者社区(3)
学习方法(3)
self(3)
var(3)
递归(3)
工作(3)
基础(3)
排序(3)
设计(3)
事件(3)
数组(3)
语音识别(2)
bash(2)
r 语言(2)
jquery(2)
bash 指令(2)
mapreduce(2)
批量计算(2)
文件存储(2)
金融风控(2)
容器(2)
分布式(2)
spark(2)
强化学习(2)
markdown(2)
数据分析(2)
数据处理(2)
分类算法(2)
验证码(2)
chatgpt(2)
code(2)
connect(2)
dataset(2)
document(2)
dom(2)
embedding(2)
glm(2)
gpt(2)
href(2)
match(2)
models(2)
prompt(2)
scaling(2)
title(2)
ui(2)
遍历(2)
部署(2)
程序(2)
动态规划(2)
服务器(2)
集合(2)
技巧(2)
脚本(2)
开发(2)
连接(2)
配置(2)
入门(2)
算法(2)
统计(2)
图片上传(2)
学习笔记(2)
云镜(主机安全)(1)
人脸识别(1)
java(1)
c++(1)
.net(1)
angularjs(1)
vue.js(1)
xml(1)
json(1)
arm(1)
access(1)
打包(1)
ide(1)
api(1)
搜索引擎(1)
centos(1)
apache(1)
容器镜像服务(1)
laravel(1)
访问管理(1)
机器翻译(1)
知识图谱(1)
企业(1)
codeigniter(1)
svg(1)
yarn(1)
serverless(1)
游戏(1)
shell(1)
图像识别(1)
jvm(1)
正则表达式(1)
gui(1)
面向对象编程(1)
决策树(1)
unity(1)
tcp/ip(1)
无监督学习(1)
迁移学习(1)
anaconda(1)
安全(1)
小程序(1)
机器人(1)
nat(1)
processing(1)
机器学习平台(1)
智能推荐平台(1)
智能客服机器人(1)
aigc(1)
anchor(1)
auto(1)
backbone(1)
block(1)
border(1)
builder(1)
chat(1)
ci(1)
class(1)
config(1)
copy(1)
csv(1)
distance(1)
double(1)
edit(1)
event(1)
file(1)
function(1)
google(1)
gpu(1)
graph(1)
header(1)
height(1)
history(1)
import(1)
input(1)
io(1)
knn(1)
lan(1)
layer(1)
leetcode(1)
line(1)
loader(1)
lstm(1)
microsoft(1)
min(1)
modeling(1)
multilingual(1)
mysql(1)
mysqli(1)
nav(1)
numbers(1)
output(1)
pandas(1)
pdf(1)
pip(1)
png(1)
precision(1)
python3(1)
root(1)
schedule(1)
series(1)
server(1)
setinterval(1)
sh(1)
similarity(1)
size(1)
split(1)
strip(1)
tail(1)
target(1)
task(1)
torch(1)
tree(1)
url(1)
vector(1)
web(1)
x86(1)
xmlhttprequest(1)
yii2(1)
百度(1)
编程语言(1)
变量(1)
表格(1)
博客(1)
代理(1)
定时器(1)
动画(1)
翻译(1)
服务(1)
管理(1)
计算机(1)
架构(1)
可视化(1)
蓝牙(1)
链表(1)
量化(1)
浏览器(1)
内存(1)
通信(1)
网络(1)
效率(1)
语法(1)
原理(1)
自然语言处理(1)
结构化数据(1)
LoRa(1)
搜索文章
搜索
搜索
关闭
【RAG入门教程05】Langchian框架-Vector Stores
vector
框架
模型
搜索
存储
向量存储旨在高效处理大量向量,提供根据特定标准添加、查询和检索向量的功能。它可用于支持语义搜索等应用程序,在这些应用程序中,您可以查找与给定查询在语义上相似的文本段落或文档。
致Great
2024-06-10
250
0
【RAG入门教程04】Langchian的文档切分
text
管理
函数
字符串
header
在 Langchain 中,文档转换器是一种在将文档提供给其他 Langchain 组件之前对其进行处理的工具。通过清理、处理和转换文档,这些工具可确保 LLM 和其他 Langchain 组件以优化其性能的格式接收数据。
致Great
2024-06-10
283
0
【RAG入门教程03】Langchian框架-文档加载
data
document
loader
框架
数据
Langchain 使用文档加载器从各种来源获取信息并准备处理。这些加载器充当数据连接器,获取信息并将其转换为 Langchain 可以理解的格式。
致Great
2024-06-10
174
0
【RAG入门教程02】Langchian的Embedding介绍与使用
存储
csv
data
document
embedding
词向量是 NLP 中的一种表示形式,其中词汇表中的单词或短语被映射到实数向量。它们用于捕获高维空间中单词之间的语义和句法相似性。
致Great
2024-06-10
230
0
【RAG入门教程01】Langchian框架 v0.2介绍
数据
搜索
存储
框架
模型
LangChain 是一个开源框架,旨在简化使用大型语言模型 (LLM) 创建应用程序的过程。可以将其想象成一套使用高级语言工具进行搭建的乐高积木。
致Great
2024-06-10
152
0
【RAG提升技巧】查询改写HyDE
工具
技巧
数据
搜索
原理
提高 RAG 推理能力的一个好方法是添加查询理解层 ——在实际查询向量存储之前添加查询转换。以下是四种不同的查询转换:
致Great
2024-06-07
270
0
【RAG入门必备技能】Faiss框架使用与FaissRetriever实现
索引
self
框架
入门
搜索
faiss是一个Facebook AI团队开源的库,全称为Facebook AI Similarity Search,该开源库针对高维空间中的海量数据(稠密向量),提供了高效且可靠的相似性聚类和检索方法,可支持十亿级别向量的搜索,是目前最为成熟的近似近邻搜索库
致Great
2024-06-06
1.4K
0
tree2retriever:面向RAG场景的递归摘要树检索器实现
tree
递归
builder
embedding
model
致Great
2024-05-31
105
0
【RAG论文】文档树:如何提升长上下文、非连续文档、跨文档主题时的检索效果
论文
模型
数据
性能
递归
RAPTOR(Recursive Abstractive Processing for Tree-Organized Retrieval)是一种创建新的检索增强型语言模型,它通过嵌入、聚类和摘要文本模块来构建一个从底层到高层具有不同摘要层的树状结构。这种方法允許模型在推理时从这棵树中检索信息,实现跨文本的不同抽象层的整合。RAPTOR的相关性创新在于它构建了文本摘要的方法,以不同尺度检索上下文的能力,并在多个任务上展示超越传统检索增强语言模型的性能。
致Great
2024-05-30
437
0
【RAG论文】检索信息中的噪音是如何影响大模型生成的?
模型
数据
系统
性能
论文
本篇论文探讨了RAG系统中的检索对系统性能的影响。与传统的大型语言模型相比,RAG系统通过引入外部数据提高了其生成能力。然而,大多数关于RAG系统的研究主要集中在语言模型的生成方面,而忽略了IR的作用。通过对各种元素进行评估,如文档的相关性、位置和数量等,发现包含不相关文档可以意外地提高准确性超过30%。
致Great
2024-05-28
144
0
【RAG论文】RAG中半结构化数据的解析和向量化方法
表格
量化
论文
模型
结构化数据
论文题目: 《A Method for Parsing and Vectorization of Semi-structured Data used in Retrieval Augmented Generation》
致Great
2024-05-13
404
0
【中科院计算所】WSDM 2024冠军方案:基于大模型进行多文档问答
模型
设计
数据
性能
字符串
会话式多文档问答旨在根据检索到的文档以及上下文对话来回答特定问题。 在本文中,我们介绍了 WSDM Cup 2024 中“对话式多文档 QA”挑战赛的获胜方法,该方法利用了大型语言模型 (LLM) 卓越的自然语言理解和生成能力。
致Great
2024-03-01
709
0
vllm的SamplingParams参数
prompt
text
部署
model
output
致Great
2024-02-03
673
0
500行Python代码构建的AI搜索工具!
python
开源
工具
模型
搜索
一个500行Python代码构建的AI搜索工具,而且还会开源,试了一下麻雀虽小该有的都有。
致Great
2024-01-27
160
0
推荐两个工具:DeepSpeed-FastGen和DataTrove
服务
工具
工作
模型
系统
GPT-4 和 LLaMA 等大型语言模型 (LLM) 已成为服务于各个级别的人工智能应用程序的主要工作负载。从一般聊天模型到文档摘要,从自动驾驶到软件堆栈每一层的副驾驶,大规模部署和服务这些模型的需求猛增。虽然 DeepSpeed、PyTorch 等框架可以在 LLM 训练期间定期实现良好的硬件利用率,但这些应用程序的交互性和开放式文本生成等任务的较差算术强度已成为现有系统中推理吞吐量的瓶颈。
致Great
2024-01-21
422
0
使用KTO进行更好、更便宜、更快速的LLM对齐
数据
性能
优化
LLM
模型
KTO全称为Kahneman-Tversky Optimisation,这种对齐方法使在我们的数据上对大型语言模型(LLM)进行对齐变得前所未有地容易和便宜,而且不会损害性能。大型语言模型的成功在很大程度上得益于与人类反馈的对齐。如果ChatGPT曾经拒绝回答您的问题,很可能是因为它被训练为避免说出有争议的内容。然而,对于公司来说,对他们自己的LLM进行对齐一直是困难的。下面我们简单介绍下KTO方法,这种方法可以提高LLM的整体性能和质量,同时节省成本。
致Great
2024-01-20
1.2K
0
RLHF 和 DPO:简化和增强语言模型的微调
人工智能
强化学习
模型
数据
优化
人类反馈强化学习 (RLHF) 是人工智能领域的一种前沿方法,它利用人类偏好和指导来训练和改进机器学习模型。 RLHF的核心是一种机器学习范式,它结合了强化学习和监督学习的元素,使人工智能系统能够以更加人性化的方式学习和做出决策。 RLHF的重要性在于它有可能解决人工智能中的一些基本挑战,例如需要模型来理解和尊重人类的价值观和偏好。传统的强化学习模型通过与环境交互产生的奖励来学习,而 RLHF 则不同,它引入了人类反馈作为宝贵的指导来源。这种反馈可以帮助人工智能系统导航复杂的决策空间,与人类价值观保持一致,并做出更明智和道德的选择。RLHF 已经在从自然语言处理和推荐系统到机器人和自动驾驶汽车的广泛领域中找到了应用。通过将人类反馈纳入训练过程,RLHF有能力提高模型性能,增强用户体验,并为人工智能技术的负责任发展做出贡献。
致Great
2024-01-18
2.9K
0
RAG常见七大坑
论文
模型
系统
测试
代理
这篇论文主要探讨了构建检索增强生成系统(Retrieval Augmented Generation, RAG)时可能遇到的七个失败点。论文通过三个案例研究来展示这些失败点,并分享了作者团队的经验和教训。
致Great
2024-01-16
438
0
大模型关于Lora论文集合
集合
论文
模型
优化
LoRa
论文地址:https://arxiv.org/pdf/2401.04151.pdf
致Great
2024-01-12
357
0
【LLM 论文阅读】NEFTU N E: LLM微调的免费午餐
论文
模型
数据
性能
LLM
指令微调对于训练llm的能力至关重要,而模型的有用性在很大程度上取决于我们从小指令数据集中获得最大信息的能力。在本文中,我们提出在微调正向传递的过程中,在训练数据的嵌入向量中添加随机噪声,论文实验显示这个简单的技巧可以提高指令微调的效果,通常有很大的优势,而不需要额外的计算或数据开销。
致Great
2024-01-10
338
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档