腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
从流域到海域
专栏作者
举报
439
文章
499236
阅读量
59
订阅数
订阅专栏
申请加入专栏
全部文章(439)
编程算法(104)
python(96)
go(40)
机器学习(39)
java(36)
神经网络(36)
深度学习(31)
人工智能(29)
模型(26)
网络安全(22)
数据结构(20)
存储(17)
https(16)
tensorflow(15)
数据库(15)
linux(12)
c 语言(10)
ide(10)
数据(10)
sql(9)
其他(8)
http(8)
算法(8)
对象存储(7)
云数据库 SQL Server(7)
腾讯云测试服务(7)
jdk(7)
policy(7)
sum(7)
翻译(7)
c++(6)
决策树(6)
大数据(6)
物联网(6)
微服务(6)
优化(6)
NLP 服务(5)
javascript(5)
html(5)
json(5)
apache(5)
开源(5)
强化学习(5)
numpy(5)
hashmap(5)
anaconda(5)
function(5)
变量(5)
函数(5)
网络(5)
自动驾驶(4)
php(4)
node.js(4)
云数据库 Redis(4)
打包(4)
unix(4)
spring(4)
批量计算(4)
分布式(4)
缓存(4)
图像识别(4)
jvm(4)
面向对象编程(4)
二叉树(4)
action(4)
agent(4)
evaluation(4)
model(4)
工具(4)
架构(4)
系统(4)
原理(4)
区块链(3)
c#(3)
bash(3)
bootstrap(3)
css(3)
文件存储(3)
网站(3)
svg(3)
容器(3)
监督学习(3)
aop(3)
tcp/ip(3)
socket编程(3)
安全(3)
filter(3)
gradient(3)
mean(3)
state(3)
集合(3)
框架(3)
论文(3)
语音识别(2)
人脸识别(2)
比特币(2)
vue.js(2)
jquery(2)
mvc(2)
git(2)
github(2)
api(2)
maven(2)
ubuntu(2)
bash 指令(2)
消息队列 CMQ 版(2)
数据加密服务(2)
知识图谱(2)
企业(2)
vr 视频解决方案(2)
serverless(2)
spark(2)
卷积神经网络(2)
正则表达式(2)
sql server(2)
dns(2)
npm(2)
keras(2)
uml(2)
迁移学习(2)
数据分析(2)
windows(2)
kafka(2)
分类算法(2)
algorithm(2)
alpha(2)
backup(2)
chatgpt(2)
error(2)
key(2)
random(2)
set(2)
word(2)
word2vec(2)
基础(2)
内存(2)
视频(2)
数组(2)
搜索(2)
源码(2)
LLM(2)
费用中心(1)
官方文档(1)
数据挖掘(1)
lua(1)
jsp(1)
react(1)
typescript(1)
android(1)
oracle(1)
eclipse(1)
中文分词(1)
全文检索(1)
lucene/solr(1)
容器镜像服务(1)
日志服务(1)
SSL 证书(1)
kubernetes(1)
游戏(1)
自动化(1)
压力测试(1)
数据迁移(1)
html5(1)
ssh(1)
spring boot(1)
线性回归(1)
grep(1)
自动化测试(1)
rpc(1)
rabbitmq(1)
kernel(1)
数据处理(1)
数据可视化(1)
网站建设(1)
虚拟化(1)
特征工程(1)
jupyter notebook(1)
unicode(1)
utf8(1)
ascii(1)
迁移(1)
白盒测试(1)
黑盒测试(1)
es(1)
actor(1)
add(1)
aggregation(1)
background(1)
block(1)
break(1)
cat(1)
char(1)
command(1)
convolution(1)
data(1)
date(1)
db(1)
db2(1)
double(1)
dynamic(1)
each(1)
edge(1)
editor(1)
element(1)
epoch(1)
fixed(1)
flatten(1)
fs(1)
global(1)
height(1)
include(1)
input(1)
iteration(1)
lag(1)
lambda(1)
layer(1)
mac(1)
mask(1)
masking(1)
matplotlib(1)
matrix(1)
max(1)
memory(1)
mnist(1)
models(1)
na(1)
optimization(1)
output(1)
padding(1)
parameters(1)
partition(1)
pca(1)
performance(1)
plot(1)
position(1)
precision(1)
prediction(1)
process(1)
pseudocode(1)
regression(1)
sampling(1)
self(1)
sequence(1)
series(1)
shift(1)
show(1)
size(1)
statistics(1)
statsmodels(1)
summary(1)
task(1)
terminal(1)
text(1)
time(1)
vi(1)
width(1)
编程(1)
遍历(1)
编码(1)
边缘计算(1)
博客(1)
测试(1)
代理(1)
递归(1)
动态规划(1)
对象(1)
接口(1)
开发(1)
开发者(1)
可视化(1)
快捷键(1)
连接(1)
量化(1)
路由(1)
命令行(1)
模块化(1)
排序(1)
实践(1)
索引(1)
统计(1)
效率(1)
序列化(1)
硬件(1)
语法(1)
自然语言处理(1)
LoRa(1)
搜索文章
搜索
搜索
关闭
ES中文检索须知:分词器与中文分词器
es
排序
索引
中文分词
svg
分词即为将doc通过Analyzer切分成一个一个Term(关键字),es分词在索引构建和数据检索时均有体现:
Steve Wang
2024-04-22
265
0
最强英文开源模型Llama2架构与技术细节探秘
开源
架构
模型
实践
数据
Meta AI于2023年7月19日宣布开源LLaMA模型的二代版本Llama2,并在原来基础上允许免费用于研究和商用。
Steve Wang
2023-11-21
1.2K
1
NEFTune: 通过简单的噪声提升指令精调效果
论文
模型
数据
算法
原理
NEFTune指的是Noise Embedding Finetuning(噪声嵌入精调),提出自论文:NEFTune: NOISY EMBEDDINGS IMPROVE INSTRUCTION FINETUNING。
Steve Wang
2023-11-17
216
0
最强英文开源模型LLaMA架构探秘,从原理到源码
开源
架构
模型
原理
源码
读完本文,你可能觉得LLaMA会开源并不令人惊讶,因为它的架构可以说是站在巨人肩膀上摘苹果——基本上可以说使用其他模型的组件作为“积木”搭了一个新模型出来,并没有太多实质意义上的创新,但这种敢于开源的勇气和做法使得LLaMA足以在大语言模型上的开源发展历程上成为一个标志性的里程碑。
Steve Wang
2023-10-23
2.4K
0
Alpaca构建方式探秘:低成本构造指令数据增强LLM
svg
input
模型
数据
LLM
Alpaca是斯坦福大学在Meta开源的大模型LLaMA 7B基础上使用自构建的52K指令数据重新训练得到的增强模型,它的数据构造和训练成本极低,总计约600美元(数据构建500美元+机器训练100美元),效果却逼近OpenAI的text-davinci-003(GPT 3.5),这篇博客和大家一起学习下alpaca的构建方法。
Steve Wang
2023-10-12
416
0
50个Linux常用命令行快捷键(大部分适配Mac OS)
linux
mac
快捷键
命令行
搜索
Steve Wang
2023-10-12
715
0
LangChain 手记 Conclusion结语
翻译
工具
系统
效率
优化
本系列短课展示了大量使用LangChain构建的大语言模型应用,包括处理用户反馈、文档上的问答系统甚至使用LLM来决定发起外部工具的调用(比如搜索)来回答复杂问题。
Steve Wang
2023-10-12
120
0
LangChain手记 Agent 智能体
agent
翻译
工具
函数
搜索
“人们有时会将LLM看作是知识库,因为它被训练所以记住了来自互联网或其他地方的海量信息,因而当你向它提问时,它可以回答你的问题。有一个更加有用的认知模式是将LLM看作是一个推理引擎,如果提供给他文本块或者额外信息,它可以利用从互联网或者其他地方学会的背景知识利用新信息来帮助回答问题或者进行文本推理或者执行下一步动作,这正是LangChain的Agent框架能够帮助你完成的。”
Steve Wang
2023-10-12
431
0
LangChain手记 Evalutation评估
工具
开发
可视化
模型
数据
“从传统开发转换到基于prompt的开发,开发使用LLM的应用,整个工作流的评估方式需要重新考虑,本节会介绍很多激动人心的概念。”
Steve Wang
2023-10-12
262
0
LangChain手记 Question Answer 问答系统
存储
模型
系统
自然语言处理
LLM
本节介绍使用LangChian构建文档上的问答系统,可以实现给定一个PDF文档,询问关于文档上出现过的某个信息点,LLM可以给出关于该信息点的详情信息。这种使用方式比较灵活,因为并没有使用PDF上的文本对模型进行训练就可以实现文档上的信息点问答。本节介绍的Chain也比较常用,它涉及到了嵌入(embedding)和向量存储(vector store)。
Steve Wang
2023-10-12
288
0
LangChain手记 Chains
变量
对象
翻译
路由
模型
将一个大语言模型和prompt模板组合起来调用LLMChain,即可得到一个LLMChain对象,该对象的run实现的功能即给定输入自动使用prompt模板生成prompt,调用LLM得到回复。
Steve Wang
2023-10-12
200
0
LangChain手记 Memory
存储
memory
变量
模型
数组
使用open ai的API调用GPT都是单次调用,所以模型并不记得之前的对话,多轮对话的实现其实是将前面轮次的对话过程保留,在下次对话时作为输入的message数组的一部分,再将新一轮对话的提问也放入message数组,再发起一次API调用,即构手动建对话流(以上笔者注)。
Steve Wang
2023-10-12
237
0
LangChain手记 Models,Prompts and Parsers
models
变量
翻译
模型
源码
上图示例使用Thought,Action,Observation作为思维链推理(Chain-of-Thought Reasoning.(ReAct框架))的关键词
Steve Wang
2023-10-12
165
0
LangChain手记 Overview
代理
翻译
工具
模块化
模型
LangChain是为大模型应用开发设计的开源框架 LangChain目前提供Python和JavaScript(TypeScript)两种语言的包 LangChain的主攻方向是聚合和模块化
Steve Wang
2023-10-12
134
0
LoRA: 大模型快速训练的秘诀
存储
迁移
模型
内存
LoRa
LoRA的提出在上述PEFT方法之后,来自微软的研究者认为,现有的Adapter Tuning和Prefix Tuning这两种方法均有缺点:
Steve Wang
2023-10-12
570
0
大模型基础知识 - 语言模型及其演进 公开版
神经网络
svg
强化学习
架构
模型
自然语言处理在大语言模型(Large Language Model, LLM)被提出之后,再次取得重大突破:
Steve Wang
2023-10-12
310
0
四两拨千斤,训练大模型的PEFT方法
存储
架构
论文
模型
网络
自然语言处理进入大语言模型(Large Language Model, LLM)时代之后,模型的参数量级越来越庞大,以稍早之前的GPT-3为例,它有175B即1亿7千5百万参数,而ChatGPT及后续模型则更大。一方面大语言模型解决自然语言处理任务所需的涌现能力确实需要如此量级的参数,另一方面如此巨大的参数会引起训练成本的急剧增加,甚至从消费级硬件角度来讲,用户全量训练大语言模型的参数的成本令人望而却步。大语言模型已经过pre-training阶段,于是就有学者提出是否能通过finetune一部分少量参数实现下游任务的精调,这催生了一系列PEFT(Parameter-Efficient Fine Tuning,PEFT,可译为参数高效精调)方法。
Steve Wang
2023-10-12
517
0
ChatGPT训练流程
强化学习
agent
chatgpt
翻译
模型
图源:cs224n-2023-lecture11-prompting-rlhf.pdf
Steve Wang
2023-10-12
186
0
大语言模型高效训练基础知识:优化器AdamW和Adafator
存储
论文
模型
算法
优化
Adam相信很多读者已经了解了,Weight Decay解释起来也比较容易,为了防止过拟合,在计算损失函数时需要增加L2正则项:
Steve Wang
2023-10-12
745
0
大模型高效训练基础知识:fp16与混合精度训练
存储
框架
模型
硬件
优化
GPU是一种专精浮点数运算的硬件设备,显然处理32位浮点数是处理16位浮点数计算量的2倍还多,在愿意损失一些精度的条件下使用fp16可以加速计算,而且也不会对模型最终的效果产生可感知影响。于是就有人提出了采用fp16来进行训练,具体而言在计算激活值和梯度的时候以fp16精度存储,执行优化算法的时候还原为fp32(缺失位补0),这样最终的效果是模型在GPU上以fp16和fp32两种方式加载,这被称为混合精度训练(mixed precision training),这种方式占用了更少的显存(全精度需要保存2份原始模型,混合精度保存1份原始模型,1份半精度模型,是原始模型的1.5倍),也加速了训练过程,即精度损失换时间。
Steve Wang
2023-10-12
780
0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
立即发文
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档