多模态大模型技术原理及实战(6)

中小型公司大模型构建之路

如何选择

自己建立

二次开发

重新训练，消耗非常巨大

现有的大模型体系已经非常丰富

对话大模型已经白热化

•三天产生一个小应用

•两天产生一个新模型

中小公司的技术实力相对薄

微调

用 LoRA((Low-Rank Adaptation低秩适配)

2022年

Edward J.Hu

PLM(Pre-trained Language Model 预训练语言模型)

AdaLoRA

Qingru Zhang 等人

AdaLoRA技术采用了一种有效的策略来调整增量阵的分配

在增量更新中使用奇异值分解进行参数化，并基于重要性指标去除不重要的奇异值，同时保留奇异向量。

QLoRA

Tim Dettmers 等人

SFT(有监督微调)

DeepSpeed+ZeRO-3

DeepSpeed

•微软开发的开源深度学习优化库

•PyTorch框架

零冗余优化器 ( Zero Redundancy Optimizer，ZeRO）

•优化器状态分区(ZeRO-1）

•梯度分区 (ZeRO-2）

•参数分区(ZeRO-3)

压缩

剪枝

剪枝技术通过理结果产生重要影响，需要剔除冗余参数以提高模型训练效率。删除多余的节点来减小网络规模，从而降低计算成本，同时保持良好的推理效果和速度。

步骤

•1、训练一个原始模型，该模型具有较高的性能但运行速度较慢。

•2、确定哪些参数对输出结果的贡献较小，并将其设置为零。

•3、在训练数据上进行微调，以便尽量避免因网络结构发生变化而导致性能下降。

•4、评估模型的大小、速度和效果等指标，如果不符合要求，那么继续进行剪枝操作直至满意为止。

分类

•非结构化剪枝

•使用技术A或B的一个或多个通道

•A 滤波

•B 权重矩阵

•分类

•权值剪枝

•神经元剪枝

•结构化剪枝

•又名：滤波器剪枝

•分类

•Filter-wise

•Channel-wise

•Shape-wise

KD(Knowledge Distillation知识蒸馏)

教师网络( Teacher Network)

学生网络 ( Student Network)

量化压缩

从高精度转换为低精度

分类

•线性量化压缩

•非线性量化压缩

实战

微调实战

全参数微调实战

部分参数微调实战

压缩实战

8 位量化压缩实战

4位量化压缩实战