LoRa（Long Range）是一种远距离低功耗无线通信技术，广泛应用于物联网（IoT）场景。它的特点是传输距离远、功耗低、穿透力强，适合需要长时间运行的电池...

在当今的AI招聘市场中，QLoRA技术已经成为许多岗位的硬性要求。无论是大型科技公司还是初创企业，招聘信息中频繁出现的“熟悉QLoRA”字样，不禁让人思考：为什...

在对大语言模型（LLM）进行微调时，有多种技术可选。今天我们分享一下最值得关注的 4 款工具 —— 从单卡 到支持万亿参数的分布式集群，它们几乎覆盖了所有 LL...

还在为 LoRA 训练不稳定、模型融合效果差、剪枝后性能大降而烦恼吗？来自香港城市大学、南方科技大学、浙江大学等机构的研究者们提出了一种简单的渐进式训练策略，C...

本节我们简要介绍如何基于 transformers、peft 等框架，对 XVERSE-7B-Chat 模型进行 Lora 微调。Lora 是一种高效微调方法，...

本节我们简要介绍如何基于 transformers、peft 等框架，对 Phi-3-mini-4k-Instruct 模型进行 Lora 微调。Lora 是一...

MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。

本节我们简要介绍如何基于 transformers、peft 等框架，对 LLaMA3-8B-Instruct 模型进行 Lora 微调。Lora 是一种高效微...

本节我们简要介绍如何基于 transformers、peft 等框架，对 LLaMA3-8B-Instruct 模型进行 Lora 微调。Lora 是一种高效微...

本节我们简要介绍如何基于 transformers、peft 等框架，对 Gemma2b 模型进行 Lora 微调。Lora 是一种高效微调方法，深入了解其原理...

本文简要介绍如何基于transformers、peft等框架，对CharacterGLM-6B-chat模型进行Lora微调。Lora原理可参考博客：知乎|深入...

微调，Fine-Tuning，一般指全参数的微调（全量微调），指是一类较早诞生的微调方法，全参数微调需要消耗大量的算力，实际使用起来并不方便，因此不久之后又诞生...

本节我们简要介绍如何基于 transformers、peft 等框架，对 TransNormerLLM-1B「备注：TransNormerLLM-358M/1B...

本节我们简要介绍如何基于 transformers、peft 等框架，对 Qwen-7B-Chat 模型进行 Lora 微调。Lora 是一种高效微调方法，深入...

本节我们简要介绍如何基于 transformers、peft 等框架，对 DeepSeek-7B-chat 模型进行 Lora 微调。Lora 是一种高效微调方...

本节我们简要介绍如何基于 transformers、peft 等框架，对 BlueLM-7B-Chat 模型进行 Lora 微调。Lora 是一种高效微调方法，...

本节我们介绍如何基于 transformers、peft 等框架，对 Yi-6B-Chat 模型进行 Lora 微调。Lora 是一种高效微调方法，深入了解其原...

本节我们简要介绍如何基于 transformers、peft 等框架，对 Atom-7B-Chat 模型进行 Lora 微调。Lora 是一种高效微调方法，深入...

这个缩放的本质并没有改变LoRa的参数量大小,本质在于将里面的参数数值做广播乘法,进行线性的缩放。

本节我们简要介绍如何基于 transformers、peft 等框架，对 Baichuan2-7B-chat模型进行 Lora 微调。Lora 是一种高效微调方...