【大模型】大模型 常见 工程化工具：微调、量化、部署、Agent、RAG等

包括微调（Axolotl、Llama-Factory、Firefly、Swift、XTuner）、量化（AutoGPTQ、AutoAWQ、Neural Compressor）、部署（vLLM、SGL、SkyPilot、TensorRT-LLM、OpenVino、TGI）、本地运行（MLX、Llama.cpp、Ollama、LM Studio）、Agent及RAG（检索增强生成）框架（LlamaIndex, CrewAI, OpenDevin）、评测（LMSys, OpenCompass, Open LLM Leaderboard）、模型二次开发（Dolphin, Openbuddy）

微调

Axolotl：

https://github.com/OpenAccess-AI-Collective/axolotl

Llama-Factory ：

https://github.com/hiyouga/LLaMA-Factory

Firefly：

https://github.com/yangjianxin1/Firefly

Swift：

https://github.com/modelscope/swift

XTuner：

https://github.com/InternLM/xtuner

unsloth：

https://github.com/unslothai/unsloth

量化

AutoGPTQ：

https://github.com/AutoGPTQ/AutoGPTQ

AutoAWQ：

https://github.com/casper-hansen/AutoAWQ

Neural Compressor：

https://github.com/intel/neural-compressor

部署

1）线上工程化部署

vLLM：

https://github.com/vllm-project/vllm

SGL：

https://github.com/sgl-project/sglang

SkyPilot：

https://github.com/skypilot-org/skypilot

TensorRT-LLM：

https://github.com/NVIDIA/TensorRT-LLM

OpenVino：

https://github.com/openvinotoolkit/openvino

TGI：

https://github.com/huggingface/text-generation-inference

2）本地运行

MLX：

https://github.com/ml-explore/mlx

Llama.cpp：

https://github.com/ggerganov/llama.cpp

Ollama：

https://ollama.com/

LM Studio：

https://lmstudio.ai/

Agent及RAG（检索增强生成）框架（

LlamaIndex：

https://www.llamaindex.ai

CrewAI：

https://www.crewai.com/

OpenDevin：

https://github.com/OpenDevin/OpenDevin/

评测

LMSys：

https://lmsys.org

OpenCompass：

https://opencompass.org.cn/home

Open LLM Leaderboard：

https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

livebench：

https://livebench.ai/

模型二次开发

Dolphin：

https://huggingface.co/cognitivecomputations

Openbuddy：

https://github.com/OpenBuddy/OpenBuddy

——The  End——

记得点赞、分享，让更多的朋友一起探索这个IT世界的新篇章！

AIGC周边正在发布，关注生活，冻龄青春

推荐阅读

【大模型】模型蒸馏和模型量化到底是什么？

【LLM大模型】漫画大模型简史

【LLM大模型】大语言模型改版：如何用好推理型大语言模型DeepSeek

【大模型】LLaMA-Factory 开源的低代码大模型微调训练框架

【大模型】Meditron：基于 Llama 完全开源的医学大语言模型 性能优于所有开源模型

【大模型】[huggingface] 开源医疗大模型排行榜: 健康领域大模型基准测试

【大模型】开源大模型 ChatGLM 从安装使用到定制化应用RAG

【大模型】大模型入门基础-基本概念介绍

【大模型】手把手教你在本地部署DeepSeek R1，并集成到Dify中

【大模型】FastGPT和RagFlow对比选型

【大模型】大模型在金融领域的综述

【3D打印】新手入门「必打」模型推荐