LLM技术全景图：技术人必备的技术指南，一张图带你掌握从基础设施到AI应用的全面梳理

LLM技术全景图：技术人必备的技术指南，一张图带你掌握从基础设施到AI应用的全面梳理

LLM 技术图谱（LLM Tech Map）是将 LLM 相关技术进行系统化和图形化的呈现，此图谱主要特点是“专注于技术人视角”，不求从 LLM 产业角度汇聚信息，而是希望让从事相关工作或是想了解 LLM 的技术人有一个快速感知。

LLM 技术图谱（LLM Tech Map）从基础设施、大模型、Agent、AI 编程、工具和平台，以及算力几个方面，为开发者整理了当前 LLM 中最为热门和硬核的技术领域以及相关的软件产品和开源项目。

核心价值：帮助技术人快速了解 LLM 的核心技术和关键方向。

1.基础设施

LLM 技术图谱（LLM Tech Map）的基础设施部分主要包括以下几个方面：

• 向量数据库：向量数据库是专门用于存储和检索向量数据的数据库，它可以为 LLM 提供高效的存储和检索能力。
• 数据库向量支持：传统数据库通常不支持向量数据的存储和检索，数据库向量支持可以为传统数据库添加向量数据的存储和检索能力。
• 大模型框架、微调 (Fine Tuning)：针对大模型的开发。
• 大模型训练平台与工具

1.1向量数据库

• Milvus
• Pinecone
• Weaviate
• Chroma
• Qdrant
• Vespa
• Vald
• Faiss
• ScaNN
• Vearch
• AquilaDB
• Marqo
• LanceDB
• Annoy
• NucliaDB
• DeepLake
• MongoDB

1.2数据库向量支持

• pgvector
• Redis Vector
• Elastic
• SingleStoreDB
• Solr
• OpenSearch
• ClickHouse
• Rockset
• Cassandra
• Lucene
• Neo4j
• Kinetica
• Supabase
• Timescale

1.3大模型框架、微调 (Fine Tuning)

• OneFlow
• LMFlow
• LoRA
• Alpaca-LoRA
• PEFT
• ChatGLM-Efficient-Tuning
• LLaMA-Efficient-Tuning
• P-tuning v2
• OpenLLM
• h2o-llmstudio
• xTuring
• finetuner
• YiVal

1.4大模型训练平台与工具

• Pytorch
• BMtrain
• colossalAI
• Tensorflow
• PaddlePaddle
• MindSpore
• Deepspeed
• XGBoost
• Transformers
• Apache MXNet
• Ray

2.大模型

LLM 技术图谱（LLM Tech Map）的大模型部分主要包括以下几个方面：

• 备案上线的中国大模型：有牌照提供服务的大模型，需要注意的是大模型和相应的产品多半名称不同。
• 知名大模型：在全球范围内，已经发布了多款知名大模型，这些大模型在各个领域都取得了突破性的进展。
• 知名大模型应用：LLM 已经在多种应用场景中得到了应用，包括文本生成、机器翻译、问答、自然语言推理等。

2.1中国大模型

• 文心一言
• 云雀
• GLM
• 紫东太初
• 百川
• 日日新
• ABAB 大模型
• 书生通用大模型
• 混元大模型

2.2知名大模型

• Llama 2
• OpenLLaMA
• 百川
• 通义大模型
• 文心一言
• StableLM
• MOSS
• Dolly
• BLOOM
• Falcon LLM
• ChatGLM
• PaLM 2
• 盘古
• GPT-4
• Stable Diffusion
• DALL·E 3

2.3 知名大模型应用

• ChatGPT
• Claude
• Cursor
• Mochi Diffusion
• Midjourey
• DragGAN
• Bard
• Bing

3.AI Agent（LLM Agent）

AI Agent是一种能够自主运作并完成特定任务的计算实体或程序。它能够通过传感器感知周围环境，并根据感知到的信息做出决策，然后通过执行器采取行动。LLM Agent 是指基于 LLM 技术构建的智能代理，它可以用于各种任务，比如让机器与 ChatGPT 交互，一层一层挖掘信息，自动化完成任务；比如由机器人构成的虚拟小镇。

• 核心特点
  • 自主性：AI Agent具有独立思考和行动的能力，能够在没有人类直接指导的情况下完成任务。
  • 交互性：AI Agent能够与环境或其他Agent进行交互，这在游戏、对话系统、推荐系统等场景中尤为重要。
  • 目的性：AI Agent设计有明确的目标或意图，其行为是为了实现这些目标。
  • 适应性：AI Agent能够根据环境的变化调整自己的行为，以适应新的情境。
  • 进化性：随着技术的发展，AI Agent的功能和智能水平也在不断提升。
• 技术特点
  • AI Agent与大模型的主要区别在于，大模型与人类之间的交互是基于prompt实现的，而AI Agent仅需给定一个目标，它就能够针对目标独立思考并做出行动。
  • AI Agent的核心驱动力是大模型，并在此基础上增加了规划（Planning）、记忆（Memory）和工具使用（Tool Use）三个关键组件。
• 类型从工作模式来看，AI Agent可以分为以下三种类型：
  • 单Agent：侧重于执行单一任务或一系列相关任务，且不需要与其他智能体进行交互。
  • 多Agent：涉及多个智能体之间的协作和交互，以完成更复杂的任务。
  • 混合Agent（人机交互Agent）：结合了人类和智能体的交互，以实现更高效的任务执行。
• Rivet
• JARVIS
• MetaGPT
• AutoGPT
• BabyAGI
• NexusGPT
• Generative Agents
• Voyager
• GPTeam
• GPT Researcher
• Amazon Bedrock Agents

4.AI 编程

AI编程是指利用计算机编程语言和技术来创建、训练和优化人工智能算法的过程。它涵盖了数据的收集、清洗、转换以及算法的选择和应用。AI编程是构建未来智能系统的关键，通过模拟人类智能的能力，使计算机能够执行类似于人类的决策和任务。编程语言如Python因其强大的数据处理库和简洁的语法，成为AI编程的常用工具。

• codeium.vim
• Cursor
• GitHub Copilot
• Comate
• StableCode
• CodeGeeX
• TabbyML
• CodeArts Snap
• Code Llama
• CodeFuse
• 姜子牙
• CodeShell

5.工具和平台

LLM 技术图谱（LLM Tech Map）的工具和平台部分主要包括以下几个方面：

• LLMOps：简单点说（大家当前在说的），就是“快速从大模型到应用”。
• 大模型聚合平台：汇聚大模型能力，提供服务。
• 开发工具：其它开发相关的 LLM 工具。

5.1 LLMOps

• BentoML
• LangChain
• Dify.ai
• Semantic Kernel
• Arize-Phoenix
• GPTCache
• Flowise

5.2 大模型聚合平台（☆）

• Gitee AI
• SOTA！模型
• 魔搭ModelScope
• Hugging Face

5.3 开发工具

• v0
• txtai
• Jina-AI
• Deco
• imgcook
• Quest AI
• CodiumAI
• Codeium Vim
• Project IDX
• MakerSuite

6.算力

LLM 模型的训练和部署需要大量的算力，算力是 LLM 技术发展的关键因素。

• 英伟达
• 昇腾
• AMD
• 海光
• 昆仑芯
• 天数智芯