Distributed Llama进行模型分片及负载均衡

## Distributed Llama进行模型分片及负载均衡

### 模型分片

- **按Transformer块切断架构与权重**：例如对于较大的Llama 70b及以上模型，可在指定Transformer块末尾切断架构和权重，输出中间激活值，作为下一个分片的输入.

- **数据并行与张量并行结合**：数据并行是将不同批次的数据分别发送到不同的设备上进行处理，处理完后再汇总结果。张量并行则是将模型的参数张量进行切分，分布到多个设备上同时计算，以加快训练或推理速度.

### 负载均衡策略及举例

- **Paddler负载均衡器**：采用有**状态的负载均衡策略**，通过**代理监控每个llama.cpp实例的槽位状态和健康状况，将这些信息反馈给中心化的负载均衡器**，使请求能高效且适时地被处理。例如，在大规模AI服务部署场景中，当有多个llama.cpp实例处理大量并发请求时，Paddler**可根据各实例的负载情况，智能地分配请求，避免资源浪费，提高整体系统的利用**率.

- **FSDP完全分片数据并行**：**优化器状态、梯度和模型参数会被跨设备分片**。前向传播时，每个FSDP单元执行all gather获取完整权重计算后丢弃其他设备分片；反向传播时，执行all gather获取完整权重计算本地batch的梯度，并通过reduce scatter在设备上均值计算并分片更新对应分片参数.

## FSDP 全称是 Fully - Sharded Data Parallel（完全分片数据并行）。

在分布式深度学习中，这是一种数据并行策略。它通过将模型参数、梯度和优化器状态等进行分片处理，使得每个计算设备（如 GPU）只需存储和处理模型的一部分数据，从而有效地减少了每个设备的内存占用，同时又能保证模型训练过程中的并行性，提高训练效率，尤其适用于大规模深度学习模型的训练场景。