Llama2.c 学习笔记3： training

llama2.c核心的应该是run.c也就是推理引擎方面，training相对简单，先从这里分析。

1. run train on cpu

让代码run起来是学习研究的快速路径，虽然llama2.c的推荐配置是4个A100 DDP运行几个小时，通过修改训练参数（降低到最低）让它能够run的起来，是我的第一步工作。（centos, gcc-9)，开始需要切换到gcc 9 bash环境

scl enabledevtoolset-9 bash
python train.py --device=cpu --batch_size=8 --eval_iters=5

图1-run train.py

图2-训练资源使用情况

2. Config

2.1 config items

相关可配置参数及分类如下，但是有些DDP（Distribute Data Parallel）参数设置没有考证，因为穷鬼没有机会去设置。

图3-可配置参数

2.2 custom config

图4-配置训练参数

train.py开始是设置默认的参数，通过configurator.py对命令行参数进行支持，可以输入一个py文件配置进行覆盖，还支持通过--key=value的方式对前面设置进行覆盖。当然，都用参数字典的方式运行最简单。

3.train loop

整体的train loop相对简单，总结如下：

图5-train work flow

图6-train loop