如何在本机使用CPU来跑大语言模型

如何在本机使用CPU来跑大语言模型

前段时间用google的colab跑so-vits-svc开源声音训练模型库，因为我本机是Mac的cpu版本，无法支持NAVID GPU的加速并行训练，但是每天都有时间限制，而且Google的T4机器每天也有时间限制，下次在Jupyter Notebook再运行的时候，又要重新跑，按照搜索的扩展信息，加钱升级付费云服务器可以有效完成训练，也可以用某种方式增量训练，我还没具体研究，但是截止到目前，我已经感觉如果本机不是NAVID的GPU版本支持，这做大语言模型相关训练，劣势非常明显，我现在的本机Mac使用真的是极其不便了。

于是我就搜索有没有有效的替代方案，于是找到了llama.cpp，也试了开源库里的一些大语言模型，发现可以顺利跑起来，可以兼容OpenAI API的一个转换器，所以分享给你。

使用步骤

• 1.下载llama.cpp

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make

• 2.下载模型文件，并把对应模型文件移动到models目录 mv ../XX.bin models/ 接着就可以开始训练了。

./main -m ./models/XX.bin -c 512 -b 
1024 -n 256 --keep 48 \
    --repeat_penalty 1.0 --color -i -t 4 \
    -r "User:" -f prompts/output.txt

总结

发现这个应该就是大语言模型发展的方向，不然会导致很多不便，会导致很多编程人员体验不到大模型时代作为一个程序员，能体验到的乐趣，相信类似的封装工具应该越来越多，而且体验也会越来越好，我会继续深度使用这个工具，有趣的经历到时再分享。