前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Llama2.c 学习笔记2: 编译加速

Llama2.c 学习笔记2: 编译加速

原创
作者头像
flavorfan
修改2023-08-04 12:45:12
3.7K0
修改2023-08-04 12:45:12
举报
文章被收录于专栏:范传康的专栏

llama2.c使用纯C编写,不过不同的编译优化能够提供不同的加速性能。在同一台机器(centos gcc 9.3)不同编译配置,运行相同的模型(stories110M),进行推理速度(tok/s)比较。相比原始的c编译(O3优化),叠满Fast,OMP,GNUC11后有了近10倍的加速。

centos 安装 gcc 9.x

ubuntu20,22好像默认安装的gcc都是高版本的没有问题。

代码语言:javascript
复制
yum install centos-release-scl -y

yum clean all
yum install devtoolset-9-*-y
scl enabledevtoolset-9 bash

1.初始版本:6.89 tok/s

代码语言:javascript
复制
gcc -O3 -o run run.c -lm
./run out/stories110M.bin

2. Fast: 13.30 tok/s

代码语言:javascript
复制
gcc -Ofast -o run run.c -lm
./run out/stories110M.bin

3. OMP: 40.01 tok/s

代码语言:javascript
复制
gcc -Ofast -fopenmp -march=native run.c  -lm  -o run
./run out/stories110M.bin

4.OMPGNU: 50.80 tok/s

代码语言:javascript
复制
gcc -Ofast -fopenmp -std=gnu11 run.c  -lm  -o run
./run out/stories110M.bin

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • centos 安装 gcc 9.x
  • 1.初始版本:6.89 tok/s
  • 2. Fast: 13.30 tok/s
  • 3. OMP: 40.01 tok/s
  • 4.OMPGNU: 50.80 tok/s
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档