温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
的小伙伴们大家好,接下来我们来看一下dream boss训练过程中加速器的配置,在这里我们使用的加速器是hugging face当中提供的accelerate influence API,那这个API它能够加速推理过程,它是通过利用混合精度训练、深度学习库、分布式训练等技术来提高模型推理的速度。在这里我们使用accelerate来对stable diion的推理进行加速,那具体上我们配置了哪些加速信息呢?在这个accelerate sh文件当中,我们配置了一系列的相关加速器的配置,那下面我们就给大家来看一下具体配置了哪些信息,这个配置文件当中哈包含了一些与accelate influence相关的默认配置,比方说我们的计算环境,分布式训练配置、混合精度等,这样的配置文件呢,能够定义加速推理的运行环境和。
01:00
选项,那下面我们就给大家来看一下这个SH文件当中相关的内容。首先我们来看一下,在这里我们去创建了一个目录,这个目录呢就是为了保证accelerate inference API配置文件的存在,比如说我们在这里创建了一个路径,这个路径当中呢,我们就去存放相关的配置文件,那接下来我们把这个呃配置信息写入到default coniggu点样文件当中,这个样文件就是用来对加速器进行配置的,在这里我们设置了我们的计算环境,然后设置了这个deep speed,还有分布式训练的相关的内容,还有我们设置FSDP,然后机器的。顺序,还有我们在这里这个主进程IP以及主进程的端口,还有主函数在哪里,还有我们在这里要去使用混合精度进行训练,设置了使用机器的数量和进程数的数量,在这个过程当中呢,哎,我们不去使用CPU,这是我们在这里设置的关于加速器的一系列的参数,设置好这些参数之后,诶,直接运行一下我们的accelerate.sh文件即可完成相关信息的配置,完成相关信息配置之后,再进行训练的时候,我们就可以利用accelerate来进行加速了。好,那加速器的配置我们就给大家说这些,我们先把视频暂停一下。
我来说两句