暂无搜索历史
RDMA通信
SimAI,是阿里巴巴构建的一个统一的模拟器,旨在大规模精确有效地模拟LLM训练过程。通过将训练框架、内核计算和集体通信库有选择地高保真集成到仿真过程中,Sim...
3分钟完成git下载和安装,git国内外下载地址镜像,Windows为例_哔哩哔哩_bilibili
git的下载地址,安装和使用
研究生生活分享
1.1 RDMA基本原理和优势,以太网socket通信为什么要用户空间拷贝到内核空间_哔哩哔哩_bilibili
3.2大规模异构集群,混合并行分布式系统,解释算力不均衡问题HETHUB_哔哩哔哩_bilibili
cpu亲和性设置,NCCL,sched_setaffinity sched_getaffinity,CPU_ZERO、SET、ISSET、linux_哔哩哔哩_...
mq_open mq_close mq_unlink mq_setattr mq_getattr mq_send mq_receive
网络通信相关基础知识学习分享
其中C表示训练语言模型所需的总计算量,N表示模型参数量,D表示用于训练的语料总量,6表示每训练一个token所需的浮点计算量约为6N,其中前向计算2N,反向计算...
通过MPI获取本机rank(可理解为进程)数量localrank,用于rank绑定GPU;
暂未填写公司和职称
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市