用户9497744

文章/答案/技术大牛

发布

LV1

我关注的人

DeepSeek R1专家并行

混合专家相当于Transformer结构中的FFN，R1每一层网络有1个共享专家（shared expert）、256个路由专家（routed expert），...

aaronwjzhao 2025-04-142025-04-14 15:49:50

pytorch、LLM、DeepSeek

DeepSeek R1推理

DeepSeek R1和DeepSeek V3的模型结构一致，参数量也一致，R1是基于V3做强化学习得来的。R1主要的创新点都用在训练过程，推理过程和V3是一样...

aaronwjzhao 2025-03-072025-03-07 18:06:55

DeepSeek、aigc、LLM

OpenAI Triton现状调研

PyTorch 2.3.1引入了torch.compile功能，允许用户将包含triton内核的PyTorch代码进行本地执行。

aaronwjzhao 2024-11-152024-11-15 15:55:45

pytorch、openai、编译器

Nvidia技术壁垒之一--NVLink&NVSwitch

单个 NVLink 数据包的范围从 1 到 18 个 flit。每个 flit 为 128 位，允许使用单个 header flit 和 16 个 payloa...

aaronwjzhao 2024-09-062024-09-06 13:47:27

pytorch、nvidia

Llama3.1技术报告解读

Llama3.1共开源了8B、70B、405B三种参数量的模型，三个模型具体信息如下图，其中405B除了BF16精度，还有FP8量化版模型，针对8B额外开源了经...

aaronwjzhao 2024-07-252024-07-25 18:18:05

pytorch、huggingface-transformers、LLM

大语言模型--流水线并行原理及实现

Google 2019年发表的论文GPipe: Easy Scaling with Micro-Batch Pipeline Parallelism，1811....

aaronwjzhao 2024-06-052024-06-05 19:35:39

pytorch、nvidia、LLM

个人简介

暂未填写公司和职称
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
加入社区时间：2022-02-25

个人成就

TA 很懒，什么都没有留下╮（╯＿╰）╭

关注了：1关注者：0

用户9497744

DeepSeek R1专家并行

DeepSeek R1推理

OpenAI Triton现状调研

Nvidia技术壁垒之一--NVLink&NVSwitch

Llama3.1技术报告解读

大语言模型--流水线并行原理及实现

个人简介

个人成就

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐