腾讯云

开发者社区

文档建议反馈控制台

首页

文章/答案/技术大牛

发布

社区首页 >问答首页 >大模型底层如何实现并行？

问大模型底层如何实现并行？

提问于 2024-07-22 06:41:48

回答 0关注 0查看 36

现在市面上的大模型如kimi、chatgpt这些，他们是如何实现在线同时回答多个用户的问题的，也就是底层是如何实现并行的。假如我只有一张GPU，我如何设计来实现在不开启多个实例的前提下同时回答多个问题？

chatgpt

gpu

模型

设计

大模型知识引擎

回答

成为首答用户。去写回答

大语言模型--张量并行原理及实现

huggingface-transformers nvidia LLM pytorch

NCCL是一个Nvidia专门为多GPU之间提供通讯的通讯库，或者说是一个多GPU卡通讯的框架，提供了包括AllReduce、Broadcast、Reduce、AllGather、ReduceScatter等集合通讯API。NCCL屏蔽了底层复杂的细节，向上提供API供训练框架调用，向下连接机内机间的GPU以完成模型参数的高效传输。

aaronwjzhao

2024/01/11

2.7K6

大语言模型--流水线并行原理及实现

pytorch nvidia LLM

Google 2019年发表的论文GPipe: Easy Scaling with Micro-Batch Pipeline Parallelism，1811.06965 (arxiv.org)

aaronwjzhao

2024/05/11

9810

[源码解析] 模型并行分布式训练 Megatron (3) ---模型并行实现

mapreduce javascript

NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。

罗西的思考

2022/11/28

2.2K0

[源码解析] PyTorch 流水线并行实现 (2)--如何划分模型

https 网络安全深度学习 html 编程算法

上一篇文章我们介绍了 PyTorch 流水线并行的基本知识，本文我们介绍其自动平衡机制和模型分割。

罗西的思考

2021/09/27

1.6K0

大模型与AI底层技术揭秘——开篇

部署程序模型算法硬件

方老师的一个学生，名叫小H，长期从事云计算方面技术工作，为了学习AI，买了一堆书却一直没看。

用户8289326

2023/09/18

3010

大模型底层原理与引用开发范式

工程师开发模型算法原理

作为一名算法工程师，我们需要理解和应用各种算法来解决实际问题，同时也需要考虑算法的实现和应用。在大模型时代，我们需要掌握使用大模型进行开发的技能，并且了解它们的优势和局限性。

用户3578099

2023/09/01

8140

[源码解析] 模型并行分布式训练 Megatron (4) --- 如何设置各种并行

gpu model rank size tensor

罗西的思考

2022/05/09

2.4K0

[源码解析] 模型并行分布式训练 Megatron (4) --- 如何设置各种并行

聊聊在Python如何实现并行

https 网络安全 python

哒呵呵

2019/03/01

8230

系统日报-20220318（大模型并行训练框架 Colossal-AI）

数据库 sql 分布式深度学习 https

分享一个大牛同学公司的的 AI System 项目 Colossal-AI：A Unified Deep Learning System for Large-Scale Parallel Training[2]。

木鸟杂记

2022/03/31

1.7K0

并行计算模型

缓存数据结构编程算法

所谓计算模型实际上是软件和硬件之间的一种桥梁，使用它能够设计、分析算法，在其上高级语言能被有效的编译且能够用硬件来实现。串行计算时，典型的，被公认的，通用的计算模型是冯▪诺依曼机。但是并行计算时，没有一个类似冯▪诺依曼机被公认的，通用的计算模型。现在流行的并行计算模型要么过于简单、抽象（如 PRAM），要么过于专用（如互联网络模型）。在这里，我们先介绍一些常用的并行计算模型：PRAM模型，异步PRAM模型，BSP模型和LogP模型。

AI异构

2020/07/29

1.5K0

大模型与AI底层技术揭秘 (13) 大纵深与协同作战

服务器开发模型设计优化

“参加主攻方向的有：17个装甲师，2个摩托化师和22个步兵师，近百万士兵，2700辆坦克，其中包括800辆虎式坦克，还有1800架飞机，我的元首。”

用户8289326

2023/12/13

3380

大模型与AI底层技术揭秘 (11) 变形记

磁盘模型内存内核数据

有一天，小H在吃完午饭回到办公室，旁边几位同学在打《王者荣耀》，并且在挑拨匹配到的一对情侣队友分手。

用户8289326

2023/11/27

2100

大模型与AI底层技术揭秘（30）剑宗与气宗

模型异常硬件虚拟化 gpu

在上一期，我们讲了一个令狐冲通过使用NVidia GRID vGPU方案，把虚拟化的GPU通给多个虚拟机的方案。但是，这个方案仍然没有解决一个关键的问题——不同的GPU虚拟化实例之间的故障隔离问题。如果任何一个虚拟化实例出现故障，会导致物理GPU上，虚拟的所有GPU实例中运行的程序被全部抛出异常。

用户8289326

2024/04/10

2010

大模型与AI底层技术揭秘 (6) 分割与征服

模型内存数据算法系统

二战结束后，考虑到二战为人类带来的巨大灾难，爱因斯坦与特斯拉联手研发了一台时空穿梭机，并回到了1924年，除掉了由于啤酒馆政变入狱的希特勒，纳粹德国不复存在，但这却将欧洲拖入了新的血雨腥风，使得苏联统治了整个欧洲。不久，斯大林被Nod兄弟会派来的女刺客暗杀……

用户8289326

2023/10/25

2910

大模型与AI底层技术揭秘（38）远看泰山黑乎乎

缓存多线程模型线程存储

小H把这首诗读给方老师听，方老师笑了：其实你看GPU里面寄存器和其他存储子系统的组织方式，跟CPU中，存储子系统的组织方式相比，还真就很类似这首诗描述的情景呢！

用户8289326

2024/06/18

1280

大模型与AI底层技术揭秘（21）幽灵的暗流

管理模型虚拟机硬件服务器

我们在以前提到过，Intel通过多核技术，推翻了PowerPC，SPARC等大小型机的反动统治，将计算技术带入了一个崭新的时代，并迅速在服务器领域占据统治地位。

用户8289326

2024/02/05

2020

大模型与AI底层技术揭秘（25）大丈夫日记

渲染虚拟化计算机模型通信

有一天，小H被人拉进了一个技术交流群，却发现群里讲的都是各种八卦、社会新闻和pdf小作文。小H立即产生了浓厚的兴趣，天天在这个群里面学习知识。皇天不负有心人，有一天群里终于出现了技术话题，讨论起GPU服务器内部的组件互联。小H看见了一句金句：“计算的尽头是通信”。再一看，原来是方老师说的！

用户8289326

2024/03/13

1220

底层实现

编程算法 jvm c++其他

volatile 关键字只能保证可见性，不能保证原子性。多个线程同时操作主内存里的同一个变量时，变量数据仍有可能会遭到破坏。

Qwe7

2022/08/06

3950

大模型与AI底层技术揭秘（35）身后就是莫斯科

架构进程模型内核线程

在上期，我们讲到了图灵的故事。图灵发明的密码破译机是盟军赢得二战的得力助手，但正义的联盟战胜法西斯，最终还是依靠英雄的血肉之躯。

用户8289326

2024/05/27

1650

大模型与AI底层技术揭秘（36）分裂没有出路

效率架构模型内存线程

在GPU程序中，如果有if-else这样的分支，在一个warp中，不同的CUDA Core走到了不同的分支，此时scheduler应当如何发射后续的指令呢？

用户8289326

2024/05/27

1420

相似问题

混元大模型底层有没有用chatgpt？

2214

作为企业来说，如何选择AI大模型？

017

如何看待大模型的开发以及落地使用？

114

未来 ai 的架构是大模型还是小模型，多大算大？多小是小？

018

问大模型底层如何实现并行？

回答

混元大模型底层有没有用chatgpt？

作为企业来说，如何选择AI大模型？

如何看待大模型的开发以及落地使用？

未来 ai 的架构是大模型还是小模型，多大算大？多小是小？

怎么利用大模型知识引擎来接入微信的服务号实现智能客服？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐