强化学习中是否主要使用的CPU资源而不是GPU？ - 腾讯云开发者社区

文章/答案/技术大牛

发布

想轻松复现深度强化学习论文？看这篇经验之谈

选自Amid Fish 作者：Matthew Rahtz 机器之心编译近期深度强化学习领域日新月异，其中最酷的一件事情莫过于 OpenAI 和 DeepMind 训练智能体接收人类的反馈而不是传统的奖励信号...主要原因是强化学习本身非常敏感，需要纠正大量的细节，如果不这么做，后面诊断问题所在会非常难。实例 1：基本实现完成之后，训练效果并未跟上。...并行运行多个解决方案会有帮助，如果（a）你有计算机集群的云计算资源；（b）由于上述的强化学习中的各种困难，如果你迭代得太快，可能永远无法意识到你真正需要的证据。...如果在相同机器上运行多个 TensorFlow 实例，那么就会得到 GPU 内存不足的报错。这可能是因为其中一个实例尝试保存所有的 GPU 内存，而不是因为模型过大的原因。...该资源对深度强化学习介绍不多，但却教授了理解论文时需要的词汇。

1.2K6 0

最前沿：大规模深度强化学习的发展

想想OpenAI和微软打造的世界排名第五的超算最主要就是用在深度强化学习上，所以这个时代没有大规模的算力基本上不用搞深度强化学习了。为什么？...在今天这篇Blog中，我们主要来梳理一下近几年大规模深度强化学习框架的发展情况。 2 大规模深度强化学习要解决什么问题？...大规模深度强化学习要充分的利用大规模的cpu-gpu 计算资源来实现神经网络模型的高效训练。在思考大规模深度强化学习之前，我们先看一下大规模的监督学习要怎么做？...当然，这里也要注意的是OpenAI把forward也放在GPU上处理的，而不是纯放在CPU上。对于网络巨大的model，放在GPU上forward会更快。...9 一点小结从上面的发展来看，大规模深度强化学习的框架基本上是固定了，基于OpenAI Dota 2或SEED RL可以取得目前最佳的CPU-GPU使用效率。

1.5K2 0

您找到你想要的搜索结果了吗？

是的

没有找到

性能提升、成本降低，这是分布式强化学习算法最新研究进展

，该团队主要研究方向包括深度强化学习、多智能体学习、自然语言基础、大规模学习系统。...SEED-style 架构（图 1 下）主要假定有独立的 TPU 内核可用于训练和策略推理。然而，在使用 GPU 而不是多核 TPU 的情况下，要同时处理推理和训练会很吃力。...第一个实例描述了这样一种情况：环境返回的奖励必须使用预先训练好的（大型）神经网络模型来计算，而不是程序本身。通过 SRL，用户可以创建一个额外的哨兵 agent 来计算奖励。...当 GPU 内存足够大以容纳整个重放缓冲区时（通常是在观测结果不是图像的情况下），会直接在 GPU 上分配重放缓冲区，以避免 CPU-GPU 数据传输瓶颈。 P-learner。...本文实验中使用 NVIDIA GeForce RTX 3090 GPU 作为默认 GPU。要回答的第一个也是最重要的问题是，PQL 是否比 SOTA 基线方法学习速度更快。

8451 0

业界 | 在个人电脑上快速训练Atari深度学习模型：Uber开源「深度神经进化」加速版

在 Uber 的设置中，使用单个 CPU 运行单个神经网络的速度比使用单个 GPU 要快，但是当并行执行类似计算时（如神经网络的前向传播），GPU 的效果更好。...它专为强化学习领域中异质神经网络计算而开发，这些计算中的 episode 长度不同，正如在 Atari 和很多其他仿真机器人学习任务中那样。...该操作使 GPU 仅运行必须运行的神经网络，而不是每次迭代中都运行固定数量（大量）的神经网络。这些改进使得 GPU 在成本方面优于 CPU。...在强化学习中优化异质网络集群的调度。蓝色框是模拟器，如 Atari 游戏模拟器或 MuJoCo 物理引擎，它们的 episode 长度不同。...多线程方法（中）通过使多个 CPU 并行运行模拟器实现 GPU 的更高效使用，但是这导致 GPU 在 CPU 运行时处于空闲状态，反之亦然。

9408 0

强化学习｜训练框架verl介绍

强化学习训练过程涉及模型多，数据流转复杂，经典的“串行”训练框架，存在资源闲置，训练效率低的情况。...本节围绕verl主要介绍： 1）传统强化学习训练框架的资源瓶颈问题。 2）verl如何通过混合范式实现“分时复用”的调度性训练。 3）介绍verl基础架构以及训练流程。...因为是对已知序列的推理，而不是预测未知 token，在这个过程中，比如 Reference 模型会为序列中的每一个位置计算一个logits概率分布。...核心思想：复用资源，而不是拆分资源。即 Hybrid Engine 不再把GPU分成 ”生成组“ 和 ”训练组”，而是让同一组GPU 既干生成，也干训练。...verl 的两个阶段是基于GPU工作模式（推理 vs 训练）的物理切换，而不是基于逻辑任务的划分。

1.1K1 1

基于腾讯云TKE的大规模强化学习实践

一、项目挑战大规模的强化学习需要海量的异构计算资源，批量快速启停训练任务，高频更新模型参数，跨机跨进程共享模型数据等。在传统的手工管理模式下，大规模的强化学习面临诸多问题： 1....该解决方案通过 TKE 整合云上 CVM 资源，提供强化学习需要的 CPU 和 GPU 资源；通过 CLB 创建 LoadBalance 类型 Service，暴露训练代码的 tensorboard 和评测代码的...该策略避免了因资源预估不准而买入过多资源造成资源浪费。...五、创新性基于 K8S 云原生的使用方式进行大规模分布式强化学习的训练，主要创新点：以资源需求为中心（也即，每个角色需要多少 CPU，多少内存，多少 GPU 卡），管理和调度一次实验所需的集群机器，...七、遇到的问题由于训练集群规模较大，使用过程中也遇到以下一些问题。 1. etcd 性能瓶颈由于训练需要多达数万个 CPU 核心和数百个 GPU 卡，折合几千台服务器。

1.6K2 1

别再用人拍脑袋调度了：用强化学习“驯服”Kubernetes 批处理与副本策略

别再用人拍脑袋调度了：用强化学习“驯服”Kubernetes批处理与副本策略兄弟们，你我身处运维圈这么些年，谁没经历过生产集群的经典名场面：晚上10点某批处理突然抢资源，全集群CPU拉满在线业务副本数凭经验乱加...今天咱聊点硬核又接地气的：用强化学习（RL）优化Kubernetes/Batch作业的调度和副本策略。你可能第一反应：啊这是不是研究生论文？...RL可以做——延迟一点冷任务，把资源让给高收益任务在低谷时塞满批任务，让机器忙着赚钱在高峰时降低批任务，保证在线SLA一句话：收益最大化，而不是公平最大化。问题二：副本数怎么动态调？...GPU利用率从45%→78%峰时SLA提升30%节省训练成本20%比调参、抢资源、吵架科学多了。六、强化学习＋副本策略=省钱机器很多老板痛点都是一句话：“能不能少开机器？”...❤️八、我想说的温度做运维这些年，我最大的体会：集群越来越复杂，人脑不够用了决策越来越频繁，经验不够用资源越来越贵，浪费伤企业强化学习不是潮玩，不是论文，是现实：让机器适应资源、适应业务、适应波动。

2871 0

集合三大类无模型强化学习算法，BAIR开源RL代码库rlpyt

在大量已有实现中，rlpyt 对于研究者而言是更加全面的开源资源。 rlpyt 的设计初衷是为深度强化学习领域中的中小规模研究提供高吞吐量代码库。...GPU 优化的选项；同步或异步采样-优化（异步模式通过 replay buffer 实现）；在环境采样中，使用 CPU 或 GPU 进行训练和/或分批动作选择；全面支持循环智能体；在训练过程中...在 rlpyt 中使用一台计算机复现 R2D2 的学习曲线。 R2D2 的最初分布式实现使用了 256 块 CPU 进行采样，一块 GPU 执行训练，每秒运行 66,000 步。...而 rlpyt 仅使用了一个包含 24 块 CPU（2x Intel Xeon Gold 6126）和 3 块 Titan-Xp GPU 的工作站，以每秒 16000 的步数完成实现。...当神经网络的不同层使用不同模式时，这非常有用，因为它允许中间基础架构代码保持不变。相关研究深度强化学习新手可以先阅读其他资源，了解强化学习算法，如 OpenAI Spinning Up。

1K1 0

强化学习新姿势，并行环境模拟器EnvPool实现速度成本双赢

机器之心专栏机器之心编辑部在训练强化学习智能体的时候，你是否为训练速度过慢而发愁？又是否对昂贵的大规模分布式系统加速望而却步？...来自 Sea AI Lab 团队的最新研究结果表明，其实鱼和熊掌可以兼得：对于强化学习标准环境 Atari 与 Mujoco，如果希望在短时间内完成训练，需要采用数百个 CPU 核心的大规模分布式解决方案...根据现有测试结果，使用 EnvPool 并行运行多个强化学习环境，能在正常笔记本上比主流的 Python Subprocess 解决方案快近 3 倍；使用多核 CPU 服务器能够达到更好的性能。...分布式方案经过测试，计算资源利用率其实并不高；基于 GPU 的解决方案虽然可以达到千万 FPS，但并不是所有环境都能使用 CUDA 重写，不能很好兼容生态以及不能复用一些受商业保护的代码。...项目作者 Jiayi Weng（翁家翌）是强化学习算法库 Tianshou（天授）的第一作者，目前的研究兴趣主要是对机器学习与强化学习系统进行加速。该项目是他在 Sea AI Lab 的实习项目。

1.4K2 0

腾讯高性能计算服务星辰.机智，海量算力，智造未来

利用tensorflow/pytorch框架训练的深度学习业务中，主要有两种训练流程：监督训练和强化训练，目前我们只支持监督训练场景。...CPU与GPU数据传输与计算异步：机智团队在GPU设置缓冲队列，通过GPU预取机制提前把处理好的数据块从队列中同步到GPU显存中，当做下一轮的模型计算时，GPU直接从显存读取数据而不需要等待从CPU传输...主要的一些优化成果如下： 1）解决游戏AI在强化学习中的GPU利用率低的问题，由45%提升到80%以上； 2）P40训练速度由 2000样本每秒，单精度训练提升到4330样本每秒，混合精度训练提升到5950...机智平台极大的加快了语音业务模型开发和调参速度。 ? ? 3.超参搜索 Mini task是为了快速验证基于强化学习的AI模型策略的可行性而开发的简化版任务场景。...4) 已经在更多基于强化学习的任务上进行落地实验，并正积极扩展到其他深度学习场景的超参调优中。

3.3K4 1

呵，我复现一篇深度强化学习论文容易吗

所以转变思路，花几天的时间思考，而不是开始任何运行，直到我对“问题是什么”的假设非常有信心为止。）要想更多地思考，坚持做更详细的工作日志是非常重要的一环。...我初始的项目计划中主要阶段的时间表基本如下： ? 这是每个阶段实际花费的时间不是写代码花费了很长时间，而是调试代码。实际上，在一个所谓的简单环境上运行起来花费了4倍最初预想的实现时间。...实际上，如果你在进行任意的奖励预测时，后者可能也是相关的，例如，使用一个critic）另一个是所需的计算资源总量。我很幸运可以使用学校的集群，虽然机器只有 CPU ，但对一些工作来说已经很好了。...这个项目总共花费了：谷歌计算引擎上150个小时GPU运行时间，和7700小时(实际时间x核数)的CPU运行时间， FloydHub上292小时的GPU运行时间，和我大学集群上 1500 小时的CPU...当不能使用GPU时，请注意使用 allow_soft_placement 切换到CPU。如果你偶尔写的代码无法在GPU上运行时，它可以平滑切换到CPU。例如： ?

1.1K3 0

深度强化学习库的设计思想带你深入了解DRL：从环境、网络更新、经验池、经验池、算法基类分离度、分布式、多进程等方面评价

DRL 算法并不是训练时间越长，得分越高，我们可以保存整个训练过程中，得分最高的策略模型。...这个过程天生适合分布式，不同 GPU（或设备）之间可以只传递梯度（中心或者环式），可以用多 CPU 加快数据读取：从磁盘中读取数据，存放到内存（可使用多进程加速，CPU workers）对数据进行预处理...agent 与环境交互，得到的零碎数据存放在内存中（一般是 CPU，或者再加上 GPU）将数据输入传入 GPU 的显存中 random sample，在 GPU 里计算梯度，更新网络参数对策略进行评估...如果它来不及评估这个模型，而主进程又发来一个新的模型，那么它会在上一次的评估结束后，直接读取最新的模型：主进程不需要等待它，有评估任务它就做，没有任务它就等，并且它只使用 CPU，绝不占用宝贵的 GPU...为了不让 GPU 闲着，我选择让 actor 在 GPU 中运行。 CPU 无法用半精度加速（甚至 float64 改成 float32 也不能加速，只能减少内存使用），而 GPU 可以加速。

2.6K2 3

这个团队做了OpenAI没Open的技术，开源OpenRLHF让对齐大模型超简单

但是，随着模型越来越大，RLHF 通常需要维持多个模型以及越来越复杂的学习流程，这又会导致内存和计算资源需求增长。...OpenRLHF 能将四个模型分配到多台 GPU 上，而不是将它们并置于同一台 GPU，如图 1 所示。...在 RLHF 的生成和学习阶段，OpenRLHF 采用了以下技术来获得进一步的提升：将 Adam 优化器状态卸载到 CPU，这能将 GPU 内存解放出来用于较大的推理批量大小，这能提升效率以及避免生成的内存瓶颈...置顶内存和梯度积累，用于降低梯度聚合过程中的 GPU-CPU 通信负载。使用 Flash Attention 2 来加速 Transformer 模型训练。...此外，OpenRLHF 还借助了一些技巧来保证 PPO 实现的训练稳定，包括：仅在序列的文本末端 token 上预测奖励为语言模型使用 token 层级的强化学习在 PPO 中使用 KL 散度损失项

1.2K1 0

GPU or CPU？在NLP与AI加持下的Elasticsearch搜索场景我们应该选择什么样的硬件

而目前，在Elasticsearch的使用场景中，可以使用GPU来加速的场景主要包括NLP模型的推理任务和向量搜索这两种。...是否能够灵活分配同一个管道中，不同任务所获得的资源、执行的优先级。会是一个非常重要的功能，而GPU的资源很难做到像CPU一样清晰的隔离和配置。...图片再者，在各种公有云和私有云环境中，CPU核心和内存资源更适合切割为合适的大小。而GPU的计算核心和显存则是不可切割的。...全文搜索主要是 I/O 密集型的任务，而不是计算密集型的任务，因此 CPU 的特性（如多核心、多线程）很适合这种任务。...因此，并不是所有的向量相似性搜索场景都适合使用GPU。而因为目前Elasticsearch主要支持的是HNSW这个向量索引算法，所以，我们会主要集中在这块探讨。

3.8K13 1

深度强化学习的加速方法

传统上，这两个系列出现在不同的实现中并使用不同的硬件资源，该篇paper作者将它们统一在相同的扩展框架下。作者贡献了并行化深度RL的框架，包括用于推理和训练的GPU加速的新技术。...除了探索这些新的学习方式之外，作者还利用它们来大大加快学习速度。例如，策略梯度算法在8-GPU服务器上运行，在10分钟内学会成功的游戏策略，而不是数小时。...另外，作者对演员评论方法的贡献在很多方面超越了目前的很多人做法，他们主要做了：“”改进抽样组织，使用多个GPU大大提高规模和速度，以及包含异步优化。...+ 2）策略梯度和Qlearning算法是否可以适应学习使用许多并行模拟器实例而不会降低学习成绩 + 3）大批量培训和/或异步方法能否加快优化速度而不会降低样品的复杂性？...后者使用1个GPU和376个CPU核心（参见例如图2中的10小时学习曲线）。使用多个GPU和更多内核加速了我们的实施。

2.2K1 1

谷歌推出分布式强化学习框架SEED，性能“完爆”IMPALA，可扩展数千台机器，还很便宜

但强化学习本质上是由异构任务组成的，即便是目前最先进的分布式算法也无法有效地使用已有的计算资源来完成任务。大量的数据，和对资源的低效利用，使得实验的成本高得令人望而却步。...IMPALA 架构在这个体系结构中，learner运行在GPU上，它会综合来自数百台机器上的分布式推理输入，进行模型训练。随后将学习的模型参数传递给actor。...但这种方式存在一些缺点： 1、使用CPU进行神经网络推理。Actor通常是基于CPU的（有时会基于GPU，但仅限于要求比较苛刻的环境）。...与 IMPALA架构不同，Actor 仅在环境中采取动作，而推理集中由Learner 使用来自多个Actor 的批量数据在加速器上执行。...2、在SEED RL的架构下，Learner（以GPU或TPU为主）可以专注于批量推理，而Actor（以CPU为主）可以更加适应多环境。整体来说，这种结构会降低实验成本。

1.3K2 0

为什么 CUDA 对深度学习至关重要？

与传统的 CPU 相比，GPU（图形处理单元）擅长处理大规模并行计算任务，而深度学习中的大部分计算任务正是这种高度并行化的任务，例如矩阵乘法、卷积操作等。...— 04 —CUDA 在深度学习应用中的表现通常而言，CUDA 在深度学习应用场景目前主要集中在如下几个核心方面，具体可参考： 1....强化学习和机器人控制中的应用在强化学习和机器人控制领域，深度学习模型需要实时处理环境反馈，并在复杂的多任务环境中进行决策。...例如，使用 CUDA 加速的深度 Q 网络（DQN），强化学习系统能够对数百个甚至数千个状态-动作对进行迭代加速，显著提高了 Q 值的更新速度，使智能体能够更快地学习到有效的策略。...综上所述，深度学习解决方案对计算资源的需求极为巨大，特别是在模型训练和推理过程中，往往涉及到大量的矩阵运算和并行计算。传统的 CPU 在处理这种计算密集型任务时，表现出较为明显的瓶颈。

1.1K1 0

深度| OpenAI 教你如何构建深度学习研究的基础设施

Dario Amodei的这种强化学习智能体（控制右边的球拍）在乒乓球比赛中获得较高得分，但是，当你观察它是如何打球时，会发现右边的球拍一直停留在原地没有移动。...Tim提出下列观点，即为鉴别器提供小批次的样本作为输入信息，而不是仅仅提供一个样本。这样一来，鉴别器能够分辨出生成器是否总是产出一种单一图像。...通常情况下，我们用TensorFlow（在特殊情况下，运用Theano）计算GPU；使用Numpy或其他框架计算CPU。...我们也将多数CPU用于模拟器，强化学习环境，或小规模模型（在CPU上的运行速度并不比在GPU上快）。...我们也运行自己的服务器，主要以运行Titan X GPU为主。我们期望研发出一种混合云：对于用不同的GPU，连接和其他技术开展实验极为重要，这将有助于未来深度学习研究工作的发展。

1.5K6 0

一块V100运行上千个智能体、数千个环境，这个「曲率引擎」框架实现RL百倍提速

实验结果表明，与 CPU+GPU 的 RL 实现相比，WarpDrive 靠一个 GPU 实现的 RL 要快几个数量级。深度强化学习是一种训练 AI 智能体的强大方法。...如果训练的智能体比较多，一个强化学习实验往往要花费数天或数周才能完成。主要原因在于：在在线训练中，强化学习需要反复运行模拟、训练智能体模型。此外，学习所需的重复次数会随着问题的复杂度呈指数级增长。...这在无模型设置中是最突出的，在这种设置中，强化学习智能体在训练时通常对当前的模拟或任务没有任何初始知识。...由于深度强化学习实现通常将基于 CPU 的模拟和 GPU 神经网络模型结合在一起，现实世界中的训练时间可能会非常长。...用 WarpDrive 加速强化学习 WarpDrive 提供了一个框架和一些高质量的工具，帮助用户快速构建快捷而灵活的多智能体强化学习系统。图 3 显示了 WarpDrive 的一个基本用例。

9091 0

4小时学会雅达利游戏，AI需要几台电脑？

要知道，此前用深度神经进化方法，让AI一小时学会玩雅达利，需要720个CPU。 720个CPU啊……谁来算算要多少钱…… ? 别费劲算了。反正就是贵到爆炸。想训练出自己的AI？不是壕根本不要想。...它专门针对强化学习中的异构神经网络强化学习运算，比如雅达利游戏和大多数机器人运动模拟任务，在这些任务中，各个神经网络的训练周期长度都不同。...有了这个自定义运算，GPU可以只调用必需的神经网络进行运算，而不必每一次任务都跑完所有的网络，这样能够大大节省计算量。再针对CPU 上述提到的所有改进，侧重点都在GPU上。...这类研究越来越常见，比如深度Q学习DQN，或策略梯度A3C的强化学习都是这样。分开优化后，整体再协调单拎GPU或CPU来看，速度上已经提升到极致了。...但下一个要面临的挑战是如何让所有的计算资源都同时开动起来。

8572 0

点击加载更多

想轻松复现深度强化学习论文？看这篇经验之谈

最前沿：大规模深度强化学习的发展

性能提升、成本降低，这是分布式强化学习算法最新研究进展

业界 | 在个人电脑上快速训练Atari深度学习模型：Uber开源「深度神经进化」加速版

强化学习｜训练框架verl介绍

基于腾讯云TKE的大规模强化学习实践

别再用人拍脑袋调度了：用强化学习“驯服”Kubernetes 批处理与副本策略

集合三大类无模型强化学习算法，BAIR开源RL代码库rlpyt

强化学习新姿势，并行环境模拟器EnvPool实现速度成本双赢

腾讯高性能计算服务星辰.机智，海量算力，智造未来

呵，我复现一篇深度强化学习论文容易吗

深度强化学习库的设计思想带你深入了解DRL：从环境、网络更新、经验池、经验池、算法基类分离度、分布式、多进程等方面评价

这个团队做了OpenAI没Open的技术，开源OpenRLHF让对齐大模型超简单

GPU or CPU？在NLP与AI加持下的Elasticsearch搜索场景我们应该选择什么样的硬件

深度强化学习的加速方法

谷歌推出分布式强化学习框架SEED，性能“完爆”IMPALA，可扩展数千台机器，还很便宜

为什么 CUDA 对深度学习至关重要？

深度| OpenAI 教你如何构建深度学习研究的基础设施

一块V100运行上千个智能体、数千个环境，这个「曲率引擎」框架实现RL百倍提速

4小时学会雅达利游戏，AI需要几台电脑？

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐