文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

CUDA CC++总结

IO密集型 基础 GPU加速系统,又被称异构系统(Heterogeneous),由CPU和GPU组成 如果熟悉C编程,可以很快上手CUDA编程,两者在代码形式上有很多类似地方,一个比较重要概念是GPU的...blockDim.x* 一般一个thread一次处理一个数据 注意数据与threads个数很多时候都不是一一对应的,所以要特别注意索引越界问题;一般方式是将数组长度N传入kernel,算出thread...索引,与N比较 block中的threads个数为32的倍数时最优化 当多个block的threads总数依然无法覆盖待处理数据长度时,在kernel中用loop来重复利用threads处理后续数据;如数据有...第三个参数是每个block允许使用的shared memory的bytes,默认为0 profile driven and iterative 配置文件驱动和迭代 当确定数据只在device使用,最好只分配...execution 只要CPU内存是锁页内存,就可以使用cudaMemcpyAsync()来进行异步拷贝,另一个条件就是使用非默认流 默认情况下GPU函数执行时对CPU函数是异步的,而异步拷贝,不仅对

53910

Kubelet从人门到放弃：拓扑管理（上）

这可能导致在多处理系统上出现与期望不符的资源分配，由于这些与期望不一致的分配，对性能或延迟敏感的应用将受到影响，例如， CPU 和设备是从不同的 NUMA 节点分配的，因此会导致额外的延迟。...注意拓扑管理不是单独起作用的，它和CPU manager、memory manager、Device manager共同为Pod分配资源，优化资源访问。...如果亲和性不是首选，则拓扑管理器将存储该亲和性，并且无论如何都将 Pod 接纳到该节点，之后Hint Provider在进行资源分配决策时使用该信息。...Pod调度失败，Kubernetes 调度器不会尝试重新调度该 Pod，建议使用 ReplicaSet 或者 Deployment部署 Pod。...被拓扑管理器拒绝，它的状态将为Terminated，并带有一个Pod准入错误和“TopologyAffinityError的原因说明。

1.2K12
您找到你想要的搜索结果了吗？
是的
没有找到

全面解读PyTorch内部机制

（每个张量都记录一个偏移量，但大多数时候它为零，出现这种情况时我会在我的图表中省略它。） 演讲时的提问：如果我取张量的一个域段，我该如何释放底层张量的内存？...在最抽象的层面上，当你调用 torch.mm 时，会发生两次调度： 第一次调度基于设备类型和张量布局：比如是 CPU 张量还是 张量，是有步幅的张量还是稀疏的张量。...首先，有三个独立地确定张量类型的配套参数： device（设备）：描述了实际存储张量的物理内存，比如在 CPU、英伟达 GPU（cuda）、AMD GPU（hip）或 TPU（xla）上。...如果不是，该函数就基于 TensorArg 元数据提供一个用户友好的错误消息。...（一个值得一提的问题：TensorAccessor 默认是 64 位索引，这比 CUDA 中的 32 位索引要慢得多！）

1.4K30

万字综述，核心开发者全面解读PyTorch内部机制

（每个张量都记录一个偏移量，但大多数时候它为零，出现这种情况时我会在我的图表中省略它。） 演讲时的提问：如果我取张量的一个域段，我该如何释放底层张量的内存？...首先，有三个独立地确定张量类型的配套参数： device（设备）：描述了实际存储张量的物理内存，比如在 CPU、英伟达 GPU（cuda）、AMD GPU（hip）或 TPU（xla）上。...（这里幻灯片中有个错误：我应该讲解变量调度代码。我这里还没有修复。某些神奇的事发生了，于是……） ? 当我们在 Tensor 类上调用 add 方法时，还没有虚调度发生。...如果不是，该函数就基于 TensorArg 元数据提供一个用户友好的错误消息。 ?...（一个值得一提的问题：TensorAccessor 默认是 64 位索引，这比 CUDA 中的 32 位索引要慢得多！）

1.5K30

作业帮 Kubernetes 原生调度器优化实践

部分服务 CPU 使用量一般但是日志输出量很大，而日志并不属于默认调度器决策的一环，所以当这些日志量很大的多个服务 pod 在同一个节点上时，该机器上的日志上报就有可能出现部分延迟。...问题 3：大批量服务扩缩带来的调度时延 随着业务复杂度进一步上升，在高峰时段出现，会有大量定时任务和集中大量弹性扩缩，大批量（上千 POD）同时调度导致调度时延上涨，这两者对调度时间比较敏感，尤其对于定时任务来说...如此一来，当集群规模大到一定程度时，大批量更新就会出现可感知的 pod 调度延迟。...以下为对比图： 原生调度器在晚高峰下节点 CPU 使用率 优化后调度器在晚高峰下节点 CPU 使用率 3 总结 Work 节点资源、GPU 资源、Serverless 资源是我们集群异构资源的三类资源域...在调度失败时，挤走某个节点上的部分低优先级 Pod 以保证高优先级 Pod 的正常运行，迄今为止我们并没有使用调度器的抢占能力，即使我们通过以上多种策略来加强调度的准确性，但依然无法避免部分场景下由于业务带来的不均衡情况

73830

作业帮k8s原生调度器优化实践

部分服务 CPU 使用量一般但是日志输出量很大，而日志并不属于默认调度器决策的一环，所以当这些日志量很大的多个服务 pod 在同一个节点上时，该机器上的日志上报就有可能出现部分延迟。...3.3 问题3: 大批量服务扩缩带来的调度时延 随着业务复杂度进一步上升，在高峰时段出现，会有大量定时任务和集中大量弹性扩缩，大批量（上千 POD）同时调度导致调度时延上涨，这两者对调度时间比较敏感...如此一来，当集群规模大到一定程度时，大批量更新就会出现可感知的 pod 调度延迟。...非高峰期间离线训练扩容、在线推理缩容；同时处理一些离线图片任务来复用 GPU 机器上比较空闲的 CPU 等资源; Job 调度器负责管理定时任务调度，定时任务量大且创建销毁频繁，资源使用非常碎片化，而且对时效性要求更高...在调度失败时，挤走某个节点上的部分低优先级 Pod 以保证高优先级 Pod 的正常运行，迄今为止我们并没有使用调度器的抢占能力，即使我们通过以上多种策略来加强调度的准确性，但依然无法避免部分场景下由于业务带来的不均衡情况

35211

OpenAI: Kubernetes集群近万节点的生产实践

允许GPU使用NVLink进行交叉通信，或者GPU使用GPUDirect与NIC通信。因此，对于我们的许多工作负载，单个pod占据了整个节点，因此调度不涉及任何NUMA，CPU或PCIE资源抢占。...它们监视基本的系统资源，例如网络可达性，磁盘损坏或磁盘已满或GPU错误等。GPU会出现多种不同的问题，但一个比较常见的错误是无法纠正的ECC错误。...Nvidia的数据中心GPU管理器（DCGM）工具使查询此错误和许多其他Xid错误变得容易了许多。...CPU & GPU balloons 除了使用cluster-autoscaler动态扩展虚拟机集群外，我们还使用它来管理（删除和重新添加）集群中不正常的节点。...因此，我们为CPU和GPU主机引入了balloons Deployment。该Deployment包含一个具有最大值数量的低优先级容器配置。

92020

Kubenetes NUMA拓扑感知功能介绍

在引入 TopologyManager 之前，CPU 和设备管理器会做出相互独立的资源分配决策。这可能会导致 Multi-Socket 系统上出现不希望的分配，降低延迟敏感应用的性能。...best-effort：使用此策略，TopologyManager 将尝试尽可能地对齐 NUMA 节点上的分配，但即使某些分配的资源未在同一 NUMA 节点上对齐，也会始终允许 pod 启动。...注意： 如果 Pod 被 TopologyManager 策略之一拒绝，它将被置于 Terminated 状态，并出现 Pod 准入错误和 TopologyAffinityError 的原因。...一旦 pod 处于此状态，Kubernetes 调度程序将不会尝试重新调度它。 因此，建议使用带 replicas 的 deployment 来应对在遇到此类故障时触发 pod 的重新部署。...这个想法是，当可以满足最小对齐时，最好让 pod 准入失败并重试部署，而不是允许以次优对齐来调度 pod。

1K01

TKE 用户故事 | 作业帮 Kubernetes 原生调度器优化实践

调度器的目标则是快速准确地实现这一能力，但快速和准确这两个目标在资源有限的场景下会往往产生产生矛盾，需要在二者间权衡。...部分服务 CPU 使用量一般但是日志输出量很大；而日志并不属于默认调度器决策的一环，所以当这些日志量很大的服务多个服务的 pod 在同一个节点上的时候，该机器上的日志上报就有可能出现部分延迟。...问题3：大批量服务扩缩带来的调度时延 随着业务的复杂度进一步上升，在高峰时段出现，会有大量定时任务和集中大量弹性扩缩，大批量（上千 POD）同时调度导致调度时延的上涨，这两者对调度时间比较敏感，尤其对于定时任务来说...以下对比图： 原生调度器在晚高峰下节点 CPU 使用率 优化后调度器在晚高峰下节点 CPU 使用率 总结 work 节点资源、GPU 资源、serverless 资源这就是我们集群异构资源分属于这三类资源域...GPU 机器上比较空闲的 CPU 等资源。

37130

将 Kubernetes 扩展至7500个节点

NUMA、CPU 或 PCIE 资源竞争都不是我们调度的因素。 Bin-packing 碎片化对我们而言并也不是一个常见的问题。...它们监控基本的系统资源，例如网络可达性、磁盘损坏或磁盘容量、GPU 错误等。GPU 表现出的问题有很多不同的方式，但一个常见的问题是 Uncorrectable ECC error....主动 GPU 测试 不幸的是，并非所有的 GPU 问题都可以通过 DCGM 获知对应的错误代码，我们已经建立了自己的测试库，这些测试使用 GPU 来捕获额外的问题，并确保硬件和驱动程序按预期运行，这些测试不能在后台运行...CPU 和 GPU balloons 除了使用 cluster-autoscaler 动态扩展我们的虚拟机支持的集群之外，我们还使用它来修复（删除和重新添加）集群中不健康的成员，为此，我们将集群的最小大小设置为零...因此，我们为我们的 CPU 和 GPU 主机引入了一个 balloon 式部署。

68830

YARN—容量调度器

除了基本功能之外，还将复审一些在设计或使用队列时经常遇到的问题。 容量和分层设计 YARN 为其调度的资源定义了最小分配和最大分配：今天的内存和/或CPU核心。...容量调度器的特性和行为 CPU调度（DRF（Dominant Resource Fairness）） 默认情况下不启用 CPU 调度，CPU调度允许在不考虑强制使用或首选分配的情况下超额订阅内核。...CPU调度有两个主要部分 分配和放置 执行 只需启用 CPU 调度即可解决分配和放置问题，以便调度器开始使用DRF算法和 VCores 节点管理器的报告。...当涉及到在队列方面的用户之间共享资源时，例如最小用户百分比和用户限制因子，都查看用户名本身；如果您为多个用户使用服务帐户来运行作业，这显然会导致一些冲突的问题，因为只有 1 个用户将出现在容量调度器中。...如果您希望将用户自动路由到标签，请创建一个自动使用 GPU 标签的 GPU 队列，这是可能的。 队列名称 队列叶名称对于容量调度器必须是唯一的。

1.5K20

K8s降本增效之Descheduler篇

虽然调度器可以依托实时资源使用情况，以调度pod，降低集群管理的成本，提高集群的利用率，但集群资源使用的情况是动态变化的，随时会出现不均衡状态，比如某些节点过热，某些节点负载过点的情况，为了能够调节负载的均衡性...如果一个节点的使用率低于所有（cpu、内存、pod数量和扩展资源）的阈值，该节点就被认定为未充分利用的节点。当前，计算节点资源利用率时只考虑了pods的请求资源（request）。...如果一个节点的使用率低于所有（cpu、内存、pod数量和扩展资源）的阈值，该节点就被认为是未充分利用的。目前，计算节点资源利用率时考虑了pods请求资源的要求。...节点亲和力规则允许pod指定requiredDuringSchedulingIgnoredDuringExecution类型，它告诉调度器在调度pod时要满足节点亲和力，但节点可能随时间变化而不再满足亲和力时...其功能在于驱逐而非调度，因资源相关视图与调度器存在差异，可能存在频繁调度驱逐节点 由于笔者时间、视野、认知有限，本文难免出现错误、疏漏等问题，期待各位读者朋友、业界专家指正交流。

97221

GPU虚拟化，算力隔离，和qGPU

关于 GPU 虚拟化的历史性介绍，我将直接摘抄当时的讨论。 这也不是一篇介绍 TKE qGPU 产品特性的文章。而是，我们将潜入到前所未有的深度，去探索 GPU 调度和 QoS 的本质。...本文也不是巨细靡遗的系统性探索，但你可以在这里看到别处不曾出现过的知识。 本文涉及对一些厂商的推测性技术介绍，不保证准确性。...一般认为 graphics stack 是 OS 中最复杂的，加上虚拟化之后复杂度更是暴增，任何地方出现一个编程错误，调试起来都是无比痛苦。...但只要稳定下来，这种 MPT 方案，就能兼顾 1:N 灵活性、高性能、渲染计算媒体的功能完整性...是不是很完美？ 其实也不是。...3.2 vCUDA 和友商 cGPU 为了让多个容器可以共享同一个 GPU，为了限定每个容器能使用的 GPU 份额，业界出现了不同的方案，典型的如 vCUDA 和 cGPU： vCUDA 架构： ?

12.7K137

基于腾讯云TKE的大规模强化学习实践

当某个 Actor 中的《星际争霸II》 game core 出现无法恢复的底层错误（原因未知，也许是 game core 的缺陷），所在进程会挂掉，但相应的pod会被自动重启，不影响数据的继续生产；当观察到生产速度不够...简化编程模型 弹性使用资源，自动伸缩集群中的机器，按需、按时计费，压缩研发成本 部分进程的容错性（出现不可恢复错误时自动重启）和横向扩容 依托腾讯云，使用附加产品避免重复造轮子，如日志服务，监控仪表，网盘...当集群中出现由于资源不足而无法调度的 Pod 时自动触发扩容，从而减少人力成本。当满足节点空闲等缩容条件时自动触发缩容，为您节约资源成本。 ? ? 5....动态调度，提升资源利用率 支持最基本的资源调度，如 CPU、内存、GPU资源等。 声明训练任务所需要的资源后，K8S 的调度器负责自动调度，通过预选和优选二级调度算法选择合适的节点运行训练任务。...比如，给节点打上GPU、CPU、网络等不同类型的标签，可以实现 ModelPool 和 Manager 调度到网络型节点，Actor 部署到 CPU 节点，Learner 部署到 GPU 节点。

1.1K21

EX Kernel Manager Pro【EX内核管家】，优化你的手机，延长使用寿命！

EX Kernel Manager「EX内核管家」功能： 信息面板：应用程序内主页，仪表板总结当前设置和显示实时CPU和GPU的频率，温度，存储器使用率，正常运行时间，深度睡眠，电池水平和温度，调速器，...CPU时间：显示CPU频率使用和深睡眠，以及任选地排序最常用的频率。...userspace「用户隔离」： 严格来说它并不是一个模式，是允许非内核进程控制cpu频率的设置，现在已经不需要它了，setcpu官方的建议是，“不要使用此选项”。...但日常使用性能不高。简单的描述就是不紧不慢型，无论负载变化快慢与否，CPU都按一定的停顿时间逐级升高或降低频率。...intellidemand「智能按需调节模式」： 这个模式有点意思，可根据GPU使用情况来针对性调节cpu频率，GPU负载高时，比如运行游戏和测试的时候，cpu频率会迅速升至最高，这时的调节模式类似于ondemand

3.1K30

揭秘 ChatGPT 背后的技术栈：OpenAI 如何将 Kubernetes 扩展到了 7500 个节点

任何 NUMA、CPU 或 PCIE 资源争用都不是调度的因素。装箱或碎片化不是常见的问题。我们目前的集群具有完全的二分带宽，因此我们也不考虑机架或网络拓扑。...Pod 使用 SSH 直接通过 Pod IP 地址与 MPI 进行通信，而不是通过服务端点。服务“发现”是有限的；我们只在作业启动时进行一次查找，查找哪些 Pod 参与 MPI。...这些检查监视基本的系统资源，例如网络可达性、坏盘或满盘，或者 GPU 错误。GPU 以许多不同的方式出现问题，但一个容易出现的常见问题是“不可纠正的 ECC 错误”。...这将出现为 DCGM_FI_DEV_XID_ERRORS 指标，并设置为最近发生的错误代码。此外，NVML 设备查询 API 公开了有关 GPU 的健康和操作的更详细信息。...CPU 和 GPU  balloons 除了使用集群自动缩放器动态扩展我们基于虚拟机的集群之外，我们还使用它来纠正（删除和重新添加）集群中的不健康成员。

84740

vivo AI 计算平台的K8s填坑指南

疑难杂症一：kmem accounting 问题 平台的 GPU 机器在运行算法训练的时候，经常会出现机器 Crash 重启或者卡死的现象。CPU 机器也会偶现此问题。...因此 CPU Manager 调用 docker API 更新容器 cpuset-cpus 参数时，GPU 设备的挂载会失效，导致了上述的问题。...当子进程出现异常时，父进程没正确处理和回收，导致子进程变成僵尸进程。如下面的情况： root 111457 1 0 Jul03 ?...，最终确定该错误只会影响使用了 host-local 模式来分配容器 IP 的集群。...超过了 256 个后，新的节点划分不到子网，就会出现这个错误。使用 host local 模式的集群，调度到新节点的容器因为分配不到 IP，状态会一直处于 ContainerCreating。

1.3K10

K8s集群稳定性提升手段

这样更利于容器的健康运行、资源的充分使用。但实际上用户经常忘记设置容器对资源的 Request 和 Limit。...作为管理员，如果可以为不同的业务设置不同资源使用默认值以及范围，可以有效减少业务创建时的工作量同时，限制业务对资源的过度侵占。...计算资源：对所有容器设置 CPU 和内存使用量的范围 存储资源：对所有 PVC 能申请的存储空间的范围 比例设置：控制一种资源 Request 和 Limit 之间比例 默认值：对所有容器设置默认的 Request...1.2.4.1 节点亲和性 说明 倘若你的某个业务是 CPU 密集型，不小心被 Kubernetes 的调度器调度到内存密集型的节点上，导致内存密集型的 CPU 被占满，但内存几乎没怎么用，会造成较大的资源浪费...如果你能为节点设置一个标记，表明这是一个 CPU 密集型的节点，然后在创建业务负载时也设置一个标记，表明这个负载是一个 CPU 密集型的负载，Kubernetes 的调度器会将这个负载调度到 CPU 密集型的节点上

65130

kube-scheduler深度学习批处理任务定制化开发

这样就会有一个问题 一个任务要起100个pod，每个pod需要一张卡，总共需要100张GPU卡，而集群中只有99张空闲的GPU卡，这样默认的k8s调度器会如何处理？...因为默认调度器是一个一个pod调度的，只会检查单个pod资源够不够，这样前99个都能成功，最后一个pod调度失败。...这样非常有可能造成 任务跑不了 前99个占着GPU不释放，新的任务无法调度 严重时整个集群死锁，都“占着茅坑不拉屎” 所以需要在调度时对整个task所需所有资源进行检查，当集群总体资源不够时，一个pod...社区提供了一个能支持这种特性的调度器 但是这个调度器是没办法和原生调度器很好的配合工作的 最大的问题在于两个调度器都有cache，这样cache的内容会冲突，导致调度混乱 这个调度器没法和原生调度器同时起作用...", pod.GetName()) return false } return true } 关于GPU的使用与发现 资源包 这里包含docker nv-docker GPU-device

64520

集群 CPU 利用率均值达 45% ，揭秘小红书规模化混部技术实践

通过合池、资源超卖等技术手段，我们有效提升了 CPU 分配率，但依旧无法解决合并后的资源池夜间利用率较低等问题。另外，在合池后的复杂混部场景下，整机腾挪、分时混部离线的调度策略很难再继续实施。...GPU 等异构资源调度需求 支持 GPU 共享调度、bin packing等调度能力，以提升 GPU 利用率及 GPU 机器上的 CPU 利用率。...CPU Burst enable enable disable 调度优先级 最高 默认 低 绑核 share（默认） share（默认） reclaimed NUMA 强保证 prefer（默认...资源并非百分之百能够满足需求 场景：适用于 Batch 类离线服务，部分对延迟无要求的计算服务 2.2.3 离线驱逐 在极端场景下，如整机内存使用率较高、有触发 OOM 风险，或者离线业务 CPU 长期得不到满足时...当节点已分配的离线服务资源量长期超过节点可用离线资源，且离线使用率持续较高时，存在离线服务无法获得资源而被饿死的风险。单机侧会根据离线服务的优先级、资源占用量和运行时长等因素综合算分，并按序驱逐。

48310
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券