首页
学习
活动
专区
圈层
工具
发布
首页标签分布式

#分布式

分布式系统(distributed system)是建立在网络之上的软件系统。由于软件的特性,分布式系统具有高度的内聚性和透明性。

强化学习训练上云:分布式 GPU 集群的容器化实践

hollyx

摘要: 本文以腾讯云容器服务 TKE 为平台,从 RDMA 高性能网络配置、LeaderWorkerSet 多机部署到 CFS Turbo Checkpoint...

2200

国产化替代进入深水区:核心系统数据库替换的四个决策关卡

数据库小学妹

国产化替代,是通过自主创新实现技术和产品的自主可控,用国产软硬件体系替代被国外垄断的基础设施。芯片、操作系统、中间件、数据库这条链路,都要从"能用别人的"变成"...

3210

RDMA 高性能网络在 AI 训练中的应用:TKE 如何保障分布式训练效率

hollyx

RDMA 远程直接内存访问技术通过绕过 CPU 内核实现节点间高速数据传输,显著降低大规模 AI 分布式训练的通信延迟。腾讯云容器服务 TKE 提供统一 GID...

13210

微服务架构下的分布式日志追踪:从采集到根因定位

克劳德2048

摘要: 微服务架构中,一次用户请求可能跨越数十个服务节点,故障定位难度成倍增加。本文介绍如何通过 Trace ID 实现分布式日志关联追踪,结合 CLS 的检索...

12010

国产数据库选型实战:集中式/分布式/云原生路线对比与四步决策框架

数据库小学妹

前段时间公司要做国产数据库选型,领导让我负责一个政务系统的信创替换项目,从三四十款国产数据库里挑一个。翻遍了厂商官网,参数一个比一个好看,承诺一个比一个响亮,每...

19210

OceanBase三节点集群纯命令部署

用户8568070

官方推荐通过 OCP 部署 OceanBase 集群,或者使用 obd 来部署(类似于 tidb 的 tiup),由于 ocp 需要通过 OAT 或 obd ...

12810

深入内存优化:如何防止分布式爬虫在长时运行中导致的内存暴涨?

jackcode

重启,跑了一个小时,又炸了。看 Grafana 曲线,内存像楼梯一样一格格往上走,中间偶尔 GC 回落一点,但总体趋势是不回头地涨。我盯着那条曲线看了十分钟,心...

8710

集中式数据库选型避坑指南:缓冲池瓶颈排查、分布式事务代价与三年TCO对比

数据库小学妹

上周有个朋友找到我,说公司要上新系统,CTO拍板用分布式数据库,理由是"集中式太老了,迟早被淘汰"。我问他日均多少笔交易、数据量多大、需不需要跨地域部署,他愣了...

13410

壁仞科技首次推出NPO光互连、分布式解耦架构、最大1024卡超节点方案

芯智讯

7月17日-20日,2026世界人工智能大会(WAIC)正式在上海拉开帷幕,壁仞科技正式推出下一代NPO光互连、分布式解耦架构超节点方案,支持单个超节点1024...

44010

Python定时任务5种方法,从入门到精通

用户11081884

其实Python提供了5种处理定时任务的方法,从最基础到最专业,从简单脚本到分布式系统,总有一款适合你。

15610

Python 5个处理定时任务的方法,高效实用

用户11081884

Celery是一个强大的分布式任务队列系统,特别适合处理复杂的定时任务和异步任务。它支持多种消息代理(如Redis、RabbitMQ),能够实现任务的分布式执行...

13410

集群与分布式架构差异分析:主从延迟、分片策略与共享存储实战

数据库小学妹

搜了一圈,网上的答案要么是两个名词的定义解释,要么是厨师配菜师的类比。道理都讲得通,但很少有人写过——把这两个概念搞混之后,实际要付出什么代价。

13410

PyTorch 核心机制参考 · Autograd

用户7511514

梯度累积对象:“在反向传播 (.backward()) 期间,只有requires_grad=True的叶张量 (leaf tensors)的梯度才会被累积到其...

10810

数据库国产化替换实战:架构选型、Oracle兼容与信创合规评估

数据库小学妹

前不久帮团队做数据库替换方案,我花了整整一周时间,把市面上二三十款国产数据库产品翻了个底朝天。选型最痛苦的不是没有好产品,而是选择太多,又怕选错。

19200

分布式数据库落地实战:架构选型、迁移改造与性能调优

数据库小学妹

上个月,一个做供应链的朋友找我诉苦。他们公司两年前上了分布式数据库,现在反而天天加班。我问为什么,他说了一句让我印象很深的话:原理都懂,跑起来完全是另一回事。

18510

WholeGraph分布式图存储

用户10637292

WholeGraph 帮助训练大规模的图神经网络(GNN)。 WholeGraph 提供了一种称为 WholeMemory 的底层存储结构。 W...

9210

系统架构设计师必考:CAP定理与分布式一致性原理全解析

程序员古德

CAP定理又称布鲁尔定理,由加州大学伯克利分校的计算机科学家埃里克布鲁尔于二零零零年在分布式计算原理研讨会上首次提出。当时布鲁尔并没有给出严格的数学证明,而是以...

14210
领券