文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    盘点大数据的十大发展方向，Scale-out将成主流

    除了在分析领域、云技术方面的应用前景，Scale-out发展将成为大数据未来方向的主流。 以下为原文： 1、大数据分析领域快速发展 大数据无疑是目前IT领域的最受关注的热词之一。...4、大数据推动向Scale-out发展 方向五：大数据推动基础架构向Scale-out发展 基础架构是大数据首先面临的挑战，如何让基础架构能够存取更多的数据呢?传统的基础架构能否满足用户需求呢?...Scale-out 随着大数据量的逐渐增大，可以通过分布式的处理方式把应用复杂分散到分布式系统的各个节点上，而传统的数据处理将是运算能力非常强、CPU主频非常高的一台机器来处理，而不是大数据这种多个节点...、多个CPU核数来处理，这代表了大数据时代发展方向从Scale-up转向Scale-out。...传统模式受到业务不断变化需求的挑战，使得存储通过Scale-out与云计算相结合更容易满足用户业务不断增长的需求。——王迪

    1.2K50

    什么是横向扩展和纵向扩展？

    什么是纵向扩展与横向扩展 横向扩展(「Scale-out」)或水平缩放与纵向扩展(「Scale-up」)或垂直缩放形成对比。 扩展云资源的想法可能很直观。...鱼缸启示 其实我认为Scale-out和Scale-up的概念可以用一个简单的例子来解释。 不知您有没有养过鱼?...而Scale-out架构解决了这个矛盾。用户按需采购存储，一旦容量不够了，再购置一台接到原有存储上就可以了。 举个例子 常见的存储设备扩展案例，下图展示了scale-out存储方案的架构。...Scale-up和scale-out并非不能融合在一起，很多存储系统就可以同时实现纵向扩展和横向扩展,下面的示意图就展示了这种方案。...而Scale-out架构通常有聚合管理的能力，但每个厂商提供的产品可能会有所不同 复杂性 Scale-up架构的存储相对简单，而scale-out架构的系统会更复杂一些，毕竟每个节点都需要管理 可用性

    5.7K30

    高并发系统通用设计方法是什么？

    Scale-out(横向扩展)：分而治之的思想，在算法中也常见，这是一种常见的高并发系统设计思路，采用分布式部署方案，将流量分开，让每个服务器都承担一定流量。...横向扩展，纵向扩展 Scale-up vs Scale-out Scale-up （纵向扩展） Scale-out(横向扩展)。举个例子，摩尔定律，摩尔定律是指每18个月 CPU 的性能要翻一倍。...这种不断追逐摩尔定律，不断提升 CPU 的方案，就叫做 Scale-up(纵向扩展)，把类似CPU 多核心的方案叫做 Scale-out（横向扩展）。...Scale-up: 通过构面更好的硬件来提升系统的并发处理能力，比如从硬件 4核 4G 每秒处理 200 次请求， 那么如果要处理 400 次请求呢，例如可以把硬件升级到 8核 8G Scale-out...scale-out 虽然突破了单机的限制，但是会出现分布式系统的问题，就是分布式系统中的 CAP 理论，如何保证多个节点的数据一致性？如何保证系统的可用性？如何无感知的增加或者删除节点？

    96610

    Headroom in optics means headroom for innovation：Nvidia关于CPO技术从scale-out到scale-up的路线演进分析

    Scale-out横向扩展网络：跨机架、跨数据中心的多集群互联，是当前CPO技术的核心落地场景，也是行业主流方案的聚焦方向。...突破场景边界：当互连功耗降至1pJ/bit以下时，光互连将具备对铜缆的性价比优势，可从Scale-out场景渗透至Scale-up场景，替代当前机架内GPU互联的铜缆方案，实现数据中心全场景光互连的覆盖...当光链路功耗降至亚pJ/bit级别时，光互连的应用场景将从传统的数据中心横向扩展（scale-out），进一步渗透至机架内纵向扩展（scale-up）场景，突破铜缆互连的最后壁垒，实现数据中心全场景光互连的覆盖

    16810

    AI网络挑战：系统视角下的光互连技术需求与架构分析(Meta)

    二、Scale-Up与Scale-Out架构对比 （一）通信协议与带宽特性 ◆ Scale-Out域       超大规模数据中心在Scale-Out域采用多种通信协议，如Meta的RoCE（基于融合以太网的远程直接内存访问...◆ Scale-Up域       带宽通常是Scale-Out的数倍，要求高带宽、低延迟，典型场景如NVIDIA GB200 NVL72机架设计，通过NVLink连接72块Blackwell GPU，...（二）Meta AI训练集群架构示例 ◆ 架构组成       Scale-Up域通过直接连接电缆（DAC）和机架训练交换机实现机架内GPU互连；Scale-Out域利用可插拔光模块和单模光纤（SMF）...（二）GPU到GPU的I/O挑战 ◆ 集成设计需求       单芯片集成大量处理单元（如Cerebras WSE-3芯片含4万亿晶体管）可缓解Scale-Out挑战，但需高速I/O支持片内与片外通信。

    1.2K10

    高并发（二）：通用设计方法

    文章目录 有言在先 处理办法简介 Scale-up && Scale-out 缓存 异步处理 真实场景：这些方法都要用上吗？...高并发（一）：灵魂拷问 ---- 处理办法简介 我们再面对高并发大流量时采取的办法，总结起来有以下三种： 1、Scale-out（横向拓展）：采用分布式部署的方式把流量分开，让每个服务器都承担一部分并发和流量...---- Scale-up && Scale-out Scale-up，纵向拓展，一种简单粗暴的方法，通过购买性能更好的硬件来提高系统的并发处理能力。...Scale-out，通过多个低性能的机器组成一个分布式集群来对抗高并发的流量。 如何做选择呢？这两种方法各有千秋吧。一般来说，系统设计初期的时候，考虑使用Scale-up的方式，因为这种方案足够简单。...而Scale-out可以突破单机的限制，但也会引入一些复杂的问题，碧如说：设计困难、环境搭建困难、节点的安全性、数据的同步等。 ---- 缓存 为什么缓存可以大幅度提升系统的性能呢？

    60420

    OFC 2025: AI时代的光互连需求

    今年OFC大会上，对于AI场景下scale-out/scale-up光互连的讨论异常热烈，有数十个相关的workshop与pannel discussion，如下图所示。...典型的AI集群网络架构如下图所示，超节点间的互联对应scale-out网络，也称为front-end网络，其网络架构与传统数据中心网络架构相似。...由于其传输距离从几十米到几公里，scale-out网络主要采用可插拔光模块方案，Nvidia也在今年推出了CPO交换机方案。...下图给出了两种方案的对比，由于scale-out网络对高radix的要求，更多光纤的方案更加满足需求，但是光纤数目的增加带来了光纤管理的难度。 低功耗 随着AI集群的进一步扩展，互联的功耗也相应增加。...对于scale-out网络，短期内可能还是以可插拔光模块为主。CPO技术是否会提早应用于scale-up网络中？

    1.6K10

    算了，35岁程序员也要懂高并发

    Scale-out（横向扩展）：分而治之是一种常见的高并发系统设计方法，采用分布式部署的方式把流量分流开，让每个服务器都承担一部分并发和流量。...在处理高并流量时，通常将类似追逐摩尔定律不断提升 CPU 性能的方案叫做 Scale-up（纵向扩展），把类似 CPU 多核心的方案叫做 Scale-out，这两种思路在实现方式上是完全不同的。...聊聊Scale-out（横向扩展） Scale-up 通过购买性能更好的硬件来提升系统的并发处理能力，比方说目前系统 4 核 4G 每秒可以处理 200 次请求，那么如果要处理 400 次请求呢？...Scale-out 则是另外一个思路，它通过将多个低性能的机器组成一个分布式集群来共同抵御高并发流量的冲击。沿用刚才的例子，我们可以使用两台 4 核 4G 的机器来处理那 400 次请求。...Scale-out 虽然能够突破单机的限制，但也会引入一些复杂问题。比如，如果某个节点出现故障如何保证整体可用性？当多个节点有状态需要同步时如何保证状态信息在不同节点的一致性？

    67610

    显卡基础知识｜英伟达算力开挂的GPU！

    横向扩展Scale-out，连接多个节点组成计算集群。 • 一机多卡纵向扩展 Scale-up 在单个服务器内，通过NVLink或NVSwitch将多个GPU与CPU互联，形成统一内存池。...适合单任务高吞吐需求 • 多机多卡横向扩展 Scale-out 通过InfiniBand或以太网连接多个节点，构成分布式算力池，使用NVIDIA Quantum-2 交换机或Spectrum-X以太网平台构建无损网络...• Scale-up 和Scale-out 比较 维度 Scale-up（纵向扩展） Scale-out（横向扩展） 通信效率 单节点内NVLink（延迟Scale-out的协同 英伟达平台通过分层互联架构实现两种扩展模式的无缝结合，层级化设计： 第一层节点内：NVLink互联GPU，最大化单节点算力密度。...灵活部署：从单机多卡 (Scale-up) 到多机多卡(Scale-out) 统一架构，降低迁移成本。 总结 为了达到性能、能耗和成本的最佳平衡，GPU的选择应根据具体使用情景来综合权衡选择。

    1.5K10

    OFC 2026 NVIDIA报告：面向AI工厂的光交换（OCS）技术使能、应用场景与落地挑战

    演讲明确了OCS在AI数据中心的三类核心插入点，其中重点阐述了横向扩展（Scale-out）与纵向扩展（Scale-up）两大核心应用场景。...2.1 横向扩展（Scale-out）场景 Scale-out场景定位于数据中心建筑内，InfiniBand/以太网交换层之间的集群互联，OCS在此有两大核心落地用例。...AI训练业务的流量具备可预测、结构化的特征，基于这一特点，可用OCS替代1-2层电交换机，大幅减少电交换芯片与光模块的用量，同时缩短数据转发路径，降低网络延迟，实现更高效、更低功耗的Scale-out组网...第二，OCS为AI数据中心网络打开了全新的设计空间，可针对性解决传统电交换网络的固有瓶颈，在Scale-out、Scale-up等核心场景具备明确的应用价值与落地潜力。

    33820

    张江实验室：300mm硅光子平台单波400G微环调制器，双工作模式适配AI计算scale-upscale out场景

    然而，摩尔定律放缓导致单节点算力天花板显现，数据中心需通过“纵向扩展（scale-up，提升单节点性能）”与“横向扩展（scale-out，增加节点数量）”构建大规模并行架构——这两种扩展路径均高度依赖高带宽...四、高速传输验证：覆盖scale-up/scale-out全场景 该MRM支持自偏置 与耗尽驱动 两种模式，可分别满足“高能效近距离互连scale up”与“超高速远距离互连scale out...2. scale-out场景：超高速交换机互连（耗尽模式） 针对AI集群间的远距离高容量互连，MRM工作于-3 V反向偏置、2 Vpp高驱动模式，创下多项传输纪录： - 超高速传输：实现200...scale-up场景：每波长支持64 Gbaud PAM4（128 Gbps），76 GHz信道间隔（含13 GHz保护带）下，单个自由光谱范围（FSR=7 nm）可容纳16个波长，总容量达2 Tbps； - scale-out...场景适配：自偏置/耗尽双模式覆盖XPU互连（scale-up）与集群互连（scale-out），为AI数据中心提供“一站式”光互连解决方案。

    93311

    万字|AI王权终局：巨头之战，谁主沉浮？

    1.3.2 AI网络的两大战场：Scale-up与Scale-out 整个AI在网络领域的竞争格局主要从Scale-up和Scale-out两个方面来区分和阐述： ●Scale-up (纵向扩展/节点内...1.3.4 NVIDIA的Scale-out双轨战略：InfiniBand与Spectrum-X 为了解决了传统以太网应对AI“大象流”和因ECMP哈希熵不足导致的链路拥塞和网络热点问题，英伟达在Scale-out...●Scale-out层面: 通过标准PCIe Gen 5进行基础连接，并联合行业力量主导UALink开放标准以构建开放生态。...这一设计带来了极高的灵活性：在标准的8-ASIC服务器中，21个端口可用于节点内全互联（Scale-up），剩余3个端口则直连机架顶部的标准以太网交换机，实现Scale-out扩展。...在网络层面，每个Maia 100芯片原生集成了4.8 Tbps的、基于定制的“RoCE-like”协议，可通过12个400GbE端口与后端网络实现进一步的Scale-out互连。

    64410

    卖到2027年没货：英伟达20亿美元押注背后，AI数据中心的光互连革命

    OCS与Scale-up CPO是真金矿：纯光交换机（OCS）在手订单超 4 亿美元，而纵向扩展（Scale-up）的 CPO 第一阶段市场规模，直接是现在大家炒作的横向扩展（Scale-out）的 3...CPO Scale-Out与Scale-Up演进路径 Lumentum将CPO发展分为三个阶段： Phase 0 (Scale-Out)：机架间光互连，2026年启动，单端口1.6T Phase 1 (...Scale-out CPO：以UHP激光器为核心，2027年贡献数亿美元营收，现有产能即可支持。...Scale-up CPO：2027年底首批出货，Phase 1市场规模是Scale-out的3-4倍，且将激活新的InP晶圆厂产能。...从8亿美元到20亿美元季度营收的爬坡路径 从图表可见，增量贡献主要来自CPO Scale-out / Cloud Transceivers / OCS / EML与DCI组件这几个业务版块，每个均为数亿美元级增量

    25610
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券