文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    盘点大数据的十大发展方向，Scale-out将成主流

    除了在分析领域、云技术方面的应用前景，Scale-out发展将成为大数据未来方向的主流。 以下为原文： 1、大数据分析领域快速发展 大数据无疑是目前IT领域的最受关注的热词之一。...4、大数据推动向Scale-out发展 方向五：大数据推动基础架构向Scale-out发展 基础架构是大数据首先面临的挑战，如何让基础架构能够存取更多的数据呢?传统的基础架构能否满足用户需求呢?...Scale-out 随着大数据量的逐渐增大，可以通过分布式的处理方式把应用复杂分散到分布式系统的各个节点上，而传统的数据处理将是运算能力非常强、CPU主频非常高的一台机器来处理，而不是大数据这种多个节点...、多个CPU核数来处理，这代表了大数据时代发展方向从Scale-up转向Scale-out。...传统模式受到业务不断变化需求的挑战，使得存储通过Scale-out与云计算相结合更容易满足用户业务不断增长的需求。——王迪

    1.2K50

    什么是横向扩展和纵向扩展？

    什么是纵向扩展与横向扩展 横向扩展(「Scale-out」)或水平缩放与纵向扩展(「Scale-up」)或垂直缩放形成对比。 扩展云资源的想法可能很直观。...鱼缸启示 其实我认为Scale-out和Scale-up的概念可以用一个简单的例子来解释。 不知您有没有养过鱼?...而Scale-out架构解决了这个矛盾。用户按需采购存储，一旦容量不够了，再购置一台接到原有存储上就可以了。 举个例子 常见的存储设备扩展案例，下图展示了scale-out存储方案的架构。...Scale-up和scale-out并非不能融合在一起，很多存储系统就可以同时实现纵向扩展和横向扩展,下面的示意图就展示了这种方案。...而Scale-out架构通常有聚合管理的能力，但每个厂商提供的产品可能会有所不同 复杂性 Scale-up架构的存储相对简单，而scale-out架构的系统会更复杂一些，毕竟每个节点都需要管理 可用性

    5.6K30

    高并发系统通用设计方法是什么？

    Scale-out(横向扩展)：分而治之的思想，在算法中也常见，这是一种常见的高并发系统设计思路，采用分布式部署方案，将流量分开，让每个服务器都承担一定流量。...横向扩展，纵向扩展 Scale-up vs Scale-out Scale-up （纵向扩展） Scale-out(横向扩展)。举个例子，摩尔定律，摩尔定律是指每18个月 CPU 的性能要翻一倍。...这种不断追逐摩尔定律，不断提升 CPU 的方案，就叫做 Scale-up(纵向扩展)，把类似CPU 多核心的方案叫做 Scale-out（横向扩展）。...Scale-up: 通过构面更好的硬件来提升系统的并发处理能力，比如从硬件 4核 4G 每秒处理 200 次请求， 那么如果要处理 400 次请求呢，例如可以把硬件升级到 8核 8G Scale-out...scale-out 虽然突破了单机的限制，但是会出现分布式系统的问题，就是分布式系统中的 CAP 理论，如何保证多个节点的数据一致性？如何保证系统的可用性？如何无感知的增加或者删除节点？

    94410

    AI网络挑战：系统视角下的光互连技术需求与架构分析(Meta)

    二、Scale-Up与Scale-Out架构对比 （一）通信协议与带宽特性 ◆ Scale-Out域       超大规模数据中心在Scale-Out域采用多种通信协议，如Meta的RoCE（基于融合以太网的远程直接内存访问...◆ Scale-Up域       带宽通常是Scale-Out的数倍，要求高带宽、低延迟，典型场景如NVIDIA GB200 NVL72机架设计，通过NVLink连接72块Blackwell GPU，...（二）Meta AI训练集群架构示例 ◆ 架构组成       Scale-Up域通过直接连接电缆（DAC）和机架训练交换机实现机架内GPU互连；Scale-Out域利用可插拔光模块和单模光纤（SMF）...（二）GPU到GPU的I/O挑战 ◆ 集成设计需求       单芯片集成大量处理单元（如Cerebras WSE-3芯片含4万亿晶体管）可缓解Scale-Out挑战，但需高速I/O支持片内与片外通信。

    84510

    高并发（二）：通用设计方法

    文章目录 有言在先 处理办法简介 Scale-up && Scale-out 缓存 异步处理 真实场景：这些方法都要用上吗？...高并发（一）：灵魂拷问 ---- 处理办法简介 我们再面对高并发大流量时采取的办法，总结起来有以下三种： 1、Scale-out（横向拓展）：采用分布式部署的方式把流量分开，让每个服务器都承担一部分并发和流量...---- Scale-up && Scale-out Scale-up，纵向拓展，一种简单粗暴的方法，通过购买性能更好的硬件来提高系统的并发处理能力。...Scale-out，通过多个低性能的机器组成一个分布式集群来对抗高并发的流量。 如何做选择呢？这两种方法各有千秋吧。一般来说，系统设计初期的时候，考虑使用Scale-up的方式，因为这种方案足够简单。...而Scale-out可以突破单机的限制，但也会引入一些复杂的问题，碧如说：设计困难、环境搭建困难、节点的安全性、数据的同步等。 ---- 缓存 为什么缓存可以大幅度提升系统的性能呢？

    57520

    OFC 2025: AI时代的光互连需求

    今年OFC大会上，对于AI场景下scale-out/scale-up光互连的讨论异常热烈，有数十个相关的workshop与pannel discussion，如下图所示。...典型的AI集群网络架构如下图所示，超节点间的互联对应scale-out网络，也称为front-end网络，其网络架构与传统数据中心网络架构相似。...由于其传输距离从几十米到几公里，scale-out网络主要采用可插拔光模块方案，Nvidia也在今年推出了CPO交换机方案。...下图给出了两种方案的对比，由于scale-out网络对高radix的要求，更多光纤的方案更加满足需求，但是光纤数目的增加带来了光纤管理的难度。 低功耗 随着AI集群的进一步扩展，互联的功耗也相应增加。...对于scale-out网络，短期内可能还是以可插拔光模块为主。CPO技术是否会提早应用于scale-up网络中？

    1.1K10

    算了，35岁程序员也要懂高并发

    Scale-out（横向扩展）：分而治之是一种常见的高并发系统设计方法，采用分布式部署的方式把流量分流开，让每个服务器都承担一部分并发和流量。...在处理高并流量时，通常将类似追逐摩尔定律不断提升 CPU 性能的方案叫做 Scale-up（纵向扩展），把类似 CPU 多核心的方案叫做 Scale-out，这两种思路在实现方式上是完全不同的。...聊聊Scale-out（横向扩展） Scale-up 通过购买性能更好的硬件来提升系统的并发处理能力，比方说目前系统 4 核 4G 每秒可以处理 200 次请求，那么如果要处理 400 次请求呢？...Scale-out 则是另外一个思路，它通过将多个低性能的机器组成一个分布式集群来共同抵御高并发流量的冲击。沿用刚才的例子，我们可以使用两台 4 核 4G 的机器来处理那 400 次请求。...Scale-out 虽然能够突破单机的限制，但也会引入一些复杂问题。比如，如果某个节点出现故障如何保证整体可用性？当多个节点有状态需要同步时如何保证状态信息在不同节点的一致性？

    64710

    显卡基础知识｜英伟达算力开挂的GPU！

    横向扩展Scale-out，连接多个节点组成计算集群。 • 一机多卡纵向扩展 Scale-up 在单个服务器内，通过NVLink或NVSwitch将多个GPU与CPU互联，形成统一内存池。...适合单任务高吞吐需求 • 多机多卡横向扩展 Scale-out 通过InfiniBand或以太网连接多个节点，构成分布式算力池，使用NVIDIA Quantum-2 交换机或Spectrum-X以太网平台构建无损网络...• Scale-up 和Scale-out 比较 维度 Scale-up（纵向扩展） Scale-out（横向扩展） 通信效率 单节点内NVLink（延迟Scale-out的协同 英伟达平台通过分层互联架构实现两种扩展模式的无缝结合，层级化设计： 第一层节点内：NVLink互联GPU，最大化单节点算力密度。...灵活部署：从单机多卡 (Scale-up) 到多机多卡(Scale-out) 统一架构，降低迁移成本。 总结 为了达到性能、能耗和成本的最佳平衡，GPU的选择应根据具体使用情景来综合权衡选择。

    45210

    张江实验室：300mm硅光子平台单波400G微环调制器，双工作模式适配AI计算scale-upscale out场景

    然而，摩尔定律放缓导致单节点算力天花板显现，数据中心需通过“纵向扩展（scale-up，提升单节点性能）”与“横向扩展（scale-out，增加节点数量）”构建大规模并行架构——这两种扩展路径均高度依赖高带宽...四、高速传输验证：覆盖scale-up/scale-out全场景 该MRM支持自偏置 与耗尽驱动 两种模式，可分别满足“高能效近距离互连scale up”与“超高速远距离互连scale out...2. scale-out场景：超高速交换机互连（耗尽模式） 针对AI集群间的远距离高容量互连，MRM工作于-3 V反向偏置、2 Vpp高驱动模式，创下多项传输纪录： - 超高速传输：实现200...scale-up场景：每波长支持64 Gbaud PAM4（128 Gbps），76 GHz信道间隔（含13 GHz保护带）下，单个自由光谱范围（FSR=7 nm）可容纳16个波长，总容量达2 Tbps； - scale-out...场景适配：自偏置/耗尽双模式覆盖XPU互连（scale-up）与集群互连（scale-out），为AI数据中心提供“一站式”光互连解决方案。

    63811

    万字|AI王权终局：巨头之战，谁主沉浮？

    1.3.2 AI网络的两大战场：Scale-up与Scale-out 整个AI在网络领域的竞争格局主要从Scale-up和Scale-out两个方面来区分和阐述： ●Scale-up (纵向扩展/节点内...1.3.4 NVIDIA的Scale-out双轨战略：InfiniBand与Spectrum-X 为了解决了传统以太网应对AI“大象流”和因ECMP哈希熵不足导致的链路拥塞和网络热点问题，英伟达在Scale-out...●Scale-out层面: 通过标准PCIe Gen 5进行基础连接，并联合行业力量主导UALink开放标准以构建开放生态。...这一设计带来了极高的灵活性：在标准的8-ASIC服务器中，21个端口可用于节点内全互联（Scale-up），剩余3个端口则直连机架顶部的标准以太网交换机，实现Scale-out扩展。...在网络层面，每个Maia 100芯片原生集成了4.8 Tbps的、基于定制的“RoCE-like”协议，可通过12个400GbE端口与后端网络实现进一步的Scale-out互连。

    27210

    窄而快VS宽而慢：NVIDIA揭秘AI数据中心光学互连的演进与破局之道

    - Scale-out： 定义为“连接多个机架或整个数据中心”，覆盖范围从米级到公里级，此前长期由可插拔光收发器主导。核心需求是实现跨机架、跨数据中心的长距离高带宽通信。...光学技术优先级判断标准 核心指标是每比特能耗（皮焦/比特，pJ/bit） ——无论技术路径（scale-up/scale-out、光子加速器），最终选择“能耗更低”的方案。...技术（窄而快）解决当前功耗痛点，长期需通过“宽而慢”路径+2.5D 封装+多波长技术，将性能提升的核心从电子学转移到光子学，最终实现“亚皮焦/比特”的超低能耗，让光学技术同时覆盖 scale-up 与 scale-out

    36410

    博通一统以太网江湖阳谋：SUE一超多强（字节Ethlink、NVLink与UALink）？

    1 SUE融合Scale-up与Scale-out 继前序两篇文章我们深度剖析了字节跳动EthLink的“单点破局”与UALink联盟的“合纵连横”之后，博通的Scale-Up Ethernet (SUE...SUE所描绘的更像是一个统一的以太网大市场，其战略并非简单选边站队，亦非创造NVLink的替代品，而是试图用无处不在的以太网试图融合统一Scale-up与Scale-out这两个壁垒分明的世界。...这本质上是一场“阳谋”：一个SUE框架统一横向扩展（Scale-out）与纵向扩展（Scale-up）网络技术栈，同步满足两类场景的核心需求，其战略吸引力清晰地体现在四个层面： ① 统一网络架构 (...Unify Fabrics)：统一Scale-up与Scale-out网络技术栈； ② 利用庞大生态 (Leverage the Ecosystem)：寄生以太网瞬间拥有成熟生态； ③ 降低总拥有成本...其核心价值主张正是用一种技术栈同时解决Scale-up和Scale-out两大难题，打破技术壁垒。

    32610
    点击加载更多

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 粤公网安备44030502008569号

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号

      领券