随着数据集规模的不断增长,数据中心负载对内存、存储的性能和容量的要求也在不断提高。与此同时,每单位时间需要处理更多数据,组成计算系统的组件性能也在不断提高。所谓性能,是一个涉及多方面的话题,其中一些指标(例如带宽)的增长速度就会比其它指标(例如时延)的增长速度更快。
随着“东数西算”工程正式启动,数字基建再次迎来新一轮朝阳。这一情况在资本市场已有过体现,各类企业纷纷插旗、相关概念股的轮番涨停,都在彰显“东数西算”的光明未来。
原文发表于知乎:https://zhuanlan.zhihu.com/p/651830645
数据中心网络连接数据中心内部通用计算、存储和高性能计算资源,服务器间的所有数据交互都要经由网络转发。当前,IT架构、计算和存储技术都在发生重大变革,驱动数据中心网络从原来的多张网络独立部署向全以太化演进。而传统的以太网无法满足存储和高性能计算的业务需求。超融合数据中心网络以全无损以太网来构建新型的数据中心网络,使通用计算、存储、高性能计算三大种类业务均能融合部署在一张以太网上,同时实现全生命周期自动化和全网智能运维。
随着数据流量的不断增长,特别是大数据时代到来后,各行业业务产生的流量激增,数据中心面临着来自应用和数据的网络压力也在“狂飙”。数据中心亟待解决数据中心之间的海量数据高速迁移问题,消除数据中心间的带宽瓶颈,大幅提升数据中心间的带宽利用率等问题。大数据的时代来临,数据中心网络重要性日益显现。
近年来,数字经济的新引擎作用凸显。“十四五”期间,我国数字经济将进入深化应用、规范发展、普惠共享的新阶段,预计到2025年,数字经济核心产业增加值占GDP比重将达到10%。
网络的发展好像在各方面都是滞后于计算和存储,时延方面也不例外,网络传输时延高,逐渐成为了数据中心高性能的瓶颈。
中共中央政治局常务委员会在2020 年3 月4 日召开会议,明确指出,加快5G 网络、数据中心(datacenter,DC)等新型基础设施建设进度(以下简称“新基建”)。“新基建”作为发力于科技端的基础设施建设,将成为新一轮数字化经济发展的催化剂,也将是未来科技创新竞争力的核心所在。数据中心首次被国家列入加快建设的条目,作为“新基建”七大领域中的一大亮点,将协同5G 网络、工业互联网等基础设施加速新一代信息技术发展。
然而,客户这次叫我们来,目的却是想换掉他们,一台不留。客户无奈地说,IB 交换机的时延方面,没得说,但是”想买到“太难了,由于IB 交换机只支持IB 通信协议,所以每当有扩容的需求时,也只能继续选择IB 交换机,但IB 交换机太难买到,尤其是去年全球供货市场都紧张的情况下,更是遥遥无期,今年市场供应好了很多,客户反应说,依旧要6个月起步,根本等不起!此外,一旦交换机出点什么问题,想找售后,更是根本找不到,相隔两个大陆,一个太平洋的距离让客户对”及时响应“也只能是想想罢了,价格贵还能忍,但是想用的时候没有供应,绝对不能忍!
7月14日消息,工信部印发《新型数据中心发展三年行动计划(2021-2023年)》的通知,本次行动计划是为统筹推进新型数据中心发展,构建以新型数据中心为核心的智能算力生态体系,发挥对数字经济的赋能和驱动作用。
5月31日,网络互联芯片提供商云脉芯联正式发布自主研发的国内首款多场景RDMA智能网卡(DPU)产品——xFusion50。 目前,随着数字经济的飞速发展,数据中心已成为支撑和释放CPU算力的重要基础设施,承载着各类数字技术的应用。高性能网络作为数据中心的算力底座,在数据中心架构演进过程中扮演着重要角色,随着摩尔定律放缓,多样性异构算力的崛起,如何通过降低网络延迟提升数据中心集群算力性能指标,满足Serverless云原生算力需求,面临着诸多技术挑战,如: TCP/IP网络协议栈导致收发报文时延过大,无法满
边缘计算是指将IT资源(计算、存储等)从传统的云数据中心向用户侧迁移,拉近用户和IT资源的物理距离,实现更低的数据交互时延、节省网络流量,从而为用户提供低延时、高稳定性的IT解决方案。边缘计算依赖边缘数据中心来完成。边缘数据中心和传统的云数据中心是相辅相成的关系。需要低延时和节省带宽的场景可以采用边缘的解决方案;时延不敏感、对带宽消耗不大的传统业务仍然可以采用传统的云数据中心方案解决。边缘数据中心和云数据中心分别满足不同应用的业务需求,二者有效互补。
"鹅厂网事"由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在网络与服务器领域,规划、运营、研发、服务等层面的实战干货,期待与您的共同成长。 毫无疑问,人工智能是近年IT界最火的研究方向,特别在2016年Alpha GO这一标志性事件后,国内外科技巨头持续加大对人工智能的投入。目前,人工智能的主要方向如图像识别、语音识别等等都是通过机器学习的方式,借助强大的计算平台对海量数据进行分析、计算,随着数据量的增长,单机
边缘云计算,简称边缘云,业内对其定义大同小异,都指向离用户更近的计算资源。边缘云本质上是基于云计算技术的核心和边缘计算能力,构筑在边缘基础设施之上的云计算平台。
在2020网络数据平面峰会上,是德科技大中国区网络解决方案部技术总监杨益锋给大家分享了主题演讲《无损网络,真的无损?》。
随着云计算的普及,越来越来的业务会选择上云,上云的第一步往往就是云资源的选购,选购云资源时(尤其是IaaS),通常都必须先选择地域Region和可用区AZ,那么我们应该如何选择呢?这两个概念与日常所说的数据中心又有什么区别呢?
近年来,随着全社会数据总量爆发式增长,数据中心规模也在快速发展。据IDC预计,2022年-2026年,全球新建数据中心数量将以8.6%的年复合增长率(CAGR)增长,这对存储基础设施提出了包括提供海量空间、多样存储、弹性扩容、极致性能、智能运维、高密存储、绿色低碳等崭新的要求,而固态硬盘(SSD)存储以高可靠、低时延、低能耗等特性,成为新一代数据中心的主要存储介质。
随着5G时代的到来,万物互联产生了海量数据,据IDC预测,到2025年全球设备连接总数将达到1000亿,集中式处理模型下核心网络无法承载如此大的数据量传输,数据也无法在云中心存储计算,因此基于云边端的架构模式成为当前的技术发展趋势。
大家好,我是来自拍乐云的赵加雨。首先做个简单的自我介绍,我2003年加入WebEx,在WebEx工作了14年,前面几年是在国内工作,后面几年在美国。在美国工作几年之后,发觉中国的环境也不错,于是在2017年回国加入了网易,任网易云信CTO,直到去年创立了拍乐云。大家可以看到,虽然我现在的头衔是CEO,但我过去的经历一直都是在做技术,现在在公司里和小伙伴们也会经常讨论技术,对技术也一直保留着很多热情。
中移(苏州)软件技术有限公司(为中国移动通信集团有限公司的云能力中心,也为中移动云服务基础设施产品IaaS提供研发和运营支撑,下文简称“中国移动“)联合中国信息通信研究院(下文简称“中国信通院”)以及深圳云豹智能有限公司(下文简称“云豹智能”)在3月29日的算云融合产业大会上发布了《云计算通用可编程DPU发展白皮书(2023年)》,深度解析了云计算通用可编程DPU设计理念,指出具备层级化可编程、低时延网络和统一资源管控等特性的通用DPU芯片将成为连接算力与网络的核心基础部件。
近年来,唱衰存储的声音层出不穷,大有存储创新乏力、已近黄昏之势。Gartner近期发布了2021年存储和数据保护技术成熟度曲线,涵盖全球存储市场值得客户关注的各项新技术。 从中可以看出,存储市场的技术创新依然非常活跃,既有日渐规模应用的新技术,更有首次进入Gartner技术成熟度曲线的最新创新点。存储依然是蓬勃发展的朝阳产业,创新无止境。 以下为最值得关注的七大新技术。 FAC(NextGen SmartNIC) 2021年FAC首次入围Gartner技术成熟度曲线。Function accelerato
边缘计算究竟是什么?哪些应用适合在边缘部署?边缘计算是否将取代云计算?边缘计算的前景如何?近日,全球知名边缘计算平台Akamai的亚太区架构师团队负责人李文涛在接受 InfoQ 等少数媒体采访时,就上述焦点话题做出了深入解读。
京东11.11全球好物节前夕,京东集团华东数据中心联通OTN数据传输精品网络开通仪式,在骆马湖畔、京东集团华东数据中心举行。这标志着宿迁联通将可以为京东商城客户提供高带宽、快速路由收敛、低时延的网络服
满足当前4K/8K高清视频,VR互动技术,在线有限,网络直播等应用的兴起。克服了基于Internet网络架构带来的时延问题,令网络“提速”。
一、背景 随着网络技术的发展,数据中心已经成为提供IT网络服务、分布式并行计算等的基础架构。数据中心应用范围愈加广泛,应用需求不断增加,业务数据量达T/P级以上。另外,如视频、金融业务数据等对服务质量、时延、带宽都有严格要求,因此构建数据中心网络时,对于数据中心网络的性能要求很高。 1.1 数据中心成本开销 表1中为数据中心的成本开销,其中大部分开销来源于服务器,然而数据中心的服务资源利用率并不高,服务器利用率通常在30%以下。除了利用率低外,供应周期长,需求变化不确定、需求更新快,管理风险大,需要冗余资源
导读|云计算时代,承担服务器之间数据传输工作的交换机成了数据中心的“神经枢纽”,一旦出故障将波及上层业务。然而单个交换机故障时,腾讯云的新一代高性能网络却可以在100微秒内找到新的通路实现0断链,做到高可用、高可扩展、高性能,从而保证业务不受影响。本文邀请到了腾讯云资深网络专家金峰及其带领的IaaS前沿技术研究团队来揭秘背后的武器——高性能网络传输协议HARP。通过本文希望可以带你了解传统网络传输协议面临的困难和挑战、HARP是如何应对并全网首次解析其中4个关键技术。 腾讯云一直在自研一款高性能网络协议——
前些时间也给大家分享了【5G超新时代,点燃了25G和100G光模块市场】这篇文章,感兴趣的朋友可以看看!接下来跟易天光通信(etulink.com)一起看看5G网络的特点和25G/100G光模块发展趋势。
其实,去年年中的时候,小枣君就发过“东数西算”的文章(链接:西部将建国家算力枢纽节点,“东数西算”怎么运?)。
最近科技圈的两个热点,一个是微软的AI搞崩了电网,让大家担心未来电不够用;另一个是小米发布了纯电SU7,再一次掀起了人们对电动汽车的兴趣。这两件事的共同点是,都与人工智能和电密切相关,而从更深层次去探讨,后者可能还真是前者的解药。
RoCE全称RDMA over Converged Ethernet,从字面来看,也就是基于融合以太网的RDMA,所以在了解RoCE之前还得先认识下RDMA这项技术。 什么是RDMA? RDMA(Remote Direct Memory Access),全称远端内存直接访问技术,可以在极少占用CPU的情况下,把数据从一台服务器传输到另一台服务器,或从存储到服务器。 传统应用要发送数据,需要通过OS封装TCP/IP,然后依次经过主缓存、网卡缓存,再发出去。这样会导致两个限制。 限制一:T
TencentOS发展历经多年,从2010年开始真正自研,经历三个时期和三个大版本,目前已达到千万级节点,今年正式开启商业化。在技术层面已形成完整生态链,从上游版本到企业级商用版本,再到社区开放版本。当前主要版本是TencentOS Server3(缩写TS3),并服务至2029年。全自研版本TS4预计在2024年跟大家见面。
IDC数据2023年最新的数据报告显示,预计2026年我国主要网络设备市场规模将达170.56 亿美元,较2020年增长 65.34%,2020-2026年 CAGR达 8.74%。其中,我国25G/100G 数据中心交换机的市场规模将由2017年的1.08亿美元增长至 2024年的 25.13 亿美元,CAGR高达 56.86%;另据 Dell’Oro Group预测,未来 400G及以上速率交换机将成为市场主流。
本文分析了来自5G、IoT 和CDN的边缘计算需求,对边缘计算的总体架构进行了研究。边缘节点作为数据中心网络中的一个重要组成部分,边缘硬件、边云协同和边边协同的技术发展将会非常重要。未来,需要解决好技术碎片化和布局等问题,促进边缘节点的更快发展。
5G商用,承载先行。日前,中国电信正式对外发布了《5G时代光传送网技术白皮书》。该白皮书针对未来5G业务和网络架构的变化,清晰的描述了未来5G承载技术,非常值得一读,小编一边在学习的时候,顺便就把它编辑了出来,供大家一起学习。 1 5G网络构架对承载网构架的影响 1.1 5G分离的RAN构架 相对于4G LTE接入网的BBU和RRU两级构架,5G RAN将演进为CU、DU 和 AAU三级结构。 📷 CU:原BBU的非实时部分将分割出来,重新定义为CU(Centralized Unit,集中单元),负责处理非
工业和信息化部关于印发《新型数据中心发展三年行动计划(2021-2023年)》的通知 工信部通信﹝2021﹞76号 各省、自治区、直辖市通信管理局、工业和信息化主管部门,各有关企业: 现将《新型数据中心发展三年行动计划(2021-2023年)》印发给你们,请结合实际认真贯彻落实。 工业和信息化部 2021年7月4日 新型数据中心发展三年行动计划 (2021-2023年) 新型数据中心是以支撑经济社会数字转型、智能升级、融合创新为导向,以5G、工业互联网、云计算、人工智能等应用需求为牵引,汇聚多元数据资源、
近年来,随着互联网、大数据、云计算、人工智能、区块链等技术加速创新,数字经济正成为重组全球要素资源、重塑全球经济结构、改变全球竞争格局的关键力量。近日,国家发展改革委、中央网信办、工业和信息化部、国家能源局联合印发通知,同意在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏8地启动建设国家算力枢纽节点,并规划了10个国家数据中心集群,标志着正式全面启动了“东数西算”工程,这对于推动中国数字经济和西部地区发展意义重大。
作者简介 黄玉栋,北京邮电大学网络与交换国家重点实验室博二在读,研究方向为网络体系架构,确定性网络,邮箱地址: hyduni@163.com. 今年4月谷歌在NSDI顶级会议上发表了Aquila架构方案[1],随后8月,阿里在SIGCOMM顶级会议上发表uFAB架构方案[2],均提出了要将数据中心网络从从“低时延大带宽”演进到“确定性可预期”的目标,开启了确定性数据中心网络研究的新纪元。那么,数据中心网络为什么需要确定性可预期?他们的实现方法又各自有什么异同和优缺点?有趣的是,两者恰好采用了不同的底层QoS
今天介绍鹅厂自研的一款全新的网络协议,微秒级“复活”网络的HARP协议及其关键技术。
云数据中心通过超卖实现盈利,在满足用户需求的前提下,让各个类型的资源都充分利用将给云提供商带来更低的成本。因此资源利用率是至关重要的指标,然而现在的架构将计算资源,内存资源,存储资源按照固定的比例“装箱”,各个资源不能独立扩展,同时云上的负载类型又是多种多样的(计算密集型,IO密集型),不同的负载对不同的资源有不同的需求。这将带来资源的浪费,例如,内存资源不足而CPU资源充足时,为了添加内存还需要添加额外的CPU,这降低了CPU的资源利用率。下一代云架构从资源利用,管理的角度将采取Disaggreated架构,每个资源单独作为一个资源池,用户可以根据自身业务需求各个资源按需组合,云厂商也可以对资源进行弹性扩展。
当前,随着京津冀、甘肃等8地算力网络国家枢纽节点获得正式批复,2022年将作为“东数西算”元年,开启我国国土空间算力资源跨区域统筹布局的新篇章。
在查阅了大量资料后,张克娜最终还是下定了决心,试水期货投资。她把这一决定视作优化家庭投资结构的重要一步。
公有云计算平台使企业能够使用全球服务器补充其私有数据中心,将基础设施扩展到任何位置,并根据自身需求扩展和缩减计算资源。这些公私混合云为企业计算应用提供了前所未有的灵活性、价值和安全性。
随着数据中心网络技术和带宽不断发展,流控技术在网络中发挥着越来越重要的作用,但一直未曾有过很大变革。直到无损网络的出现,流控技术出现新突破。作为以太网的基本功能之一,流控技术用于可以防止拥塞的情况下出现丢包,还能配合发送端合理的调整发送速率,从整体上保障网络带宽的最高效率。
Google最近发表了一篇有关大数据系统的论文,讨论了一个名为Mesa的数据仓库系统,它能处理近实时数据,即使在整个数据中心断线后还能正常工作。 Mesa是一个高度可扩展的分析数据仓库系统,能存储与Google广告业务有关的关键测量数据。Mesa能满足复杂和具有挑战性的用户与系统需求,包括近实时数据提取和查询,同时在海量数据和查询量中保持高可用性、可靠性、容错率和扩展性。Mesa每秒能处理数百万行更新,每天进行数十亿查询抓取数万亿行数据。Mesa能进行跨数据中心复制,即使在整个数据中心故障时,也能以低延迟返
前言 业务的高速发展驱动了腾讯DCN(Data Center Network)数据中心网络的大规模建设,对此我们通过设备自研、自动化系统等手段打造了高质量、低成本、高效率的智能DCN。近年来,随着大数据以及人工智能时代的来临,对性能有着苛刻诉求的分布式系统对网络提出了更高要求。因此,在规模与应用双重驱动下,我们也将极致性能与极致运营并驾齐驱,通过端网协同,构建高吞吐、低时延、高可用的极致DCN。 1.构建大规模网络的核心能力: 底层极简,上层智能 回顾过去几年DCN的演进历
随着5G的普及,融入边缘计算能力的CDN会比过去更靠近用户终端,用户也会得到更有享受性的全新视听娱乐体验。那么,在这种大时代背景下,CDN的边缘计算能力会给现有业务带来哪些新的变化?5G将会引爆哪些新的场景和玩法?传统的点播与直播业务会诞生哪些新的方案和应用?边缘计算的未来会如何发展?会给业务带来哪些新方向和新助力?
国家发展改革委、中央网信办、工业和信息化部、国家能源局联合印发通知,同意在 京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏等8地 启动建设国家算力枢纽节点,并规划了 10个 国家数据中心集群。
前言 当前,新一轮技术产业革命蓬勃发展,新基建成为社会关注热点。 3月4日中共中央政治局常务委员会召开会议时指出,要加快5G网络、数据中心、工业互联网等新型基础设施建设进度。与传统基建不同,“新基建”被赋予了数字化、网络化、智能化等新技术内涵。而TSN可能是数据中心、工业互联网等新基建在网络层面的解决方案。 日前,腾讯学院邀请行业院士、专家共同举办了“新基建线上直播研讨会”,TSN在研讨会上被多次提到,腾讯数据中心研发团队也对这一技术开展了调研,希望和行业同仁共同交流探讨。 01
3G:速度2Mbps至80Mbps,时延100ms-400ms,终端连接 1万台;4G:速度100Mbps至1Gbps,时延40ms-150ms,终端连接10万台;5G:速度1Gpbs-10Gpbs,时延1ms-10ms,终端连接100万台。
领取专属 10元无门槛券
手把手带您无忧上云