内容来源:2017 年 12 月 21 日,驻云科技资深架构师翟永东在“云时代企业架构的搭建”进行《云上架构如何实现高性能和高可用》演讲分享。IT 大咖说(微信id:itdakashuo)作为独家视频合作方,经主办方和讲者审阅授权发布。 阅读字数:2851 | 8分钟阅读 摘要 云上架构需要关注多方面的因素,本次主要讲的是高可用和高性能,从这两方面展开深度的解析如何搭建完善的云上架构。 嘉宾演讲视频及PPT回顾:http://suo.im/4sKQd8 云上架构概述 云上搭建架构不单单需要考虑到性能和可用性
在操作系统中,缓存是一种存储技术,用于提高数据读取和写入的速度。Linux 内核使用了两种主要的缓存机制:Buffer Cache和Page Cache。这两种缓存机制都是为了提高系统性能,但它们在实现方式和目标上有所不同。
在当今数字化时代,构建可伸缩和高性能的系统是应对不断增长的用户需求和数据流量的关键。现代架构设计涵盖了从基础设施到应用程序的各个层面,旨在实现可扩展性、可靠性和性能的最佳平衡。本文将深入探讨现代架构设计的原则、关键概念以及如何应用它们来构建出色的系统。
近日,天翼云联合 InfoQ 举办了以“存储难题新解法,揭秘极致易用的 HBlock”为主题的线上技术分享会”。天翼云国际业务事业部存储产品线总监潘亚莲与研发专家武志民参与了第一期分享,以“革命性软件定义存储 HBlock,极致易用背后的技术解析”为主题,讲解了 HBlock 在产品理念、应用场景、技术架构设计等方面的内容,本文将对其观点进行详细阐述。
数据左右着很多新兴企业的命脉,收集数据、分析数据和应用数据的循环已经变为企业发展的根本,依靠数据创造更大的价值,并持续的加强和优化数据管理流程,让数据型驱动的行业不断进化。
大模型要成功,算力是关键。 这是腾讯云面向大模型训练场景,发布的全新一代的HCC高性能计算集群性能参数: “算力性能和上一代相比提升3倍,服务器接入带宽从1.6T提升到3.2T。” 采用最新一代腾讯云星星海自研服务器,并搭载NVIDIA H800 Tensor Core GPU的这代HCC高性能集群,单GPU卡支持输出最高1979 TFlops的算力。 具体强在哪里? 去年10月,腾讯完成首个万亿参数的AI大模型——混元NLP大模型训练。在同等数据集下,将训练时间由50天缩短到11天。如果基于新一代集群,训
最近国内某大型互联网公司依靠其数据优势成功上市,可见数据的重要性,而数据和存储密不可分,您真的知道自己需要更高性能存储吗? 在当今数据爆发式增长的时代,数据已经成为很多行业最重要的资源,没有之一。 数据左右着很多新兴企业的命脉,收集数据、分析数据和应用数据的循环已经变为企业发展的根本,依靠数据创造更大的价值,并持续的加强和优化数据管理流程,让数据型驱动的行业不断进化。 常规的存储只能满足数据保存的基本需求,或者顺带一些基本的数据混合管理,而要真正挖掘数据的价值,采用高性能的存储必不可少,以支撑高性能
2022年6月,腾讯云Redis全新升级,发布高性能版本,单节点可提供50W+吞吐,性能是原生Redis的4倍。同时,腾讯云Redis推出全球复制功能,解决原生Redis诸多痛点问题,可用性升级高达99.999%,助力企业实现降本增效。 Redis作为全球最受欢迎的NoSQL数据库之一,凭借着极高的吞吐、极低的响应延迟和丰富的功能特性,成为企业在缓存场景中的首选方案。但在突发、热点访问及异地多活场景下,原生Redis方案会出现主从复制延迟、数据同步不连续、多地写入等问题,无法解决海量数据在规模、成本、数据
来源 | 经授权转载自 百度智能云技术站 公众号 AI 应用对存储系统的挑战是全面的,从离应用最近的数据计算如何加速,到离应用最远的数据存储如何管理,到数据存储和数据计算之间如何高效流通,再到不同应用之间的资源调度如何协调 …… 这其中每一个环节的低效,都有可能拖累最终的 AI 任务的最终完成时间,让 AI 应用在一直等待数据,多个 AI 应用之间无法高效并发。 本次分享,将以存储系统为视角,对 AI 应用加速中的全部流程进行展开,分析其中关键节点和讲解相应技术,并分享百度智能云在 AI IaaS 建设
数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。依靠对象存储(Cloud Object Storage,COS)作为数据湖存储底座的成本优势,为数据湖生态中的计算应用提供统一的数据湖入口,加速海量数据分析、机器学习、人工智能等业务访问存储的性能。
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 没想到,就在大家争相发大模型的时候,鹅厂另辟蹊径在算力上下手了。 刚刚,腾讯云最新一代HCC(High-Performance Computing Cluster)高性能计算集群,来了! 面向大模型训练,采用最新一代腾讯云星星海自研服务器,搭载了NVIDIA H800 Tensor Core GPU,可提供业界目前最高的3.2T超高互联带宽。 实测结果显示,腾讯云新一代集群的算力性能较前代提升高达3倍。 以训练自家大模型效果为例——万亿参数的混元NLP大
MySQL HeatWave 是 MySQL 数据库的一项新技术,它是由 Oracle 公司开发的,专为云环境下的高性能分析应用而设计。该技术能够显著提升 MySQL 数据库在大规模数据分析场景下的性能和吞吐量,为企业提供更高效、更快速的数据处理能力。本文将介绍 MySQL HeatWave 的原理、特点和应用场景,以及它在数据库领域带来的重要意义。
GDCC 分 布 式 云 云智相生 GDCC 2023 4月20日,2023全球分布式云大会·北京站正式召开。作为本次AIGC数智中国科技周的重要组成部分之一,大会以“云智相生”为主题,着眼于分布式云和人工智能,以分布式云促进人工智能发展,以人工智能降低分布式云上云和用云门槛,为构建数智中国夯实基础设施和技术底座。 本次大会,全球分布式云联盟携手腾讯云等海内外云计算领军企业和运营商,共同开启分布式云智能化新纪元。 腾讯云 王登宇 在上午举办的分布式领袖论坛上,腾讯云存储专家架构师 王登宇发表了题为《
用户把他们的基础设施移出数据中心以外,总是会涉及延迟问题,那些寄希望于云供应商能够提供高性能的云存储的用户,就不得不学会妥协,要么部分地放弃对高性能的要求,要么就只有选择内部部署。 高性能云存储曾经一度被认为是难以实施的,但是,现在有越来越多的新兴技术纷纷问世,它们可以让用户鱼与熊掌兼得,也就是说用户可以使用基于云的基础设施运行IO密集型和对延迟敏感型的应用。 高性能云存储可以让企业用户在受到云存储限制所制约的云中运行高要求的数据库应用。它不仅可以让用户实现应用的本地部署,而且能够通过广域网利用廉价的可扩
5月26日,2023数据基础设施技术峰会在苏州举办,腾讯云首席存储技术专家温涛受邀出席并分享了腾讯云领先的存储技术在AIGC场景中的应用,通过对AIGC业务流程和场景的提炼,从内容生成、内容审核和内容智理三要素介绍了如何智能的存储和管理数据。下面我们一起回顾下温涛的精彩分享。
AI 已经成为各行各业软件研发的基础,带来了前所未有的效率和创新。今天,我们将分享苏锐在AWS量化投研行业活动的演讲实录,为大家介绍JuiceFS 在 AI 量化投研领域的应用经验,也希望为其他正在云上构建机器学习平台,面临热点数据吞吐不足的企业提供一些启发。
云服务器加速方式可以提高服务器性能、优化网络连接和加速应用程序响应时间。以下是一些常见的云服务器加速方式:
今天心血来潮,突然想起以前对于架构设计的理解,也是多年来总结的一个结果,分享给大家,欢迎拍砖!
http://www.csdn.net/article/2014-06-27/2820432
网络的发展好像在各方面都是滞后于计算和存储,时延方面也不例外,网络传输时延高,逐渐成为了数据中心高性能的瓶颈。
IDC 数据显示,2021-2025年,边缘侧生产、汇聚、分析的数据在数据总量中占比持续攀升,边缘算力已成为算力体系的重要构成部分。同时,在整个算力体系中,边缘计算作为中心云算力的延伸,既能覆盖端侧算力,实现业务需求的就近处理,也能承接中心应用能力的下沉,缓解中心压力。因此,边缘云提供的分布式云计算能力,成为诸多业务的不二选择。
据测算,数据存储约占大模型训练整体工程量的20-30%。随着更多AIGC的产生,这个比例还在继续提升。
由焉知汽车主办的第三届焉知智能电动汽车年会于5月31日-6月2日盛大举行,在“焉知之夜”的颁奖盛典上,第二届年度汽车界重磅公益奖“知鼎奖”隆重揭榜。腾讯云存储荣获【智能电动汽车科技创新奖(智能驾驶)】,获得各界权威认可。
大模型推动AI进入新纪元,对计算、存储、网络、数据检索及调度容错等方面提出了更高要求。在9月7日举行的2023腾讯全球数字生态大会“AI超级底座专场”上,腾讯云介绍异构计算全新产品矩阵“AI超级底座”及其新能力。
腾讯云存储首席技术专家 温涛 受邀在6月2日由焉知汽车主办的第三届焉知智能电动汽车年会“ADAS与智能驾驶论坛”中分享自动驾驶和AIGC场景下的存储解决方案,下面让我们一起回顾下温涛的精彩演讲:
日前,腾讯云数据库KeeWiDB在微拍堂成功落地,读写、查询性能全面提升。KeeWiDB为微拍堂提供高性能、高效率、低成本的数据库服务,助力微拍堂提升用户体验。 作为行业领先的艺术品电商平台,微拍堂经过8年时间发展,目前已拥有超1亿用户,入驻商家超33万,业务占比稳居行业之首。在业务持续增长的态势下,其自研的Hades数据库已无法满足TB级的终端设备信息存储需求。基于成本、性能等诸多方面的对比分析和测试,微拍堂最终选择了腾讯云数据库KeeWiDB,对原有数据库进行替换升级。 作为腾讯云全新一代分布式KV存
在当今快速发展的人工智能领域,数据作为AI模型训练的基石,其处理和存储方式对模型的性能有着决定性影响。特别是在AIGC和自动驾驶技术的研发中,对数据处理的要求更是严苛。
在使用 Elasticsearch Service 进行数据索引和查询时,以下是一些技术实践可以帮助提高性能和优化查询:
CSG存储网关是基于腾讯云高性能、高可靠性的对象存储系统COS对外提供iSCSI、NFS和CIFS/SMB访问协议。作为一种混合云方案, 帮助用户不用修改本地应用就可以把数据上传到COS。网关可以部署在用户IDC也可以部署在腾讯云上,产品形态如下所示。
2020年12月19日,2020 TECHO PARK 腾讯开发者大会在北京顺利召开。网络专场以“全球互联、高速上云”为主题,腾讯云网络产品专家工程师周显平带来了《腾讯云网络VPC大规模演进实践》的演讲,子标题《百万级虚拟网络、千万级云主机规模下云网络的挑战与思考》,重点讨论云网络在支持超大规模节点和流量上在可扩展,高可用,高性能, 可运维上面临的挑战, 以及腾讯云在这方面的实践。本文主要从腾讯云网络VPC的产品架构、云网络VPC的挑战、以及腾讯云网络的解决方案、重点讲解SDN控制器、虚拟交换机、云服务网关的演进路线。
CI/CD(持续集成/持续部署)的实现主要依赖于自动化工具和流程。以下是CI/CD实现的核心步骤和业界流行的方案:
近日,腾讯云原生数据库TDSQL-C 发布新版本,在云原生架构、基础硬件能力、自研内核等方面进行了全面升级。本次升级涵盖了基于英特尔 傲腾持久内存的二级缓存、全链路RDMA网络、7*24持续无锁备份等核心功能。性能测试结果显示,在全缓存场景、大数据集场景中,新版TDSQL-C 性能全面超越业内其他云原生数据库产品,对比传统云数据库达到200%性能提升。此外,TDSQL-C价格仅为商业数据库的1/10,是企业上云的最佳选择。
Redis中国用户组(China Redis User Group),简称CRUG,是中国地区最大的Redis技术交流社区。社区成立有近3年的时光,是信仰、是信念、是信心、是坚守,让我们一起见证成长。感谢不离不弃、长久的陪伴!自2019年始,每一年的CRUG年会,都诚挚地邀请大中华地区所有的Redis用户都共襄盛举、畅谈梦想。
过去十年,随着技术的颠覆性创新和新应用场景的大量涌现,企业IT架构出现了稳态和敏态的混合化趋势。
GooseFS是 腾讯云存储团队推出的分布式缓存方案,主要针对需要缓存加速的数据湖业务场景,提供基于对象存储COS服务的近计算端数据加速层。
2020年突如其来的新冠疫情,VIPKID发挥“互联网+教育”的专长,为抗击疫情力所能及地做出一份贡献。积极扩容在线直播系统,全力以赴为学生们提供安全的学习环境,为学校提供便利的授课工具,并保证每一节课程的教学质量,让家长和老师放心,让孩子安心。
随着数据流量的不断增长,特别是大数据时代到来后,各行业业务产生的流量激增,数据中心面临着来自应用和数据的网络压力也在“狂飙”。数据中心亟待解决数据中心之间的海量数据高速迁移问题,消除数据中心间的带宽瓶颈,大幅提升数据中心间的带宽利用率等问题。大数据的时代来临,数据中心网络重要性日益显现。
本文介绍了腾讯云批量计算在高性能计算场景下的优势,通过对比传统超算集群和云计算资源的不同,分析了腾讯云批量计算在成本、效率、易用性、场景覆盖、资源调度、安全合规等方面的优势。同时,文章还分享了腾讯云批量计算如何帮助企业优化计算流程,提升业务效率,降低企业成本,并推动高性能计算在更多场景的广泛应用。
引言 是否遇到过,一个简单的业务统计需求却让数据工程师们抓耳挠腮? 是否遇到过,业务峰值周期明显,要么资源大量闲置, 要么线上疯狂告警? 是否遇到过,大数据集群运维复杂,需要投入大量技术工程师? 针对以上痛点, 腾讯云发布云原生数据湖计算服务,协同腾讯云端数据湖体系,帮助企业高效构建云端数据湖架构、降低数据计算成本,提升数据分析敏捷性、激发数据应用价值,助力企业数字化决策。 本文作者:ericshhxie 一、数据湖的前世今生 2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊(Jame
2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊(James Dixon)首次提出数据湖的概念。把数据湖中的数据比作原生态的水——它是未经处理的,原汁原味的。数据湖中的水从源头流入湖中,各种用户都可以来湖里获取、蒸馏提纯这些水(数据)。此时, 大家对于数据湖的理解主要是当作一个集中式的存储系统,允许存储任意规模的结构化和非结构化数据。
针对以上痛点, 腾讯云发布云原生数据湖计算服务,协同腾讯云端数据湖体系,帮助企业高效构建云端数据湖架构、降低数据计算成本,提升数据分析敏捷性、激发数据应用价值,助力企业数字化决策。
引言 是否遇到过,一个简单的业务统计需求却让数据工程师们抓耳挠腮? 是否遇到过,业务峰值周期明显,要么资源大量闲置, 要么线上疯狂告警? 是否遇到过,大数据集群运维复杂,需要投入大量技术工程师? 针对以上痛点, 腾讯云发布云原生数据湖计算服务,协同腾讯云端数据湖体系,帮助企业高效构建云端数据湖架构、降低数据计算成本,提升数据分析敏捷性、激发数据应用价值,助力企业数字化决策。 本文作者:ericshhxie 一、数据湖的前世今生 2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊(James
如何轻松应对复杂应用的微服务架构设计?如何实现高效的容器化组件管理,快速成为 Go 高薪工程师?本文,作者将结合经典 IM 项目,带你深入微服务架构精髓,探究主流微服务框架Go-Zero框架底层运作机制和框架自研之道,让你从分布式系统架构设计、容器化部署管理、高并发性能提升、系统监控等,多维度掌握Go开发高薪技能,助力你快速成为行业急需人才。
腾讯云内存型服务器具有大内存的特点,适合高性能数据库、分布式内存缓存等需要大量的内存操作、查找和计算的应用,腾讯云百科分享腾讯云内存型M4云服务器配置CPU内存性能注意事项:
设计模式(Design Pattern)是软件开发领域的宝贵经验,是多人反复借鉴和广泛应用的代码设计指导。它们是一系列经过分类和归纳的代码组织方法,旨在实现可重用性、可维护性和可理解性。使用设计模式,我们能够编写高质量的代码,使其更易于他人理解,并提供了代码可靠性的保证。
近日,腾讯云存储解决方案总监温涛受邀在2024数据基础设施技术峰会-“智算中心技术创新论坛”分享了腾讯云的数据智能生态创新之路,剖析腾讯云数据湖在赋能AIGC多模态大模型方面的应用实践。
“任何时候,只要当您将您的基础设施迁移到数据中心以外的地方时,都会涉及到延迟,您将遭遇到以光的速度运行的问题。”位于马萨诸塞州米尔福德的企业策略集团公司(Enterprise Strategy Group)的分析师斯科特·辛克莱表示说。“光的速度只能这么快。” 对于那些在其云供应商之外,同样需要高性能存储的企业客户而言,他们要么学会妥协,要么只能选择存储在企业内部。然而,现如今有一类新的技术方法越来越多的兴起,其建议使得您的企业组织可以实现鱼和熊掌的兼得了,即:帮助您有可能实现将I/O密集、延迟敏感的应用程
领取专属 10元无门槛券
手把手带您无忧上云