企业数字化转型过程中,数据价值被显著放大,大数据应用成为不少企业探索的重点。 从技术上看,大数据业务由于数据体量大,且数据量很多时候呈急速膨胀状态;在进行大数据计算分析时,对资源的需求呈现浪涌式特征,又偶有突发性,因此通过上云充分发挥资源按需使用按需付费的优势,成为了不少企业在探索大数据应用时的常见模式。 这其中,企业在综合考量数据安全性、可扩展、可管理和成本效益等因素后,混合云部署的方式就成为了企业的主流选择。 近日,腾讯云存储高级产品经理贺永红在混合云主题论坛上发表演讲,详解了大数据应用上云的新
导语 | 分析型数据仓库经历了共享存储、无共享MPP、SQL-on-Hadoop几代架构的演进,随着云计算的普及,传统的数据仓库架构在资源弹性,成本等方面已经很难适应云原生的要求。本文由偶数科技 CEO,腾讯云TVP 常雷在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术,到海量数据分析技术」 的《新一代云原生数据仓库的应用》演讲分享整理而成,为大家详细剖析新一代云原生数据仓库的架构、原理和实现技术,以及如何充分应用云原生数据仓库的特点来实现云上大数据应用。 点击可观看精彩演讲视频
云服务的出现,让企业的IT需求更多的是通过云服务的方式来提供,购买硬件的需求越来越越少。
大家对公有云、私有云有一定的认识,但经常公有云服务厂商(如alibaba、tencent、baidu、电信)等经常提到专有云或叫专属云,而且强调专有云的优势是安全、可定制,那专有云到底是什么呢?今天我们一起来看一看。
1.云的概念 “云”是网络、互联网的一种比喻说法。通俗来讲,云是对互联网的升级,意味着互联网不仅用于存储数据,还可以为用户提供某种服务。 云”是指以云计算、网络及虚拟化为核心技术,通过一系列的硬件和软件,实现“按需服务”的一种计算机技术。
导读:对于云计算的阐述,我们将从云计算概念、原理、分类、特点和应用这5个方面展开。
大家好,我是来自袋鼠云的浣熊,感谢这次会议的讲师们给我们带来了云原生技术应用的分享,感觉又打开了几个新脉门,解锁了新的武魂。在接下来的分享中,希望大家跟着我们的实践案例做一些探索性的思考。
腾讯云数据中心的建设,是符合国际ISO标准,以及国内的可信云、信息安全等级保护三级标准,这为数据中心的稳定运行以及安全提供了可靠依据。
如今,企业越来越多地采用云存储选项,因为它们需要更多的容量、弹性容量以及更好的方式来管理存储成本。事实证明,越来越多的企业数据和云数据难以让IT部门单独使用他们的数据中心进行管理。
1. 前言 开源列式数据库ClickHouse以极致的性能、超高的性价比获得了广泛好评。在PB级查询分析场景下ClickHouse是最佳解决方案之一。开源ClickHouse集群采用SHARED-NOTHING架构,增加计算节点非常容易。 图1:开源ClickHouse架构 但是,开源ClickHouse也有明显的不足之处: 采用存算一体架构,计算与存储耦合。 存储与计算资源无法独立扩展。用户对计算与存储资源非对称需求越发强烈,并且希望云服务商能够提供更为灵活的资源编排能力。 不具备弹性能力。 开源Cl
导语 | 云原生数据湖致力于扩大公有云市场总量:一方面以低成本优势推动客户上云,另一方面云上客户得以低成本撬动更多结构化和非结构化数据的价值,是一场云厂商的自我革命,本文将为大家洞悉云原生数据湖的神秘面纱,并且首次推出腾讯云的云原生数据湖产品。文章作者:于华丽,腾讯TEG数据平台部研发工程师。 一、云上架构大数据平台的挑战和机遇 选择 Cloud 还是 Local 的诸多讨论和实践中,成本一直是绕不开的话题。“公有云太贵了,一年机器就够托管三五年了”,这基本上是刚开始接触公有云的企业,在进行了详细价格
开源列式数据库ClickHouse以极致的性能、超高的性价比获得了广泛好评。在PB级查询分析场景下ClickHouse是最佳解决方案之一。开源ClickHouse集群采用SHARED-NOTHING架构,增加计算节点非常容易。
以“数实融合,绽放新机”为主题,聚焦产业趋势与技术前沿,打造产业互联网顶级盛会的2021腾讯数字生态大会日前在武汉举办,腾讯云数据库技术负责人程彬进行了《云原生时代的数据库技术实践》的主题演讲,分别从云原生时代数据库技术何去何从,新时代下如何构建TDSQL-C数据库产品和TDSQL-C在云上实践经验等三个方面进行分享。 (以下是通过程彬现场演讲全文整理) 时来云转 云时代的数据库应云而生、依云而建 当云计算这个词还热度未减时,云原生的时代却已悄然而至,也因此用户使用云的方式发生了极大的变化。从之前用
企业在与多个云供应商合作之前,需要评估他们的计算,存储,安全性,以及更多的服务。 企业必须从多个云提供商中进行选择。亚马逊网络服务公司无疑是最大的行业巨头,而微软Azure提供了竞争日益激烈的整套服务。谷歌云平台对于那些可以使用谷歌的基础设施处理大数据需求的企业具有吸引力。IBM公司和Rackspace公司则紧随行业三巨头之后。 企业可能不想被捆绑得太紧密,一个单一的云供应商。在一个云提供的专门服务并不总是可以在另一个。在其他情况下,一个组织内各部门可能已经开发出不同的平台上的服务,需要集中云计算管理团队,
回顾IT产业发展史,自通用计算机诞生至今,算力和处理的分布表现出了在集中式架构和分布式架构之间交替循环的特征,技术进步推动性能提升、成本降低,上一代计算模式普及驱动数据量和计算需求增加,打破既有的成本与效益平衡,进而进入新一轮的周期。每个周期大概是二十年左右的时间:1960-1980——通用计算机诞生伊始,采用基于大型计算机的集中式计算模式,通过分时技术服务于多终端,架构趋向于集中;1980-2000——集成电路技术推动计算机体积缩小、性能提升,PC普及,客户机通过局域网与服务器相连,架构趋向于分散;2000-2020——基于虚拟化、分布式计算等技术,云计算实现随时随地、按需从资源共享池中获取所需资源,架构趋向于集中;如今,5G叠加物联网,终端量和数据量增长,集中式云计算表现出瓶颈,算力开始向边缘侧迁移,因此可以合理地推测,2020年到2030年将会是边缘云计算从兴起到繁荣的关键十年。
向云过渡前,数据中心用户真正应该关心的问题是什么?面对不同的服务需求,数据中心应该寻找什么样的云技术进行改造?决定云计算数据中心效率、能耗、管理等问题的关键技术又有哪些?透过中国本土数据中心的云实践,
最近订阅学习了《深入浅出云计算》专栏,一口气学完之后,做了一些总结笔记形成此文,特分享与你,希望对你有所帮助!本文为下半部分,主要总结了PaaS篇的核心要点。
导语 | 云原生数据湖架构以低成本优势推动客户上云,同时云上客户得以低成本撬动更多结构化和非结构化数据的价值,是一场云厂商的自我革命。本文由腾讯大数据专家工程师于华丽在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术,到海量数据分析技术」的《云原生数据湖新一代数据架构》演讲分享整理而成,为大家详尽介绍云原生数据湖的价值和背景,云原生数据湖架构原则和挑战,同时分析腾讯云数据湖产品,展望腾讯云数据湖解决方案。 点击可观看精彩演讲视频 一、云原生数据湖架构的价值 今天分四个阶段来为大家
一、概念 “云计算”概念由Google提出,一如其名,这是一个美丽的网络应用模式。云计算是是分布式处理(Distributed Computing)、并行处理(ParallelComputing)
引言 是否遇到过,一个简单的业务统计需求却让数据工程师们抓耳挠腮? 是否遇到过,业务峰值周期明显,要么资源大量闲置, 要么线上疯狂告警? 是否遇到过,大数据集群运维复杂,需要投入大量技术工程师? 针对以上痛点, 腾讯云发布云原生数据湖计算服务,协同腾讯云端数据湖体系,帮助企业高效构建云端数据湖架构、降低数据计算成本,提升数据分析敏捷性、激发数据应用价值,助力企业数字化决策。 本文作者:ericshhxie 一、数据湖的前世今生 2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊(Jame
按理说,一项技术进入落地阶段,代表着该项技术已经趋于成熟,但事实上行业对于超融合的认知还很混乱,尤其是用户侧对于超融合的认知更是模糊。
针对以上痛点, 腾讯云发布云原生数据湖计算服务,协同腾讯云端数据湖体系,帮助企业高效构建云端数据湖架构、降低数据计算成本,提升数据分析敏捷性、激发数据应用价值,助力企业数字化决策。
引言 是否遇到过,一个简单的业务统计需求却让数据工程师们抓耳挠腮? 是否遇到过,业务峰值周期明显,要么资源大量闲置, 要么线上疯狂告警? 是否遇到过,大数据集群运维复杂,需要投入大量技术工程师? 针对以上痛点, 腾讯云发布云原生数据湖计算服务,协同腾讯云端数据湖体系,帮助企业高效构建云端数据湖架构、降低数据计算成本,提升数据分析敏捷性、激发数据应用价值,助力企业数字化决策。 本文作者:ericshhxie 一、数据湖的前世今生 2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊(James
从传统关系型数据库到云数据库,数据库在不断演进。与此同时,它也发挥着越来越重要的作用。从云计算、新媒体、音视频、云游戏到移动 App,几乎各行各业都离不开数据库。一方面,数据库作为 IT 基础设施的关键一环,对企业业务的发展起着支撑作用;另一方面,数字化在经济社会中不断深入,数据成为核心要素,围绕数据的生产、存储和消费均依赖数据库。
海量数据时代,大容量、低成本、易扩容的云存储无疑是大势所趋。 在全球市场,以AWS、Azure等为代表的云计算厂商,正在超越传统企业级存储厂商,成为全球企业存储市场数一数二的企业存储供应商。
作者 | 蔡芳芳 采访嘉宾 | 陈龙 2020 年 9 月,主打云数据仓库产品的硅谷独角兽 Snowflake 正式登陆纳斯达克,首日 IPO 筹资高达 33.6 亿美元,是有记录以来金额最大的软件 IPO,突破了 Uber 2019 年 5 月上市创下的最大规模纪录。 如今,大数据技术早已进入普及期,数据仓库 / 分析领域更是巨头林立,既有传统厂商 Oracle、Teradata,也有开源软件 Hadoop,还有云厂商 AWS Redshift、Google Bigquery,在这样一个竞争环境下
文件是现代组织的主要资产。混合云文件服务通过结合云计算和内部部署的文件系统的优势,将在全球范围内越来越多地用于管理和共享文件。
12月6日-7日,由InfoQ 中国主办的综合性技术盛会QCon全球软件开发大会深圳站召开。QCon 内容源于实践并面向社区,演讲嘉宾依据热点话题,面向资深的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。 在 QCon 盛会上,腾讯云大数据专家工程师陈龙为大家带来了题为《看云上 ClickHouse 如何做计算存储分离》的分享,以下是分享整理全文。 各位朋友大家好,我是陈龙,我今天给大家分享的内容是:看云上 ClickHouse 如何做计算存储分离。 首先介绍下我自己,我来自腾讯云
11月3/4日,以“数实融合,绽放新机”为主题,聚焦产业趋势与技术前沿,打造产业互联网顶级盛会的2021腾讯数字生态大会在武汉举办,腾讯云数据库技术负责人程彬进行了《云原生时代的数据库技术实践》的主题演讲,分别从云原生时代数据库技术何去何从,新时代下如何构建TDSQL-C数据库产品和TDSQL-C在云上实践经验等三个方面进行分享。 (以下是通过程彬现场演讲全文整理) 时来云转 :云时代的数据库应云而生、依云而建 当云计算这个词还热度未减时,云原生的时代却已悄然而至,也因此用户使用云的方式发生了极大的变
近日,AutoMQ 团队发布了基于云的开源云原生 Kafka—— AutoMQ for Kafka,所有的代码采用 Apache 2.0 开源许可。AutoMQ 充分挖掘了云原生的技术红利和成本优势,再结合 Serverless 弹性技术,实现了 Apache Kafka 十倍的降本增效。本文从技术架构的角度,来揭秘 AutoMQ 为 Kafka 量身打造的云原生十倍降本方案。
2020 年 9 月,主打云数据仓库产品的硅谷独角兽 Snowflake 正式登陆纳斯达克,首日 IPO 筹资高达 33.6 亿美元,是有记录以来金额最大的软件 IPO,突破了 Uber 2019 年 5 月上市创下的最大规模纪录。 如今,大数据技术早已进入普及期,数据仓库 / 分析领域更是巨头林立,既有传统厂商 Oracle、Teradata,也有开源软件 Hadoop,还有云厂商 AWS Redshift、Google Bigquery,在这样一个竞争环境下,成立于 2012 年的 Snowflake 能脱颖而出实属不易。那么,Snowflake 在数仓技术方面有哪些独到之处?其成功的背后又有哪些技术原因和趋势值得关注?
// 11月3/4日,以“数实融合,绽放新机”为主题,聚焦产业趋势与技术前沿,打造产业互联网顶级盛会的2021腾讯数字生态大会在武汉举办,腾讯云数据库技术负责人程彬进行了《云原生时代的数据库技术实践》的主题演讲,分别从云原生时代数据库技术何去何从,新时代下如何构建TDSQL-C数据库产品和TDSQL-C在云上实践经验等三个方面进行分享。 (以下是通过程彬现场演讲全文整理) 时来云转 :云时代的数据库应云而生、依云而建 当云计算这个词还热度未减时,云原生的时代却已悄然而至,也因此用户使用云的方式发生了极
12月6日-7日,由InfoQ 中国主办的综合性技术盛会QCon全球软件开发大会深圳站召开。QCon 内容源于实践并面向社区,演讲嘉宾依据热点话题,面向资深的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。
在同多个云提供商合作之前,请评估他们在计算、存储和安全等方面的服务。 企业必须在多个云供应商中做出抉择。亚马逊网络服务是行业巨头,而微软Azure则提供了一整套越来越有竞争力的服务。还有谷歌云平台对于那些具有大数据和处理需求的客户来说很有吸引力,他们正好可以利用谷歌的基础架构。IBM和Rackspace则提供三巨头之外的选择。 企业们最好不要与单一的云供应商绑得太紧。在一个云里提供的专业化服务在另一个云里并不一定也存在。在其他情况下,一个组织内的各部门可能会在不同的平台上开发服务,继而需要集中式的云管理团队
导语 | 近几年炙手可热的云原生首先由Matt Stine提出并延续使用至今,但其并没有标准的、严格的定义,比较公认的四要素是:DevOps、微服务、持续交付、以及容器,更多的则是偏向应用系统的一种体系架构和方法论。那么在云上如何改进大数据基础架构让其符合云原生标准,同时给企业客户带来真真切切的数据分析成本降低和性能保障是一个开放性的话题。本文由腾讯专家工程师、腾讯云EMR技术负责人陈龙在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术,到海量数据分析技术」 的《云原生环境下大数据基础技术演进》演讲分享整理而成,与大家分享和探讨在云上如何实现存储计算云原生,以及未来下一代云原生大数据基础架构。
作者 | 北京酷克数据科技有限公司解决方案架构师 陈义贤 自 2015 年阿里率先提出的“大中台、小前台”战略以来,很多企业把数据中台当做是加速数字化转型的关键因素之一。如今数据中台已经度过了“七年之痒”,迈入第八个年头,我们看到了数字化进程在持续加速,技术更新迭代也愈加迅速。 近些年来,随着 5G、AI、物联网等技术的普及应用,数据应用场景被释放,数据源不断丰富,数据量持续快速攀升。云原生技术使企业组织能在公共、私有和混合云等现代动态环境中构建和运行可扩展的应用程序,成为数字化技术发展的主流,该趋势也开
2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊(James Dixon)首次提出数据湖的概念。把数据湖中的数据比作原生态的水——它是未经处理的,原汁原味的。数据湖中的水从源头流入湖中,各种用户都可以来湖里获取、蒸馏提纯这些水(数据)。此时, 大家对于数据湖的理解主要是当作一个集中式的存储系统,允许存储任意规模的结构化和非结构化数据。
问题导读: 1.云计算能够解决什么问题? 2.公有云面临哪些问题? 3.要建设云,你认为需要解决什么问题? 4.为什么选择openstack,建设公有云? 最近在负责公司内部私有云的建设,一直在思考怎么搞云计算,怎么才能够把云架构设计得好一些。本文尽量全面的列出了云架构建设和选型的考量因素。 我们主要从五个层面逐步评估云架构的建设和选型,分别是: 行业生态 企业需求 云计算的能力 潜在的挑战 如何建设 一、行业生态 计算机云经过多年的发展,由一开始的概念,慢慢发展成熟并能够推向市场,提供多种多样的服务,
全球网络的一种比喻说法,起初用于表示电话网络,现在通常用于表示 Internet。
数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。依靠对象存储(Cloud Object Storage,COS)作为数据湖存储底座的成本优势,为数据湖生态中的计算应用提供统一的数据湖入口,加速海量数据分析、机器学习、人工智能等业务访问存储的性能。
能否利用TStack的计算、网络和存储能力,将Oracle运行在X86服务器,IP网络,云存储的“云化”架构上,去掉IOE架构中的I和E呢?
2006年,Google在搜索引擎大会首次提出“云计算”(Cloud Computing)的概念。云计算已经从公有云逐步进入到各行各业自建的数据中心,以私有云或者混合云的方式帮助用户加速数字化转型。在企业数据中心的云建设模式上,出现了两种不同的架构。一种模式我们称为全栈云,即云厂商提供全栈的软硬件,或者是云厂商提供全栈的云软件+用户采购标准的服务器。另一种模式我们称为分层解耦云,计算、存储、网络等基础设施由多家厂商提供,虚拟化软件、云管平台、服务应用等软件也由多家厂商提供。 近年来我们看到全球不同国家、不
作者:陈龙 腾讯专家工程师、腾讯云EMR技术负责人 |导语 在金融行业IT系统国产化的大背景下,国内金融行业开始推动IT基础设施国产化,逐渐摆脱对于传统IOE架构的依赖。微众银行自成立之初,就放弃了传统IOE架构路红,结合腾讯金融级分布式数据库TDSQL,建立了基于DCN单元化架构模式的分布式基础平台。如今这套架构承载了微众银行数亿级别的用户规模,数百套银行核心系统,和每天数亿次的金融交易。 近几年炙手可热的云原生首先由Matt Stine提出并延续使用至今,但其并没有标准的、严格的定义,比较公认的四要
生信云(计算)作为生物信息学发展的产物,它在生物信息学整个学科发展中起到了举足轻重的作用。生物信息学领域科研人员日常进行的数据分析工作已经和生信云紧紧联系在一起。在可以预见的几十年内,生信云将会成为云计算领域中消耗资源最多、影响力最大的方向之一。
本文介绍了腾讯云与百迈客生物科技达成战略合作,并发布了生物基因解决方案,包括提供云计算、存储、人工智能等IT能力,帮助生物基因行业发展,同时通过腾讯云双螺旋PaaS平台,快速基于云计算开展科研工作,推动精准医疗落地,普惠社会。
多云计算如今已成为企业热门的主题。Mesosphere公司在最新发布的调查报告表明,多云采用率将逐年翻番,越来越多的企业正在将他们的工作负载迁移到大规模生产的多云上,其中许多是容器化的微服务。
2017年,VMware发布了VMware Cloud on AWS,吹响了私有的基础架构云厂商进驻公有云,并为公有云用户提供基础架构服务的号角。这是一个标志性的事件,一方面,表明公有云基础架构服务的灵活性、重要性不但被越来越多中小型用户认可,同时,也得到了以VMware为代表的私有云行业龙头企业的认可和关注;另一方面,反应出公有云提供的基础架构服务在某些场景下,需要其它基础架构供应商进行补充,从而满足差异化的市场需求。
我们如今所在的时代中,云计算无疑是当下最为热门的技术:各大中小企业都在纷纷将自己的业务迁移到公有云上,大企业都在忙着搭建自己的私有云架构,再通过私有云架构日后演进到混合云计算架构。
领取专属 10元无门槛券
手把手带您无忧上云