存储与计算的分离_计算存储分离_存储计算分离-计算组件 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

计算应该与存储分离吗？

，计算与存储应该分离吗？...注意，本文不牵扯到具体的技术细节和代码，要是被读者发现了有错误，请大胆指出。计算与存储的关系在聊计算与存储分离这个话题，先来看看计算与存储的关系。计算机语言中的计算和存储其实来源于数学。...计算与存储分离只是一个苗头而已。随着网络速度进入千兆网、万兆网时代，计算机之间的网络传输速度几乎可以媲美计算机内部的磁盘 IO，计算与存储分离的概念开始有了实际的价值。...计算与存储的探索第一个搞出计算与存储分离的自然是 Hadoop 和其对应的数据分析领域。...总结计算与存储分离发展成了“云原生”，成为了云数据库的标配，比如 TiDB 严格的存储归存储，计算归计算；当然也有像 CockroachDB 一样的数据库，坚持存储与计算不分离。

2.3K1 0

聊聊计算和存储分离

“计算和存储分离” 2.何为计算？...上面我们说了在计算机中计算和存储其实是分离不开的，我们想想如果将计算和存储分离开来，通过高速网络进行交互，那么我们的CPU的每一条指令都需要通过网络传输，而我们的网络传输和我们当前的CPU速度完全不匹配...，所以我们的计算和存储分离其实是一个伪需求，当然在未来的某一天如果我们的网络传输的时间可以忽略不计，计算和存储分离也就能真正的实现了。...3.为何需要计算和存储分离计算和存储分离并不是现在才出现的一个新名词，在20年前就有NAS-网络附加存储这个东西，本质上也就是使用TCP/IP协议的以太网文件服务器。...4.谁在使用计算和存储分离上面我们讲了很多理论相关的知识，相信大家已经对“计算和存储分离”已经有一定的认识了,那么其到底在哪些地方做了使用呢？

4.2K1 1

您找到你想要的搜索结果了吗？

是的

没有找到

容器化RDS｜计算存储分离 or 本地存储？

数据库服务的需求可以简化为：实现数据零丢失的前提下，提供可接受的服务能力。因此存储架构的选型至关重要。到底是选择计算存储分离还是本地存储？...本文就这个问题，从以下几点展开：回顾：计算存储分离, 本地存储优缺点 MySQL 基于本地存储实现数据零丢失性能对比基于 Docker + Kubernetes 的实现来分享个人理解。...回顾：计算存储分离，本地存储优缺点 ? 还是从计算存储分离说起。计算存储分离 ?...性能对比3：本地存储 / 计算存储分离为了对比本地存储和计算存储分离，专门使用 MGR + 本地存储架构和基于分布式存储的计算存储分离架构做性能对比。...来支持计算存储分离架构和本地存储架构混合部署，架构示意图如下： ?

3.5K2 2

容器化RDS｜计算存储分离 or 本地存储

数据库服务的需求可以简化为: 实现数据零丢失的前提下,提供可接受的服务能力因此存储架构的选型至关重要. 到底是选择计算存储分离还是本地存储?...本文就这个问题, 从以下几点展开 : ●回顾 : 计算存储分离, 本地存储优缺点 ●MySQL 基于本地存储实现数据零丢失 ●性能对比 ●基于 Docker + Kubernetes 的实现分享个人理解...回顾 : 计算存储分离, 本地存储优缺点还是从计算存储分离说起, 计算存储分离先说优点 : ●架构清晰 ●计算资源 / 存储资源独立扩展 ●提升实例密度, 优化硬件利用率 ●简化实例切换流程...本地存储如果在意计算存储分离架构中提到的缺点, 本地存储可以有效的打消类似顾虑, 无需引入分布式存储, 避免Storage Verdor Lock In 风险, 所有问题都由DBA 闭环解决,....性能对比3 : 本地存储 / 计算存储分离为了对比本地存储和计算存储分离, 专门使用 MGR + 本地存储架构和基于分布式存储的计算存储分离架构做性能对比.

9.5K8 0

ClickHouse存储计算分离在腾讯云的实践

2.4K2 0

存储优化--分区与冷热分离

3.2 冷热分离方案冷热分离方案有两种，一种是冷热数据都使用同一种类型的数据库，另一种是将冷数据存储在NoSQL数据库中。下面们我来分别讲解一下。...这种方法比较简单，每次只需要判断以下是否变成了冷数据即可，虽然能保证数据实时性，但是无法按照日期时间来区分冷热数据，而且所有与数据修改相关的代码都要加上冷热分离代码。...这种方式的好处是与业务代码完全解耦，低延迟，但是缺点和方式一一样无法按照日期来区分冷热数据，并且会出现业务代码和冷热分离逻辑代码同时操作同一条数据的问题，也就是并发问题。...这种方式的优点是与业务代码分离，并且可以根据日期时间区分冷热数据，缺点是无法做到实时性。根据上面三种方式的描述来看，工单系统适合使用定时扫描数据库的方式来实现冷热分离。...另一种是使用线程池，先统计出需要迁移的冷数据总数，再根据每个线程最大迁移数据量计算出需要多少个线程，如果所需线程数量超过线程池中线程的数量的话，那么就将线程池中的所有线程全部启动（并不是线程越多效率越高

8393 0

京东Elasticsearch使用ChubaoFS实现计算存储分离

作者 | 王行行张丽颖策划 | 田晓旭 Elasticsearch 是一个开源的分布式 RElasticsearchTful 搜索引擎，作为一个分布式、可扩展、实时的搜索与数据分析引擎，它可以快速存储...此类日志化场景对写要求很高，查询性能及高可用等要求相对较低，大的业务写会达到数千万 / 秒，存储以 PB 为单位来计算。...ChubaoFS 是京东自研的、为云原生应用提供高性能、高可用、可扩展、稳定性的分布式文件系统，设计初衷是为了京东容器集群提供持久化存储方案，同时也可作为通用云存储供业务方使用，帮助有状态应用实现计算与存储分离...基于这种假设以及对提高磁盘使用率的迫切需要，我们考虑引入了公司内部部署的 ChubaoFS 作为存储，将 Elasticsearch 作为无状态的实例进行存储计算分离。...张丽颖：CNCF Ambassador，京东零售计算存储平台产品经理，开源项目 ChubaoFS 的 contributor。

2.2K3 0

云数据仓库的未来趋势：计算存储分离

四 AnalyticDB弹性模式与Redshift类似，AnalyticDB最初也是基于传统的MPP架构来构建的。2020年5月，AnalyticDB推出了计算存储分离架构的弹性模式。...与Snowflake、Redshift不同，计算节点与分区之间没有固定的映射关系，因为计算节点没有本地的cache，数据访问的加速完全依赖于存储层的SDD、内存cache。...，存储层与计算层之间传输的数据量约为260GB。...粗看这个结果比较惊讶，计算存储分离后，性能更好了。我们可以仔细分析下，弹性模式与不分离模式具有相同的存储节点数，确保分离模式存储节点不会成为瓶颈。...对于计算层来说，只要存储层能够提供足够的数据吞吐，确保计算层的CPU能够打满，那么计算存储分离不会降低查询的处理吞吐，当然相比于不分离模式，会多消耗资源。

2.2K4 0

容器化RDS｜计算存储分离架构下的IO优化

在基于 Kubernetes 和 Docker 构建的私有 RDS 中，普遍采用了计算存储分离架构。...计算存储分离架构架构示意图如下： ? 存储层由分布式文件系统组成，以 Provisoner 的方式集成到 Kubernetes。...在我们看来，计算存储分离的最大优势在于：将有状态的数据下沉到存储层，这使得 RDS 在调度时，无需感知计算节点的存储介质，只需调度到满足计算资源要求的 Node，数据库实例启动时，只需在分布式文件系统挂载...其他的好处还有很多，譬如架构更清晰，扩展更方便，问题定位更简单等，这里不赘述。计算存储分离架构的缺点俗话说的好：上帝为你关上一扇窗的同时，再关上一扇门。如下图所示： ?...原文地址：http://blog.mariadb.org/mariadb-introduces-atomic-writes/ 计算存储分离架构：关闭 DoubleWrite 所以，重点是我们需要测试一下在计算存储分离架构下

1.3K6 0

容器化RDS｜计算存储分离架构下的 IO 优化

摘要在基于 Kubernetes 和 Docker 构建的私有 RDS 中，普遍采用了计算存储分离架构。...计算存储分离架构架构示意图如下： ? 存储层由分布式文件系统组成，以 Provisoner 的方式集成到 Kubernetes....在我们看来, 计算存储分离的最大优势在于：将有状态的数据下沉到存储层，这使得 RDS 在调度时，无需感知计算节点的存储介质，只需调度到满足计算资源要求的 Node，数据库实例启动时，只需在分布式文件系统挂载...其他的好处还有很多，譬如架构更清晰，扩展更方便，问题定位更简单等，这里不赘述。计算存储分离架构的缺点俗话说的好：上帝为你关上一扇窗的同时，再关上一扇门。如下图所示 ?...原文地址 : http://blog.mariadb.org/mariadb-introduces-atomic-writes/ 计算存储分离架构 : 关闭 DoubleWrite 所以, 重点是我们需要测试一下在计算存储分离架构下

1.1K8 0

容器化RDS｜计算存储分离架构下的 IO 优化

在基于 Kubernetes 和 Docker 构建的私有 RDS 中，普遍采用了计算存储分离架构。...计算存储分离架构架构示意图如下： ? 存储层由分布式文件系统组成，以 Provisoner 的方式集成到 Kubernetes....在我们看来, 计算存储分离的最大优势在于：将有状态的数据下沉到存储层，这使得 RDS 在调度时，无需感知计算节点的存储介质，只需调度到满足计算资源要求的 Node，数据库实例启动时，只需在分布式文件系统挂载...其他的好处还有很多，譬如架构更清晰，扩展更方便，问题定位更简单等，这里不赘述。计算存储分离架构的缺点俗话说的好：上帝为你关上一扇窗的同时，再关上一扇门。如下图所示 ?...原文地址 : http://blog.mariadb.org/mariadb-introduces-atomic-writes/ 计算存储分离架构 : 关闭 DoubleWrite 所以, 重点是我们需要测试一下在计算存储分离架构下

1.2K4 0

容器化RDS｜计算存储分离架构下的IO优化

沃趣科技熊中哲·联合创始人/产品研发团队总监在基于 Kubernetes 和 Docker 构建的私有 RDS 中, 普遍采用了计算存储分离架构....计算存储分离架构架构示意图如下: 存储层由分布式文件系统组成, 以 Provisoner 的方式集成到 Kubernetes ....在我们看来, 计算存储分离的最大优势在于: 将有状态的数据下沉到存储层, 这使得 RDS 在调度时, 无需感知计算节点的存储介质, 只需调度到满足计算资源要求的 Node, 数据库实例启动时, 只需在分布式文件系统挂载...计算存储分离架构的缺点俗话说的好上帝为你关上一扇窗的同时, 再关上一扇门....所以, 重点是我们需要测试一下在计算存储分离架构下(分布式存储必须支持 Atomic Write ), 关闭 DoubleWrite Buffer 的收益.

2.2K6 0

尚博：CynosDB 计算存储分离架构的实现和优化

3月16日在北京举行的腾讯云自研数据库CynosDB交流会圆满落下帷幕。现将技术团队分享的内容整理如下。今天跟大家分享一下CynosDB for MySQL计算存储分离架构的实现和优化。...计算与存储分离架构，不仅在性能、扩展性和高可用方面有大幅提升，而且架构的解耦使得计算层和存储层都获得了很大的优化空间，接下来主要讲一下CynosDB架构的实现，以及在新架构上做了哪些方面的优化。...CynosDB则引入计算存储分离的架构，存储层使用共享的分布式块存储云服务，计算层则将不必要的IO全部卸载，实现计算与存储基于日志传输的新架构。...，而CynosDB的恢复在存储分片上独立进行，整个优化在计算层实现，使得我们仅仅将锁进行分区即可。...CynosDB计算层的恢复将变得无比简单，仅仅需要获取一个VDL即可，存储层的恢复过程和计算层是并行且异步进行的，和传统架构中恢复必须先完成才能进行事务回滚不同，CynosDB在获得VDL之后即刻进行事务回滚

2K2 1

作业帮检索服务基于 Fluid 的计算存储分离实践

通过对检索系统运行和数据更新流程的分析，当前面临的关键问题是由于计算和存储的耦合所带来的，因此我们考虑如何去解耦计算和存储，只有引入计算存储分离的架构才能够从根本上解决复杂度的问题。...计算存储分离最主要的就是将每个节点存储本分片全量数据的方式拆分开，将分片内的数据存储在逻辑上的远程机器上但是计算存储分离又带来了其他的问题，比如稳定性问题，大数据量下的读取方式和读取速度，对业务的入侵程度等等问题...，虽然存在这些问题，但是这些问题都是可解决以及易解决的基于此我们确认计算存储分离一定是该场景下的良方，可以从根本上解决系统复杂度的问题。...2计算存储分离架构解决复杂度问题为了解决上述计算存储分离所需要考虑的问题，新的计算存储分离架构必须能达到以下目标： 1、读取的稳定性，计算存储分离终究是通过各种组件配合替换掉了原始文件读取，数据加载方式可以替换...7展望计算和存储分离的模式使得以往我们认为非常特殊的服务可以被无状态化，可以像正常服务一样被纳入 devops 体系中，而基于 Fluid 的数据编排和加速系统，则是实践计算和存储分离的一个切口，除了用于检索系统外

5071 0

为什么说存储和计算分离的架构才是未来

为了解决数据的快速访问，Google 创造性地提出来了计算和存储耦合的架构，在同一个集群中实现计算和存储功能，并将计算的代码移动到数据所在的地方，而不是将数据传输到计算节点，有效解决了分散在各个弱连接的存储节点间的海量数据访问的困难...在数据本地化优化得很好的大数据计算集群中，大量网络带宽是闲置的，而因为存储和计算耦合在一个集群中，带来了一些其它问题：在不同的应用或者发展时期，需要不同的存储空间和计算能力配比，使得机器的选型会比较复杂和纠结...后来 Facebook 就逐渐往计算和存储分离的架构迁移，也对所用的大数据软件做了些调整以适应这种新的架构，他们在今年的 Apache Spark & AI Summit 上做了主题为 Taking Advantage...针对公有云设计的大数据分析服务 Databricks 一开始就是采用了计算和存储分离的架构（直接使用 S3 作为存储），给产品带来了非常大的灵活性，按需创建和自动弹性伸缩的 Spark 集群是一大卖点（...因为网络的高速发展，以及大数据计算框架对 IO 的优化，使得数据本地化已经不再重要，存储和计算分离的架构才是未来。

5042 0

看云上 ClickHouse 如何做计算存储分离

三、基于计算存储分离架构下的未来规划 2.png 1. ...在第三代，主要是以 SQL-on-Hadoop 的方式来构建数据仓库，尽管 SQL-on-Hadoop 数仓在硬件架构上仍然基于无共享架构，但在软件架构层面实现了计算与存储的完全分离。...的维护成本降为 0，其按存储量计费的模式，可以大大降低存储成本，云上海量的计算资源可以保证数据仓库的计算需求，那么我们接下看基于云的存储计算分离、资源弹性、统一存储如何构建云上云原生数仓。...腾讯云云数仓 ClickHouse 计算存储分离实现接下来我们看腾讯云云数仓 ClickHouse 计算存储分离实现，要实现 ClickHouse 的计算存储分离，我们首先来看 ClickHouse...，我们在看另一种计算存储完全分离的场景。

2.5K7 1

看云上 ClickHouse 如何做计算存储分离

、基于计算存储分离架构下的未来规划 ?...在第三代，主要是以 SQL-on-Hadoop 的方式来构建数据仓库，尽管 SQL-on-Hadoop 数仓在硬件架构上仍然基于无共享架构，但在软件架构层面实现了计算与存储的完全分离。...的维护成本降为 0，其按存储量计费的模式，可以大大降低存储成本，云上海量的计算资源可以保证数据仓库的计算需求，那么我们接下看基于云的存储计算分离、资源弹性、统一存储如何构建云上云原生数仓。...腾讯云云数仓 ClickHouse 计算存储分离实现接下来我们看腾讯云云数仓 ClickHouse 计算存储分离实现，要实现 ClickHouse 的计算存储分离，我们首先来看 ClickHouse...，我们在看另一种计算存储完全分离的场景。

3.5K3 0

容器化RDS｜计算存储分离架构下的Split-Brain

沃趣科技熊中哲·联合创始人/产品研发团队总监不管是架构选型还是生活, 绝大多数时候都是在做 trade off, 收获了计算存储分离带来的好处, 也意味着要忍受它带来的一些棘手问题....同时也了解到业界最新的数据库技术发展趋势 : ●数据库容器化作为下一代数据库基础架构 ●基于编排架构管理容器化数据库 ●采用计算存储分离架构这和我们在私有 RDS 上的技术选型不谋而合....尤其是计算存储分离架构. 在我们看来, 其最大优势在于: ●计算资源 / 存储资源独立扩展, 架构更清晰, 部署更容易....计算存储分离为实现离线(ODPS)/在线集群的混合部署提供了可能....是不是可以得到这个结论 : 借助 Kubernetes 的原生组件Node Controller, Scheduler和原生API Statefulset, 加上计算存储分离架构, 并将成熟的分布式文件系统集成到

1.8K8 0

腾讯云基于Alluxio优化计算存储分离架构的最佳实践

|导语随着企业大数据规模和应用的增长和发展，计算与存储分离的架构渐渐成为主流，它解决了计算量和存储量不匹配问题，实现了算力的按需使用，但也引来了一些新的问题。...腾讯云EMR团队与Alluxio社区合作，探索出了开箱即用的计算存储分离优化版本，大幅优化网络带宽，带宽削峰20%-50%，节省总带宽10%-50%，同时能在IO密集型场景提升性能5%-40%，下面就让我们来一探究竟...计算存储分离架构目前腾讯云弹性MapReduce(EMR)支持了三种存储系统：EMR-HDFS、EMR-COS、EMR-CHDFS，其中EMR-COS和EMR-CHDFS在EMR中都是开箱即用的原生支持计算存储分离的方案...三、基于Alluxio优化计算存储分离架构传统计算存储分离，解决了计算量和存储量不匹配问题，实现了算力的按需使用，大幅节省了运维规划时间以及闲置的算力成本。...为此，腾讯云EMR团队与Alluxio社区合作，引入最新alluxio2.3.0 Release版本进行深度优化，推出开箱即用的计算存储分离优化版本：EMR2.5.0/EMR3.1.0/EMR-TianQiong

1.5K2 0

腾讯云基于Alluxio优化计算存储分离架构的最佳实践

导语 | 随着企业大数据规模和应用的增长和发展，计算与存储分离的架构渐渐成为主流，它解决了计算量和存储量不匹配问题，实现了算力的按需使用，但也引来了一些新的问题。...腾讯云EMR团队与Alluxio社区合作，探索出了开箱即用的计算存储分离优化版本，大幅优化网络带宽，带宽削峰20%-50%，节省总带宽10%-50%，同时能在IO密集型场景提升性能5%-40%，下面就让我们来一探究竟...三、基于Alluxio优化计算存储分离架构传统计算存储分离，解决了计算量和存储量不匹配问题，实现了算力的按需使用，大幅节省了运维规划时间以及闲置的算力成本。...但直接使用计算存储分离架构，也引入了新的问题：在IO密集型的场景下，网络带宽会成为瓶颈, 可能导致计算 & 存储资源利用不充分；数据本地化不够，导致很多shuffle过程的重复计算，造成部分浪费计算资源的浪费...为此，腾讯云EMR团队与Alluxio社区合作，引入最新alluxio2.3.0 Release版本进行深度优化，推出开箱即用的计算存储分离优化版本：EMR2.5.0/EMR3.1.0/EMR-TianQiong

7003 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭