首页
学习
活动
专区
圈层
工具
发布

私有云与AI双场景下,分布式存储如何选型?

三、分布式存储的三副本与纠删码,如何权衡?确定存算分离后,下一个问题是数据可靠性如何保障。分布式存储依靠多副本或纠删码防范硬件故障,两种机制各有取舍。...成熟的分布式存储支持按存储池配置不同策略:热数据用三副本保性能,温冷数据用纠删码省空间。...ZStack企业版分布式存储支持对象、块、文件三种存储类型,可以在同一套存储底座上按业务场景灵活配置可靠性策略,无需为不同需求部署多套存储。四、AI场景下,存储架构需额外考虑哪些维度?...ZStack分布式存储和ZStack AIOS智塔处于同一技术体系内,存储资源和GPU算力的调度可以协同规划,避免存储和计算各自为政、互相等待。...五、私有云存储选型的实操建议将前述逻辑落到具体动作,企业在做分布式存储选型时可按以下顺序推进。先分清负载类型,再选架构。

19910

难言之隐,分布式存储软硬件解耦究竟难在哪里?

分布式存储“软硬件解耦”之错觉来源 或许我们需要把镜头投向21世纪初期,Google提出分布式存储架构的概念并予以实践,在其强大的技术和维护团队支撑下,实现了基于在标准服务器上部署自研分布式存储软件,构建成大规模存储集群...分布式存储软硬件解耦之难点剖析 难言之隐,分布式存储软硬件解耦究竟难在哪里?...软硬件一体的分布式存储有机会克服如上两大缺陷。...我们看到业界先进的分布式存储产品,采用了类似于全闪存存储的电池保护(BBU)、系统级全局垃圾回收,达到了媲美传统生产存储的高并发压力下的1ms稳定时延,从而为分布式存储进入企业生产应用提供了性能的SLA...无论如何波折,分布式存储未来可期 正所谓不管白猫、黑猫,抓到老鼠的就是好猫。我们相信在较长一段时间内,分布式存储软硬件一体和软硬件解耦会长期共存。

98820
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    小白科普:分布式和集群

    将不同的业务分布在不同的地方, 这就构成了一个分布式的系统,现在问题来了, 系统A是整个分布式系统的“脸面”, 用户直接访问,用户量访问大的时候要么是速度巨慢,要么直接挂掉, 怎么办?...2集群(Cluster) 小明的公司不差钱,就多买几台机器吧, 小明把系统A一下子部署了好几份(例如下图的3个服务器),每一份都是系统A的一个实例, 对外提供同样的服务,这样能睡个安稳觉了,不怕其中一个坏掉了...双11来了就创建虚拟服务器,等到双11过去了就把不用的关掉, 省得浪费钱。 于是小明的系统具备了一定的弹性。...如果没有, 用户就会抱怨,我刚创建的购物车哪里去了?...还有一种办法, 就是把状态信息集中存储在一个地方, 让集群的各个服务器都能访问到: ? 小明听说Redis 不错, 那就用Redis来保存吧 !

    4.3K30

    OPPO R15来了,网友:刚买了R11s,就出R15,你觉得我还会买吗?

    配备了后置双摄像头,而前置摄像头依旧采用了到 2000万像素。...搭配6GB内存、128GB机身存储,内置3450mAh容量电池,支持VOOC闪充技术。前置2000万像素镜头,3-HDR硬件实时分级曝光技术,大幅提升逆光自拍效果。...所有的钱都用来给明星代言费,试问你的手机研究经费能高到哪里?质量?这种机子我们业内叫它“一次性手机”。 网友:有些人能别觉得自己最清醒吗?...网友:你们都说你们的oppo这不好那不好,可是我的oppo r7s还好好的呀,我15年12月份买的,用到现在了,摔了好几次了,屏都没有碎,就是钢化膜碎过两三次,手机也就偶尔卡过几次,还是因为我操作的原因卡的...大家还是参考下值不值得买 好了 才几个月研制的新机 也不会有太大突破。所以还是会有很多追星族,义无反顾的买的。才刚买r11s,反正买不起!

    14.3K70

    一文看懂存储资源盘活系统架构

    它是纯软件的存储控制器,能够安装在任意Linux服务器上,可以把各服务器中分散的磁盘整合成高性能的存储资源池,通过分布式双控制器架构保证了低延迟、高可用、易拓展的特性;通过完善的控制台、命令行与API来统一调度管理所有存储资源...存储资源盘活系统的架构体系有两个核心:软件定义存储与分布式存储。...分布式存储的兴起与互联网的发展密不可分,互联网公司由于其数据量大而资本积累少,而通常都使用大规模分布式存储系统。...其主要原因有以下三点(1) 互联网的业务发展很快,而且注意成本消耗,这就使得存储系统不能依靠传统的纵向扩展的方式,即先买小型机,不够时再买中型机,甚至大型机。...HBlock采用了独特的分布式双控架构。宏观上,整体设计为分布式系统,可通过增加节点横向扩容的方式提升系统的吞吐能力和容量。微观上,系统提供虚拟卷级的多路径能力。对于每个虚拟卷都设计了两个控制器。

    2.7K30

    【秋招备战计划第二弹】最后俩月能提升的知识清单

    往期链接 【已加精】【求职准备专题】第一弹:备战秋招即刻出发 写在最前面吧 这是一个纯 从自身经历和能力出发的个人分析案列 不具备普适性 个人标签 大三 - 2022届 - 双非本科...滴答清单 【秋招备战计划第二弹】最后俩月能提升的知识清单 又是一个 比较庸俗的标题做开头 这一期 分享一下 秋招要准备的必备知识点 当然 仅仅是站在我自己 春招的面试经验上 得知的 看看自己哪里还有疏漏的...hash:键值对集合,是一个字符串类型的 Key和 Value 的映射表,也就是说其存储的Value是一个键值对(Key- Value)。可以用来存放一些具有特定结构的信息。...IO多路复用 四大问题 缓存雪崩 海量数据 缓存击穿 热点数据过期 缓存穿透 查询没有的数据 一致性问题 双删延时的解决办法 更新数据库产生的binlog订阅(...SQL语句入门必备 《大型网站技术架构》 淘宝二手买的正版用券3块钱包邮 但是活动没了 不放链接了 十分建议新手看这个书籍 缓存集群都讲了很简单 面试吹B必备 牛客专栏 Java工程师 求职经验分享

    2.4K10

    好物推荐

    当一个阵列硬盘组不合适,我唯一想到的就是一个智能的硬盘盒了额,售价108元,不过固态硬盘感人的价格.我也是实在不知道这个东西的用处在哪里.看商品得定位是SSD的解决方案.可以支持到2T....适用于树莓派双TF卡转换器 双系统切换器 兼容PI 4B/3B+/3B/2B/B+ 看介绍可以知道,这个东西是树莓派全系列使用的,让我们来设想一种使用场景.你在keil系统上面抓完包,突然想玩把游戏...,不需要切换存储卡,只需要拨动一个开关....(首先别问为什么突然想玩游戏,我哪里知道).可能一方面是怕存储卡丢失.总之这个创意我给满分.35元的售价不算太高,也算是和有趣的配件....我没有zero,据说50快的东西.国内都是100快我舍不得买. ---- 这个东西卖59,我觉得不算贵.而且接口齐全.而且加进来了专门的网线口,有了这个东西就能有很多玩法,至少可以做个旁路由用吧

    9.5K20

    存储09-glusterfs&ceph&minio

    glusterfs、ceph、minio在开源界,属于比较流行应用较广的三个分布式存储系统。现在重点介绍下,这三个分布式系统的架构以及和raid的类比,让大家把存储明明白白的搞透彻。...ceph最佳实践 1)服务器是3的倍数,采用三副本机制 2)前后端网络分离(前后端段均为双万兆网口bond,mode=4) 3)一般情况下2U的机器,除去系统盘后(服务器后面板2块做raid1),前面板可以插...假设:dell R740XD2(后面板2块系统盘raid1,前面板12个3.5寸盘位,机箱中部12个3.4寸盘位) 1)初期采购了4台dell R740XD2(后面板2块系统盘raid1,前面板12...2)存储容量耗尽,又采购了4台dell R740XD2(后面板2块系统盘raid1,前面板12个3.5寸10T磁盘,机箱中部0磁盘) /etc/hosts 192.168.1.25 minio01...,公司没钱买新机器通过扩盘解决 /etc/hosts 192.168.1.25 minio01 192.168.1.26 minio02 192.168.1.27 minio03 192.168.1.28

    8.1K32

    十万亿条消息背后的故事

    2007 年,淘宝技术架构进行了调整,将交易系统从单体应用变成分布式,也是在这个过程中产生了阿里巴巴第一代消息中间件 Notify。...在“双 11”流量压力下,每年都有出现问题的风险,消息会延迟半天甚至一天以上,这就造成商家卖出去的商品,看不到买家已经买掉了。...那么,就需要设计一个全新的存储架构。...“RocketMQ 每一行代码都很关键,并发问题怎么解决、存储问题如何解决,我当时做梦的时候都在想这些问题该怎么解决。...更重要的是,“全世界都能看到这个产品到底好在哪里,不好在哪里”。 开源是一种生产力的体现,由数百人、数千人、数万人一起协作开发,同时又吸收全世界所有公司、所有行业、所有业务场景的需求。

    7.9K10

    双11腾讯云大使推广赚钱攻略💰

    获取【返佣合辑活动页】双key推广链接的方式:获取主会场双key链接后,自行替换双key链接中的双十一活动链接为返佣合辑页链接。...建议推广双十一活动【购买即赠】或云产品特惠活动【买赠专区】产品,该区产品最低价为 ¥58;满足所有返佣额外激励活动中订单金额的激励门槛。图片图片二、双十一推广常见问题Q&A1、推广哪些服务器返佣?...1)老用户有四款白名单返佣产品:老用户产品首购/复购/续费仅限GPU云服务器、CBS云硬盘、网站建设、对象存储COS,按10%返佣,其他产品均不参与。...新手大使抽奖活动仅针对新会员和1星会员,抽奖时间为11月5日12:00 至 12月4日23:59 ,获得的抽奖次数如果在2022年12月4日23:59前未进行抽奖,抽奖次数则失效,默认放弃抽奖机会。...】产品,该区产品均买赠企业额外激励门槛。

    66.2K350

    腾讯云双十一重磅优惠来袭,带你掌握最强攻略密码

    开团/参团商品门槛说明双 11 大促活动页面的指定商品(详情见下),下单成功后才能开团 / 参团,单个商品或者多个商品合并下单均支持,加购商品不包含在内双 11 大促活动页面包括如下:1、主会场;2、分会场...;3、会员专场指定商品具体如下: 1、包年时长产品:a) 新购订单:订单时长需 12 个月及以上; b) 续费订单:订单时长需 3 个月及以上,EdgeOne 续费订单时长需 12 个月及以上; 2、资源包类产品...拼团奖励除了拼团带来的优惠之外,官方还为大家准备了拼团好礼福利 1-成团礼:买包年包月赠时长,买资源包赠额度,单台赠送价值最高可达 1.3 万元具体规则来看下面:I、包年包月产品:a) 新购订单:云服务器...、轻量应用服务器(不含境外地域)、轻量对象存储、轻量云硬盘赠送3个月时长;其余产品赠送1个月时长;b) 续费订单:云服务器、轻量应用服务器(不含境外地域)、轻量对象存储、轻量云硬盘续费12个月及以上赠送...八、我的福利什么时候下发,在哪里查看?拼团成功,福利预计3~5分钟自动发放至账户,您可前往订单详情 > 及 代金券列表 >查看九、我有多台机器参与拼团,每台都能送时长吗?支持。

    28K10

    等保2.0灾备合规:你的业务撑得住吗?

    我碰到过太多人,以为买几台备份一体机就能过关,结果评审时被揪出RPO和RTO不达标,业务连续性方案形同虚设。今天咱们就聊聊,等保2.0到底对灾备提了什么要求,以及怎么一步步填坑。...有个客户就中过招,他们用了专业备份服务商的解决方案,但没做离线存储,结果病毒把备份池也加密了。后来他们学乖了,加了蓝光存储做冷备,才算踏实。 第三个坑是“混合云灾备的配置混乱”。...四级系统,得上两地三中心架构,本地双活加异地容灾。别迷信单一技术,比如,有些人以为买了备份一体机就能搞定所有,其实它只适合小规模场景,大规模还得搭配分布式存储。 第三步:落地执行。...后来我们帮他们换了CDM技术,搭配分布式存储做本地备份,再通过远程复制到异地。项目花了三个月,RPO降到1小时,RTO降到4小时,评审一次过。...他们的安全负责人说,以前以为灾备就是买软件,现在才知道,业务连续性是个系统工程。 最后几点提醒 别把等保2.0当成负担,它其实是倒逼你完善业务连续性的机会。数据恢复不是终点,灾难恢复才是。

    19910

    2018面试总结

    这里老高给做技术的同学们一个建议,最好有自己的独立博客,不论是用gayhub,还是自己买服务器,最差也要在CSDN开一个账户,写一写自己的开发中遇到的问题以及解决方案,或者自己对一些东西的研究,日积月累下来肯定会自己有很大的提升...,不论是表达能力还是编码能力,同时你的文章也可能帮助到大家,这种一箭双雕的事情真的可以搞一搞!...- 优化字段类型,优化sql,索引和慢查询(针对存储引擎优化) - 适当的做一些冗余(可选) - 加入缓存,减轻DB压力 - 加入读写分离,用中间件或者在代码层处理 - 预估数据增量和读写比,准备合适的分表策略...redis的分布式锁? 参考很有名的Redlock,分为单点和集群。思路还是比较简单的,就是要注意有些操作需要原子操作(考虑的真多啊,比如有死机,gc等情况)。...老高觉得要从下面几点入手: 阅读经典,读的书不在多,在于精,读完能消化才能算真正的读书,以往老高读书的目的性太强,哪里不会读哪里,哪里有意思读哪里,虽然也看了不少技术书籍,其实真正能消化的不多。

    81440

    人人都能看懂的云计算知识科普 !

    于是,张三家添了几双筷子几个碗,可以让别人来吃,相当于一台物理机虚拟出更多台虚机。谁家有多少粮食、几张桌子、几双筷子、几个碗,村长记在自己的小本本上,相当于统一调度,形成了资源池。...没错,虚拟化和分布式就是要在计算、存储和网络上实现共产主义!...其中虚拟化做的是造一个资源池,而分布式做的是用一个资源池。 虚拟化包括计算虚拟化、网络虚拟化和存储虚拟化。...存储虚拟化通常做的是多虚一,除了解决弹性、扩展问题外,还解决备份的问题。 ? 什么是虚拟化和分布式? 公有云、私有云、混合云和社区云是什么东东? 张三、李四、王五住一栋楼,楼下一个大规模的饭店。...有没有发现,越是在城市里,越是发达,种小麦的、买小麦的、买面粉的就越少,买馒头的越多?那就对了,这是社会分工的结果。而云计算同样会向着高度分工的方向进化。 还有同学问,存储到底算是哪一层呢?

    4.4K20

    java 中高级面试题_Java中高级面试题

    为什么会有; 7)wait和sleep的区别,必须理解; 8)JVM的内存结构,JVM的算法; 9)强引用,软引用和弱引用的区别; 10)数组在内存中如何分配; 11)用过哪些设计模式,手写一个(除单例); 12...springmvc的核心是什么,请求的流程是怎么处理的,控制反转怎么实现的; 13)spring里面的aop的原理是什么; 14)mybatis如何处理结果集:反射,建议看看源码; 15)java的多态表现在哪里...2)TreeMap如何插入数据:二叉树的左旋,右旋,双旋; 3)一个排序之后的数组,插入数据,可以使用什么方法?答:二分法;问:时间复杂度是多少?...集群如何同步; 5)redis的数据添加过程是怎样的:哈希槽; 6)redis的淘汰策略有哪些; 7)redis有哪些数据结构; 七.zookeeper: 1)zookeeper是什么; 2)zookeeper哪里用到...; 3)zookeeper的选主过程; 4)zookeeper集群之间如何通讯; 5)你们的zookeeper的节点加密是用的什么方式; 6)分布式锁的实现过程; 八.linux相关: 1)linux

    1.7K21

    Java中高级面试题

    为什么会有; 7)wait和sleep的区别,必须理解; 8)JVM的内存结构,JVM的算法; 9)强引用,软引用和弱引用的区别; 10)数组在内存中如何分配; 11)用过哪些设计模式,手写一个(除单例); 12...springmvc的核心是什么,请求的流程是怎么处理的,控制反转怎么实现的; 13)spring里面的aop的原理是什么; 14)mybatis如何处理结果集:反射,建议看看源码; 15)java的多态表现在哪里...2)TreeMap如何插入数据:二叉树的左旋,右旋,双旋; 3)一个排序之后的数组,插入数据,可以使用什么方法?答:二分法;问:时间复杂度是多少?...集群如何同步; 5)redis的数据添加过程是怎样的:哈希槽; 6)redis的淘汰策略有哪些; 7)redis有哪些数据结构; 七.zookeeper: 1)zookeeper是什么; 2)zookeeper哪里用到...; 3)zookeeper的选主过程; 4)zookeeper集群之间如何通讯; 5)你们的zookeeper的节点加密是用的什么方式; 6)分布式锁的实现过程; 八.linux相关: 1)linux常用的命令有哪些

    1.9K50

    Java中高级面试题

    为什么会有; 7)wait和sleep的区别,必须理解; 8)JVM的内存结构,JVM的算法; 9)强引用,软引用和弱引用的区别; 10)数组在内存中如何分配; 11)用过哪些设计模式,手写一个(除单例); 12...springmvc的核心是什么,请求的流程是怎么处理的,控制反转怎么实现的; 13)spring里面的aop的原理是什么; 14)mybatis如何处理结果集:反射,建议看看源码; 15)java的多态表现在哪里...算法: 1)java中常说的堆和栈,分别是什么数据结构;另外,为什么要分为堆和栈来存储数据。...2)TreeMap如何插入数据:二叉树的左旋,右旋,双旋; 3)一个排序之后的数组,插入数据,可以使用什么方法?答:二分法;问:时间复杂度是多少?...; 3)zookeeper的选主过程; 4)zookeeper集群之间如何通讯; 5)你们的zookeeper的节点加密是用的什么方式; 6)分布式锁的实现过程; 九. linux相关: 1)linux

    1.5K50

    活动回顾|Milvus 冬日限定趴 No.2

    12 月 8 日晚 19:00,「Milvus 冬日限定趴」 在 Zilliz 视频号直播间与大家相聚!...来自什么值得买的架构师杨守斌和苏宁的智能运营研发中心技术总监宋志也来到直播间与大家分享了 Milvus 在电商领域中的实践。...#02 Milvus 在值得买的以图搜图实践 接下来分享的是来自什么值得买的架构师杨守斌。他首先从业务需求和难点出发,从技术选型和模型设计上阐述了选择 Milvus 搭建商品匹配系统的优势。...随后通过与其他向量检索分布式系统进行对比,阐述了选择 Milvus 的理由。最后,他详细介绍了 Milvus 在苏宁的易购推荐与组货场景中的应用。...在硬核的技术干货分享之外,两位嘉宾还向大家分享了在双 11、618 等购物节期间难忘的经历。最后,两位嘉宾分享了自己与开源社区结缘的经历,并表达了对开源精神的喜爱和支持。

    2.3K30

    程序员双十一剁手指南

    鲁迅先生曾经说过,世界上本没有双11,败家的剁手党多了,也就有了双11。 ?...而作为为了各大电商平台默默提供背后的支持的程序员们,自然也是需要过节的,顺便还能测试一下自己写的程序,搭建的数据库稳不稳定,好不好用,那么,程序员们在双11,可以买哪些不落俗套的东西,显得自己独立而出众...冬天到了,这样一双潮男必备椰子鞋,不仅能显示出与众不同的品味,还能一边潮流,一边保暖,既要风度,也要温度。 霸王洗发水(17元) ?...腾讯云自研的新一代企业级分布式云原生数据库CynosDB,融合了传统数据库、云计算与新硬件技术的优势,100%兼容 MySQL,是新一代商用级数据库,百万级QPS的高吞吐,超百TB分布式智能存储,保障数据安全可靠...↓↓点击直达双11会场~

    4.8K30
    领券