环境说明 Linux操作系统:CentOS Linux release 7.6.1810 (Core) 平台环境:腾讯云CVM,CBS 本教程相关视频教程:腾讯云大学-云服务器存储扩容 ---- 1....,原有100G空间不够用了,将空间扩容至200G,CBS是腾讯云提供用于云服务器的持久性数据块级存储服务,云盘具有弹性,按需扩容特性,云盘可以任意的按需扩容。...Linux云服务器存储扩容 2.1....cloud.tencent.com/document/product/362/6734 GPT格式磁盘初始化:https://cloud.tencent.com/document/product/362/6735 Linux云服务器存储扩容...:https://cloud.tencent.com/document/product/362/6738 Windows云服务器存储扩容:https://cloud.tencent.com/document
常见的Ceph RBD和腾讯云的CBS驱动就是这种工作方式,在虚拟机中可以看到存储卷/dev/vd*,就是Frondend驱动识别出来的虚拟卷设备; 硬件虚拟化,让PCIe设备支持SR-IOV,虚拟化为多个设备...,这种工作方式常见于网卡(NIC),对于存储设备很少见。...我们刚才提到,在KVM虚拟出的虚拟机中,挂载的云存储卷的设备名一般为vd*, 如vda, vdb, vdc... 而挂载在本地的硬盘设备名一般为sda, sdb......SPDK在后端通过轮询机制,读取Frontend驱动向队列中写入的SCSi命令字,并且利用零拷贝技术消除VirtIO的性能卡点。...对于分布式块存储的场景,有没有好的办法让虚拟机访问远端云盘也取得同样的加速效果呢? 请看下回分解。
在前几期,我们提到了,在云计算时代,由于对存储IO及吞吐的要求迅速增加,传统SAN存储难以满足需求,基于标准x86节点的分布式存储成为了主流。 开源分布式存储的代表是Ceph。...服务器:硬盘怎么突然不在线了? 出于这点考虑,工程师们在服务器上安装了两块硬盘,通过RAID卡,让来自系统的IO被复制到两块硬盘,令两块硬盘存储的内容完全一致。...这种冗余技术叫做RAID-0。 但是,RAID-0有一个致命缺陷:在用新的硬盘替换掉损坏的硬盘的时候,需要将好的那块硬盘内容完全复制一份到新的硬盘,这个过程叫重构,将持续几个小时。...假设Ceph集群由6台服务器构成,其中每台有12块SATA机械盘,单盘IO能力为150 IOPS,那么,我们可以计算出,整个集群有72个OSD,总体IO能力为 150 * 72 / 3 = 3600...如果6台服务器上,每台安装4块这样的NVMe盘,总的读IO能力可达3.6M IOPS,写能力可达640K IOPS。以70%读,30%写计算,IO能力约为1.5M IOPS。
[1501466823180_1478_1501466824713.jpg] 作者介绍:Yh, 2010年加入腾讯,有12年的存储经验,在弹性块存储技术方面经验丰富,本文将其在TEG TALK上的分享内容进行整理...,干货满满,内容包含腾讯云云硬盘产品(CBS)的后台系统的演进历程、核心技术以及大道至简的方法论。...Chunk,提供3副本存储的存储引擎。 Master,总控节点,多机互备提供高可用性。 两层架构的CBS3.0的技术难题? 一、数据组织:数据按什么样的数据结构存在后台分布式系统中。...四、数据多副本:作为一个高可靠性的存储系统,CBS三副本数据存储在不同机架的服务器上。 五、故障恢复:海量存储中,硬件故障是一种常态,怎么在故障中快速恢复服务和数据。...六、数据迁移:设备异常时或者集群扩容时,怎么讲数据从一个服务器迁移到另一个服务器。
然而,由于大家不可能实时监测到群里所有图片,因此,大家打算众筹开发一个小程序,利用机器视觉(CV)来识别偶像和呕像,并委托方老师搞定运行小程序的云资源。...X博:“若想训练电脑识别人脸,需要多给神经网络喂素材……” 原来,CV训练的过程,需要GPU集群做以下的事情: 读取海量的图片素材; 将训练的模型持久化存储; 回到1,迭代模型; 最后,将识别出的江疏影和方方的结果存放在结构化的数据库中...显而易见地,在云上运行这个应用,需要云提供以下的存储资源: 1、可高效访问海量的图片的存储; 2、可快速迭代的神经网络权重模型的持久化存储; 3、高性能随机读写的数据库存储; 那么,用什么样的存储技术...让我们开启新的专题——云存储硬核技术内幕。
上回说到,勤劳勇敢的中国人民,受到《康熙字典》中古老的智慧启发,在对象存储中引入了索引,帮助“觅影”产品快速地从对象存储中筛选出了带有covid-19和Sternum这两个标签的影像用于深度学习。...我们在上期提到,对象存储的metadata,实际上就是key-value的键值对形式的数据。 让我们举一个栗子。 Johnny同学搞到了一本《金瓶梅》,打算把它保存在对象存储里面。...实际上,绝大部分IaaS云服务提供商实现的对象存储,都包括了类似的查询与索引功能。...以腾讯云的COS (Cloud Object Storage)为例,可以设定用户自定义的x-cos-meta-[自定义后缀],来存储用户自行设定的metadata,并可以通过sql等方式查询metadata...当然,如果我们想把对象存储用于生产业务,仅仅提供基于http的RestAPI、一致性哈希、查询与存储功能,还是不够的。 请看下回分解。
先回答在《云存储硬核技术内幕——小结(上)》最后留下的三个问题: Q1、对于大量的小文件的存储,使用什么样的方案合适? A1、可以利用对象存储的热数据存储解决,使用三副本甚至五副本保证性能。...在这段时间里,我们小结了云存储的基本知识、块存储和对象存储的基本实现,以及如何让块存储和对象存储为云计算的基本单位——虚拟机,提供存储服务。...最常见的分布式存储系统是Ceph。Ceph可以提供块存储、文件存储和对象存储三种服务方式。 传统的块存储,客户端(initiator)与服务器端(target)通过TCP协议通讯。...因此,各大云运营商在借鉴Ceph的基础上,都自行开发了分布式存储引擎,如腾讯云的CBS等,通过控制集群规模及引入云原生仲裁等手段实现高可靠的块存储集群。...云对象存储(Cloud Object Storage)就是完美适应这一场景的存储服务产品。 对象存储的访问方式是HTTP。
第1章、什么是服务器 第2章、服务器部件技术 第3章、服务器相关软件和应用...来源:高性能计算专业委员会(HPCTC) 原文:https://mp.weixin.qq.com/s/ucYRcW9PfKPgFwOTnvzNuA END 服务器又中毒了,得治一治...2021-08-03 生信服务器 | 防火墙基本配置 2021-07-26 为 Windows 系统替换优雅的苹果字体 2021-02-19 Linux 中多终端同步 history 记录 2020...-09-17 生信服务器入门级基本设置 2020-06-05
在这段时间里,我们小结了云存储的基本知识、块存储和对象存储的基本实现,以及如何让块存储和对象存储为云计算的基本单位——虚拟机,提供存储服务。...最常见的分布式存储系统是Ceph。Ceph可以提供块存储、文件存储和对象存储三种服务方式。 传统的块存储,客户端(initiator)与服务器端(target)通过TCP协议通讯。...因此,各大云运营商在借鉴Ceph的基础上,都自行开发了分布式存储引擎,如腾讯云的CBS等,通过控制集群规模及引入云原生仲裁等手段实现高可靠的块存储集群。...操作需要从用户态切换到内核态,造成昂贵的CPU时间用在等待中,Intel发布了SPDK (Storage Performance Develop Kit),以类似DPDK的机制,提供用户态驱动,轮询机制,内存零拷贝技术等机制...而在远端的分布式存储上,工程师们又利用NVMe Over Fabric技术,特别是NVMe Over RoCE的实现,将NVMe盘的性能发挥到极致。
在前段时间,我们介绍了云存储的基本知识和Ceph的实现,在这里做一个小结: 在云计算时代,由于需要访问存储的计算节点迅速增加,传统的FC网络扩展性能有限,同时,集中式存储控制器也难以应对无限扩展的计算节点的...最常见的分布式存储系统是Ceph。Ceph可以提供块存储、文件存储和对象存储三种服务方式。 传统的块存储,客户端(initiator)与服务器端(target)通过TCP协议通讯。...前期链接在这里: 云存储硬核技术内幕——开篇 云存储硬核技术内幕——(1) 马克思主义存储社会发展极简史 (上) 云存储硬核技术内幕——(2) 马克思主义存储社会发展极简史 (中) 云存储硬核技术内幕...——(3) 马克思主义存储社会发展极简史 (下) 云存储硬核技术内幕——(4) 记忆的行囊 云存储硬核技术内幕——(5) 七月上,不负勇往 云存储硬核技术内幕——(6) 面壁十年 邃密群科 云存储硬核技术内幕...——(7) 正趣果上果 云存储硬核技术内幕——(8) 只缘身在此山中 云存储硬核技术内幕——(9) 相见时难别亦难 云存储硬核技术内幕——(10) 大叔的迷惑行为 云存储硬核技术内幕——(11) 女子会所的秘密
首先,本书立体地展示了云存储的技术、产品和业务,既详实地阐述了存储关键技术和关键组件,也介绍了多种类型的云存储产品,以及云存储的典型行业和场景应用的解决方案。...面向未来,通过过去3年践行阿里云的“向下做深基础”的战略,发展自研芯片、服务器、磁盘控制器、磁盘介质和高性能网络等技术,不断探索新的体系结构和软硬一体设计,为新的存储系统的演进打开了一扇门。...专家亲笔书评 本书系统地讲解了与存储相关的技术体系和技术细节,以及阿里云存储的关键技术与组件,还对云存储的未来进行了展望。...——孙凝晖 中国工程院院士,中国科学院计算技术研究所研究员 本书并不是一本仅讲述阿里云存储技术细节的书,它还对云存储技术的发展有着总体把握和深刻思考。...其中对数字经济底层范式和云存储技术脉络的梳理,对数据“引力效应”的描述,对数据价值的分析,以及对云存储技术未来走向的分析等内容,都会给读者带来启发和思考。
minio的管理端口是9000 腾讯云服务器安全组策略已经操作放开了9000端口,还是无法访问的话,就需要使用ssh打开nfw防火墙(ubuntu firewall)设置,命令:ufw allow 9000...127.0.0.1:43969 RootUser: minioadmin RootPass: minioadmin 开启相应端口后将http://127.0.0.1:9000中的172.17.0.1替换为服务器地址即可远程访问
一、本地磁盘(DAS存储) 我们直接在云服务器(物理机中)通过PCI-E、SATA、SAS等本地接口挂上一块高速、大容量硬盘,为本地磁盘。在接口中,以SCSI存储协议为主要的通信协议。...在云环境中,本地磁盘主要有两个用途:1、为云宿主机安装linux宿主机操作系统及云管软件(Xen、Kvm等)。2、为要求高性能的应用提供底层存储,如oracle。...三、NAS网络存储 用过windows网络存储的朋友不会陌生,通过CIFS、NFS等网络共享协议将本地的数据存储到远端的NAS服务器。...四、ServerSAN ServerSAN也叫分布式存储,将若干个存储服务器形成集群,对外提供SAN服务。 ServerSAN在目前的公有云环境中,有得特别多。...目前在公有云环境中,块存储实际就是采用该存储方案。如果用户在原私有云采用挂SAN的LUN方式进行存储,到公有云后仍建议客户采用块存储方式解决存储需求。 ?
随着云计算、移动通信、IoT的发展,传统的块设备和文件系统的方式访问面临着越来越多的局限,对象存储应运而生。对象存储使得应用或端设备直接通过web或http访问数据成为可能。...本文介绍如何基于开源的Swift对象存储技术设计并构建一套海量、安全、高可靠、低成本的云存储集群。 构建之前 在进行正式的设计和构建之前,一定要清楚存储系统的使用场景并且明晰存储的需求。...目前云存储主要适用于以下场景: 提供企业内部使用的云盘及文件共享等服务; 备份和归档 作为公有云厂商提供云存储服务 作为私有云的一部分,提供存储 针对具体的场景,我们可以从以下两个方面考虑具体的需求:...1)服务器选型 一个典型的Swift存储集群中,至少包含两种节点:存储节点和代理节点。选择服务器无非考虑硬盘、CPU、内存及网卡。...我们在选择存储节点时往往首先考虑硬盘,然后结合CPU、内存的需求,来决定服务器的选型及服务器的数量。
越来越明显的是,无服务器技术正在失去相关性,并将很快在云技术领域中消失。为什么会这样?我们能从技术的演变中学到什么?...十多年前,当无服务器计算作为一种云计算范式首次出现时,它让我们免于处理详细的计算和存储配置。所有操作都在执行时自动完成。这似乎更像是进化而不是革命,因为 PaaS 系统已经在进行这种类型的计算。...如今,无服务器云技术在云技术市场中越来越不受重视。无服务器计算最初因其简化基础设施管理和可扩展性的承诺而受到赞誉,但随着新的趋势和技术成为焦点,它已被推到了边缘。...无服务器云技术的不断发展标志着企业的一个关键转变。随着传统无服务器模型逐渐被边缘计算、微云和 AI 驱动的解决方案等新兴范式所取代,企业必须重新评估其技术策略。...那些追逐云炒作的企业总是让我担心。目标是找到适合业务需求的技术栈,无论是否使用云。无服务器对这种搜索有一些影响,但影响很小。如果你太在意无服务器日益减弱的影响力,那么你还有更重要的问题需要解决。
大家可能都知道CVM底层的技术是虚拟化,那么虚拟化是什么呢,它是怎么来的? 大家看到CVM的SLA能做99.95%以上的稳定性,甚至超越了承载的物理机的可靠性,靠的是什么原理?...这里有你想要知道的答案,详情请看PPT 虚拟化技术介绍-elontian.pptx
在上期,我们提到了,在kubernetes中,静态PV/PVC的存储分配方式,会在造成资源浪费的同时,很大一部分Pod的存储需求得不到满足。...StorageClass是一种对存储资源的抽象定义,提供了存储资源的动态供给模式。 让我们再看看前文中的栗子。...有3个Pod,叫做Pod A,Pod B和Pod C,分别通过PVC申请了3GiB, 2GiB和 5GiB的存储,并指定存储卷分别来自AWS-ebs(AWS提供的块存储服务),RBD(前文提到过的Ceph...)等数十种存储提供者。...但是,如果其他云存储系统不支持这一参数呢? 这个问题将留到后面解答。 另外一个问题是,如果我们期望把不在上述列表中的存储提供者也接入storageclass,有没有办法实现呢?
在前三期,我们借鉴社会生产力与生产关系的发展历史,小结了一下存储技术的发展: 内置磁盘存储(原始社会)-> DAS存储(奴隶制社会)-> SAN存储(封建社会)-> NAS存储(资本主义社会)-> 基于以太网...+IP的分布式存储 (社会主义社会)-> NVMe固态+SPDK (共产主义社会) 附上前三期链接: 云存储硬核技术内幕——(1) 马克思主义存储社会发展极简史 (上) 云存储硬核技术内幕——(2) 马克思主义存储社会发展极简史...(中) 云存储硬核技术内幕——(3) 马克思主义存储社会发展极简史 (下) 方老师有个迷妹叫子虚,喜欢研究云计算技术,创作歌曲和去旅行。...原来,想让云上的虚拟机带着持久化记忆自由迁移,需要把持久化存储盘放到共享的云资源池中,再把云资源池上的LUN挂载到虚拟机上,当VM发生迁移的时候,在新的宿主机上仍然可以挂载LUN。...由于云计算技术演进到社会主义时代的水平扩容需求,FC SAN Switch显然无法满足数百台宿主机节点的要求——光纤导向器没那么多物理端口,集中式FC SAN存储也没有那么高性能。
在上期提到,对象存储作为低成本,接口通用开放,可远程访问的一种新型云存储形式,得到了广泛的应用,而AWS的S3(Simple Storage Service)也成为了对象存储的事实标准。...然而,AWS的对象存储,并不能部署在私有化环境中。对于安全要求高的系统,如医院PACS影像系统等,就不适合使用AWS的公有对象存储服务。 怎么办呢?...鲁迅说过,对于难以解决的技术问题,可以跟随方老师读一段诗或者散文,就可以解决了。 极乐鸟 传说中有一种极乐的鸟, 它用尽一生唱出最美的歌; 歌声穿过大海飞呀飞, 给人们带来清新与欢乐。...最简单的实现可以基于nginx或apache httpd的Web服务器改造而成。 然而,如果我们需要1PB的存储容量,20000 QPS/20Gbps的性能,该怎么办呢?...解决方案A:市场上高端FC SAN存储一般也支持S3协议,可以购置昂贵的集中式专用存储设备,通过开历史倒车的方式解决这个问题; 解决方案B:顺应历史潮流,使用分布式存储来实现对象存储。
改用混合云存储模式有助于应对安全和合规方面的问题,但随之带来了诸如数据同步和广域网延迟之类的问题。 数据安全和合规问题帮助促使企业对混合云而不是纯公有云或纯私有云解决方案产生兴趣。...在这种混合模式下,公司的一部分数据驻留在私有云上,一部分数据驻留在公有云上,而大部分数据驻留在私有云和公有云上。 然而,混合云存储方案也有其问题。虽然它确实有助于应对合规问题,但是无法消除合规问题。...压缩和缓存的好处取决于具体的使用场合,但通常而言压缩可以实现耗用带宽缩减约6倍(云端的存储数据也可以缩减约6倍),同时缓存通常可以将流量减少约4倍。...主机托管的私有存储可以在一定程度上缓解广域网带宽问题,存储池位于电信公司的设施,并由专用链路连接到公有云。但是通向私有云的连接仍然速度偏慢,所以光纤到电信公司的连接依然是个问题。...在某个时刻,纯公有云解决方案很吸引人。从技术的角度来看,最合适的主机托管就是放在公有云提供商的内部,而这有可能连接纯公有云解决方案。
领取专属 10元无门槛券
手把手带您无忧上云