首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Longhorn 企业级云原生分布式容器存储-券(Volume)和节点(Node)

本节假设您了解 Kubernetes 持久存储(persistent storage)的工作原理。有关更多信息,请参阅 Kubernetes 文档。...查看使用卷的工作负载 现在,用户可以识别现有 Longhorn 持久卷 (PV) 的当前工作负载或工作负载历史记录,以及它们绑定到持久卷声明 (PVC) 的历史记录。...文件系统扩展 只有在以下情况下,Longhorn 才会尝试扩展文件系统: 扩展的大小应大于当前大小。 Longhorn volume 中有一个 Linux filesystem。...但文件系统大小将与恢复快照的大小相同。在这种情况下,您需要手动处理文件系统: 将卷附加到随机节点。 登录对应节点,对文件系统进行扩容。...节点上的引擎进程会随 Pod 一起迁移到其他节点。 drain 完成后,节点上应该没有引擎或副本进程在运行。两个实例管理器仍将在节点上运行,但它们是无状态的,不会中断现有工作负载。

1.9K20

韩国国民搜索 NAVER:为 AI 平台引入存储方案 JuiceFS

为什么选择使用 JuiceFS JuiceFS 是一种分布式文件系统,采用“数据”与“元数据”分离存储的架构,文件数据本身会被切分保存在对象存储(例如 Amazon S3),而元数据则可以保存在 Redis...接下来,我会详细介绍 JuiceFS,并解释为什么选择应用 JuiceFS。 配置 元数据引擎(Metadata Engine):负责管理文件的元数据(文件名、大小等)。...JuiceFS 本身直接支持 nubes,但可以通过使用具有 MinIO 接口的 nubes-s3-proxy 来访问。 HDFS HDFS 是 JuiceFS 默认支持的存储系统。...(参见 JuiceFS CSI Driver issue #707) 支持根据 PVC 元数据设置 mountOptions AiSuite 中存在多种 AI 工作负载,如 AI 学习、服务和数据处理等...JuiceFS 支持多种可根据工作负载进行调整的缓存选项。更多详细信息,请参考 cache。

22510

详解Kubernetes存储体系

---- Volume、PV、PVC、StorageClass由来 先思考一个问题,为什么会引入Volume这样一个概念?...” 在没有介绍Kubernetes Volume之前,先来回顾下Docker Volume,Docker Volume常用使用方式有两种, volumes通过这种方式,Docker管理宿主机文件系统的一部分...看到这里其实已经完成了80%的工作,那么为什么还要设计多此一举的PV呢?这个问题先搁置下,后面会有说明。 在没有说明为什么要设计多此一举的PV PVC之前,先来看看什么是PV PVC?...而PV PVC绑定起来的前提是PV中spec中声明字段大小、权限等必须满足PVC的要求。 成功绑定之后,就可以在Pod Yaml编排文件中定义和使用。...一起发布、管理与迭代,缺点是迭代速度慢、灵活性差;Out-of-Tree的Volume Plugins的代码独立于Kubernetes,它是由存储提供商实现的,目前主要有Flexvolume CSI两种实现机制

90220

TKE中手动扩容云盘数据卷(下)

注:本文以腾讯云容器服务集群进行测试,对pvc进行扩容,实际是云盘大小扩容,对应容器内相应磁盘空间进行适配 开始之前 首先当然是要有一个 Kubernetes 1.12 版本的集群,在日常使用中,对应pvc...10G大小不足以适用于长期使用,会出现存储达到上限,就要考虑pvc大小扩容。...介绍: 云盘数据卷扩容包括以下几个部分: 云盘物理空间扩容,需要在云盘控制台操作; 文件系统扩容,需要挂载云盘到一个物理节点手动操作; PV、PVC Size更新,需要更新StorageClass、PVC.../vde 查看当前文件系统是否已增加分区表 e2fsck -f /dev/vdb 强制检查文件系统的正确性 resize2fs /dev/vdb 调整分区大小 image.png 调整完成后,云盘控制台...卸载云盘,启动pod,自动挂载pvc image.png 执行:kubectl exec nginx-5c4ff48bb4-pxpbx -- df -h 检查大小是否已修改 可执行stat 检查扩容期间对应文件是否修改

1.9K42

JuiceFS CSI Driver 的最佳实践

Kubernetes 里面对存储有三个概念,第一个是 PV,也就是持久卷,代表的是集群中的一份存储,可以定义存储的类型、大小等,比如指定它是哪一种类型, NFS 或 GlusterFS ,也可以指定它是...第二个概念是 PVC,持久卷申明,代表的是 Pod 使用存储的一份请求,Pod 直接使用 PV 而是通过 PVC 来使用 PV。...另一个是 StorageClass,持久卷类型,代表的是集群中的存储类型,它不定义存储的大小,只定义类型,在使用的时候 Kubernetes 会根据 StorageClass 自动创建 PV。...但在该方案中当 Kubernetes 在创建 Pod 之前会根据 StorageClass 中指定的类型和 PVC 中指定的容量大小等参数,自动创建出对应的 PV,这种方式相比之下解放了系统管理员。...由于 JuiceFS 是用户态文件系统,CSI 在完成 Mount 工作的时候,首先是会在节点上创建一个挂载点,同时会 fork 出一个 mount 进程,也就是 JuiceFS 客户端。

97110

Longhorn 云原生分布式块存储解决方案设计架构和概念

快照的工作原理 快照就像镜像(image)的一层,最旧的快照用作基础层,较新的快照在顶部。如果数据覆盖旧快照中的数据,则数据仅包含在新快照中。一系列快照一起显示了数据的当前状态。...换句话说,在 Kubernetes 中设置现有存储的典型工作流程如下: 在您有权访问的物理或虚拟存储的意义上设置持久存储卷。 添加引用持久存储的 PV。 添加引用 PV 的 PVC。...在您的工作负载中将 PVC 挂载为卷。 当 PVC 请求一块存储时,Kubernetes API 服务器将尝试将该 PVC 与预先分配的 PV 匹配,因为匹配的卷可用。...例如,配置了许多 50 Gi PV 的集群与请求 100 Gi 的 PVC 匹配。将 100 Gi PV 添加到集群后,可以绑定 PVC。...添加引用 StorageClass 的 PVC。 将 PVC 挂载为工作负载的卷。

1.7K30

Kubernetes中的PV和PVC分析与使用

PV和PVCkubernetes存储管理中的重要概念,在日常生产场景中使用非常广泛。本文主要介绍PV和PVCkubernetes中的基本概念、使用场景以及实现原理。...Pod 中; nfs:将 NFS (网络文件系统) 挂载到 Pod,可以多挂; kubernetes的一个重要的基本理念是:向应用开发者隐藏真实的基础设施,使他们不需要关心基础设施的具体状况信息,并使应用程序可以在不同的云服务商之前进行迁移...Pod 可以请求特定数量的资源(CPU 和内存);同样PVC也可以请求特定的大小和访问模式。...Volume Controller寻找PV的条件主要是: (1)PVC和PV的spec字段中指定的规格,例如存储(storage)的大小; (2)PVC和PV的storageClassName必须一样。...为什么Pod使用这个PVC就可以实现容器的持久存储呢?其实容器的Volume就是将一个宿主机上的目录跟一个容器里的目录绑定挂载。

6.7K20

PersistentVolume、PersistentVolumeClaim && StorageClass

主控节点中的控制回路监测新的 PVC 对象,寻找与之匹配的 PV 卷(如果可能的话), 并将二者绑定到一起。...例如,即使某集群上制备了很多 50 Gi 大小的 PV 卷,也无法与请求 100 Gi 大小的存储的 PVC 匹配。当新的 100 Gi PV 卷被加入到集群时, 该 PVC 才有可能被绑定。...卷模式 特性状态: Kubernetes v1.18 [stable] 针对 PV 持久卷,Kubernetes 支持两种卷模式(volumeModes):Filesystem(文件系统) 和 Block...这类卷以块设备的方式交给 Pod 使用,其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助, Pod 和卷之间不存在文件系统层。...GID 匹配或缺失将会导致无权访问错误。 为了减少与用户的协调,管理员可以对 PersistentVolume 添加 GID 注解。

1.3K20

Kubernetes存储系统介绍及机制实现

容器存储接口(Container Storage Interface,CSI )是一项跨行业标准倡议,旨在降低云原生存储开发工作的门槛,从而进一步确保兼容性水平。...目前还只是alpha版本,使用时需要在feature-gate中enable,推荐在production环境中使用。...四、Persistent Volume与Persistent Volume Claim 一个运行中的容器,缺省情况下,对文件系统的写入,都是发生在其分层文件系统的可写层的(Copy-on-Write)。...Kubernetes使用两种资源管理存储: PersistentVolume(简称PV):由管理员添加的的一个存储的描述,是一个全局资源,包含存储的类型,存储的大小和访问模式等。...PersistentVolumeClaim(简称PVC):是Namespace里的资源,描述对PV的一个请求。请求信息包含存储大小,访问模式等。

1K10

k8s实践(七):存储卷和数据持久化(Volumes and Persistent Storage)

在每个容器中,都可以在其文件系统的任意位置挂载卷。 2. 为什么需要Volume   容器磁盘上的文件的生命周期是短暂的,这就使得在容器中运行重要应用时会出现一些问题。...,而把这项配置的工作交给PV的配置者,即集群的管理者。...当集群用户需要在其pod中使用持久化存储时,他们首先创建PVC清单,指定所需要的最低容量要求和访问模式,然后用户将待久卷声明清单提交给Kubernetes API服务器,Kubernetes将找到可匹配的...mypvc,访问卷模式为ReadWriteOnce,大小为2G;WO、ROX、RWX、RWO表示可以同时使用卷的工作节点的数量而并非pod的数量。...定义,pv002访问模式匹配,pv003大小匹配。

4.9K33

Longhorn 微服务化存储初探

一、Longhorn 安装 1.1、准备工作 Longhorn 官方推荐的最小配置如下,如果数据并不算太重要可适当缩减和调整,具体请自行斟酌: 3 Nodes 4 vCPUs per Node 4 GiB...需要注意的是添加新磁盘时,磁盘挂载的软连接路径不能工作,请使用原始挂载路径或通过 mount --bind 命令设置新路径。 ?...tmpfs 7.8G 0 7.8G 0% /sys/firmwareCopy Volume 扩展过程中 Longhorn 会自动处理文件系统相关调整...,但是并不是百分百会处理,一般 Longhorn 仅在以下情况做自动处理: 扩展后大小大约当前大小(进行扩容) Longhorn Volume 中存在一个 Linux 文件系统 Longhorn Volume...中的 Linux 文件系统为 ext4 或 xfs Longhorn Volume 使用 block device 作为 frontend 非这几种情况外,如还原到更小容量的 Snapshot,可能需要手动调整文件系统

1.7K20

【每日一个云原生小技巧 #18】Storage Classes

Storage Class 是 Kubernetes 中定义不同存储类型的一种方法。它为管理员提供了一种描述他们提供的存储的方式,并允许用户以抽象的方式使用这些存储。...使用卷扩展: 如果可能,选择支持扩展的存储解决方案,这样可以根据需求动态调整卷的大小。 利用参数和策略: 不同的存储提供者可能支持不同的参数(如 IOPS 配置、数据复制因子等),根据需要合理配置。...volumeBindingMode: Immediate 在这个示例中,我们定义了一个名为 fast-storage 的 Storage Class,它使用 AWS EBS 作为存储提供者,选择了 gp2 类型,文件系统为...回收策略设置为 Retain,表示当 PVC 被删除时,PV 不会被自动删除。同时允许卷扩展,并且在 PVC 创建时会立即进行卷绑定。...当这个 PVC 被提交给 Kubernetes API 时,根据 fast-storage Storage Class 的定义,Kubernetes 会自动在 AWS 上创建一个 50Gi 的 gp2

16130

kubernetes 功能介绍

Docker Engine: Docker 引擎,负责本机的容器创建和管理工作。...这样,设置持久化的工作流包括配置底层文件系统或者云数据卷、创建持久性数据卷、最后创建claim来将pod跟数据卷关联起来。...PV和PVC可以将pod和数据卷解耦,pod不需要知道确切的文件系统或者支持它的持久化引擎。 PV PersistentVolume(PV)是集群之中的一块网络存储。...在PVC绑定PV时通常根据两个条件来绑定,一个是存储的大小,另一个就是访问模式 StorageClass 上面通过手动的方式创建了一个NFS Volume,这在管理很多Volume的时候不太方便。...PVC跟Pod类似:Pod消费Node的源,而PVC消费PV资源;Pod能够请求CPU和内存资源,而PVC请求特定大小和访问模式的数据卷。

1.6K30

kubernetes管理存储资源

容器销毁时,保存在容器内部文件系统中的数据都会被清除。 为了持久化保存容器的数据,可以使用 Kubernetes Volume。...当然,运维这样的存储系统通常不是项简单的工作,特别是对可靠性、高可用和扩展性有较高要求时。 Volume 提供了非常好的数据持久化方案,不过在可管理性上还有不足。...这样就带来一个管理上的问题:应用开发人员和系统管理员的职责耦合在一起了。如果系统规模较小或者对于开发环境这样的情况还可以接受。...PersistentVolumeClaim (PVC) 是对 PV 的申请 (Claim)。PVC 通常由普通用户创建和维护。...需要为 Pod 分配存储资源时,用户可以创建一个 PVC,指明存储资源的容 量大小和访问模式(比如只读)等信息,Kubernetes 会查找并提供满足条件的 PV。

1.3K50

容器服务 TKE 存储插件与云硬盘 CBS 最佳实践应用

原理简介 下面简单了解下 In-Tree 插件 QcloudCbs 的架构图,了解各相关组件分别完成何种工作。 ? 上图是包含 TKE In-Tree 存储插件的 Kubernetes 存储架构图。...sidecar(external-provisioner、external-attacher、external-resizer、external-snapshotter、snapshot-controller)一起构成...TKE 支持在线扩容 PV,对应的云盘及文件系统,即不需要重启 pod 即可完成扩容。但,为了确保文件系统的稳定性,还是推荐先让云盘文件系统处于未 mount 情况下。...这种情况下被扩容的云盘的文件系统被 unmount了。.../pvc-e193201e-6f6d-48cf-b96d-ccc09225cf9c labeled 稍等片刻,pod running,对应的 pv 和文件系统也扩容成功,从 30G 扩容到 40G 了

1.8K22
领券