Rook 本身很复杂，包含很多 Controller，而 Rook 的复杂不仅体现在这里，并且 Ceph 也非常复杂，在部署和运维上有很多需要注意的地方。本文主要剖析 Rook 启动 osd 的流程，如果有部署过 Ceph 的经验，应该知道加入 osd 大概有两个步骤，1是先 prepare，也就是检查节点上的一些设备是否符合安装 osd，2是激活，也就是 activate。这个过程在 Rook 里也同样需要。
Rook 是一个开源的云原生存储编排工具，提供平台、框架和对各种存储解决方案的支持，以和云原生环境进行本地集成。
Rook 是专用于 Cloud-Native 环境的文件、块、对象存储服务。它实现了一个自动管理的、自动扩容的、自动修复的分布式存储服务。Rook 支持自动部署、启动、配置、分配、扩容/缩容、升级、迁移、灾难恢复、监控以及资源管理。为了实现所有这些功能，Rook 需要依赖底层的容器编排平台，例如 kubernetes、CoreOS 等。Rook 目前支持 Ceph、NFS、Minio Object Store、Edegefs、Cassandra、CockroachDB 存储的搭建，后期会支持更多存储方案。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/aixiaoyang168/article/details/86215080
在 Kubernetes 中，PVC 用于向存储系统请求指定大小的存储空间。如果请求的 PVC 大小无法得到强制执行，则无法保证所请求的存储空间大小。由于存储配额在较旧的内核上无法得到强制执行，因此在使用 CephFS 创建卷时，如果使用较旧的内核版本，则可能无法正确地管理和分配存储空间。因此，rook 官方建议使用至少 4.17 版本的内核。
在cluster/examples/kubernetes 目录下，官方给了个worldpress的例子，可以直接运行一下：
Ceph是一种高度可扩展的分布式存储解决方案，提供对象、文件和块存储。在每个存储节点上，将找到Ceph存储对象的文件系统和Ceph OSD（对象存储守护程序）进程。在Ceph集群上，还存在Ceph MON（监控）守护程序，它们确保Ceph集群保持高可用性。
云原生存储现在比较火的是Rook和Longhorn，本篇是关于 运行在Kubernetes之上的rook ceph云原生存储的部署。
Rook 官网：https://rook.io 容器的持久化存储 容器的持久化存储是保存容器存储状态的重要手段，存储插件会在容器里挂载一个基于网络或者其他机制的远程数据卷，使得在容器里创建的文件，实际上是保存在远程存储服务器上，或者以分布式的方式保存在多个节点上，而与当前宿主机没有任何绑定关系。这样，无论你在其他哪个宿主机上启动新的容器，都可以请求挂载指定的持久化存储卷，从而访问到数据卷里保存的内容。 由于 Kubernetes 本身的松耦合设计，绝大多数存储项目，比如 Ceph、GlusterFS、NFS 等，都可以为 Kubernetes 提供持久化存储能力。 Ceph 分布式存储系统 Ceph 是一种高度可扩展的分布式存储解决方案，提供对象、文件和块存储。在每个存储节点上，您将找到 Ceph 存储对象的文件系统和 Ceph OSD（对象存储守护程序）进程。在 Ceph 集群上，您还可以找到 Ceph MON（监控）守护程序，它们确保 Ceph 集群保持高可用性。 Rook Rook 是一个开源的 cloud-native storage 编排, 提供平台和框架；为各种存储解决方案提供平台、框架和支持，以便与云原生环境本地集成。 Rook 将存储软件转变为自我管理、自我扩展和自我修复的存储服务，它通过自动化部署、引导、配置、置备、扩展、升级、迁移、灾难恢复、监控和资源管理来实现此目的。 Rook 使用底层云本机容器管理、调度和编排平台提供的工具来实现它自身的功能。 Rook 目前支持 Ceph、NFS、Minio Object Store 和 CockroachDB。
我想在新的Kubernetes集群上安装Prometheus和Grafana，但为了使这些软件包能够工作，他们需要一些地方来存储持久数据。当我在Seagate担任云架构师时，我已经对Ceph进行了性能和规模测试，并且在过去的一年里玩过Rook，所以我决定安装Rook+Ceph，并将其用于Kubernetes集群的数据存储。
kubectl taint node kmaster node-role.kubernetes.io/master-
旧地址https://cloud.tencent.com/developer/user/6387369
修改Rook CSI镜像地址，原本的地址可能是gcr的镜像，但是gcr的镜像无法被国内访问，所以需要同步gcr的镜像到阿里云镜像仓库，本文档已经为大家完成同步，可以直接修改如下：
Rook 是基于 Kubernetes 之上构建的存储服务框架。它支持 Ceph、NFS 等多种底层存储的创建和管理。帮助系统管理员自动化维护存储的整个生命周期。存储的整个生命周期包括部署、启动、配置、申请、扩展、升级、迁移、灾难恢复、监控和资源管理等，看着就让笔者觉得事情不少，Rook 的目标就是降低运维的难度，让 Kubernetes 和 Rook 来帮你托管解决这些任务。
在容器世界中，无状态是一个核心原则，然而我们始终需要保存数据，并提供给他人进行访问。所以就需要一个方案用于保持数据，以备重启之需。
前提是需要一个 k8s 环境，k8s 环境的部署可以参考这篇文章：32 张配图详解 K8S 1.24 高可用部署，保姆级详细版！
Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性，不管你是想为云平台提供Ceph 对象存储和/或 Ceph 块设备，还是想部署一个 Ceph 文件系统或者把 Ceph 作为他用，所有 Ceph 存储集群的部署都始于部署一个个 Ceph 节点、网络和 Ceph 存储集群。 Ceph 存储集群至少需要一个 Ceph Monitor 和两个 OSD 守护进程。而运行 Ceph 文件系统客户端时，则必须要有元数据服务器（ Metadata Server ）。
我们经常会说：容器和 Pod 是短暂的。其含义是它们的生命周期可能很短，会被频繁地销毁和创建。容器销毁时，保存在容器内部文件系统中的数据都会被清除。为了持久化保存容器的数据，可以使用存储插件在容器里挂载一个基于网络或者其他机制的远程数据卷，使得在容器里创建的文件，实际上是保存在远程存储服务器上，或者以分布式的方式保存在多个节点上，而与当前宿主机没有绑定关系。这样，无论在哪个节点上启动新的容器，都可以请求挂载指定的持久化存储卷。
Complete Example Using Ceph RBD - Persistent Storage Examples | Installation and Configuration | OpenShift Enterprise 3.1
镜像： rook/ceph:v1.6.3 换成 registry.cn-hangzhou.aliyuncs.com/lfy_k8s_images/rook-ceph:v1.6.3
要使用基于 Rook 的 Ceph 存储中的块设备、文件系统以及对象存储，必须保证已通过 Rook 完成 Ceph 存储集群的搭建，并且保证 Ceph 存储集群处于 active + clean 状态。这里搭建过程可以参考上一篇 Kubernetes 集群基于 Rook 搭建 Ceph 分布式存储系统 文章，讲解的很详细。Kubernetes 集群搭建亦可参照上一篇文章，版本为 1.12.1，这里均忽略搭建过程，下边通过示例分别演示下如何使用这块设备、文件系统、对象存储方案。
面向Kubernetes的开源云原生存储通常是指支持Kubernetes本地对象存储API的存储解决方案，以满足容器化应用程序的存储需求。这些解决方案可以使用Kubernetes内置的存储资源对象，例如PV（Persistent Volume）和PVC（Persistent Volume Claim），这使得管理存储资源变得更加容易和标准化。
在 Rook 中，块存储有两种存储类型：副本存储和纠删码存储。这两种存储类型都可以在 Kubernetes 集群中使用，可以通过在 CephBlockPool 中指定不同的存储类别来实现。
一、安装 1.1、创建operator # 安装 git clone --single-branch --branch v1.8.7 https://github.com/rook/rook.git cd rook/deploy/examples kubectl create -f crds.yaml -f common.yaml # 修改配置 vim operator.yaml # 自动发现开启 ROOK_ENABLE_DISCOVERY_DAEMON: "true" # 镜像 # 国外
First thing first，Rook is not a CSI driver. —— 首先，Rook不是一个容器存储驱动。
最近几年，我的工作内容始终围绕着客户 Kubernetes 集群的建设。如何为客户的 Kubernetes 集群选择一款稳定可靠、性能表现优异的存储解决方案，这样的问题一直困扰着我。
今年夏天，我很幸运地被欧洲核子研究中心（CERN）录取为实习生。作为CERN openlab的暑期学生，我在IT存储组工作了9周，我的暑期项目是“评估使用Rook部署Ceph”。我之前在Ceph实习的时候有过一段很棒的经历，所以这次我也非常兴奋。
Rook v1.11 版本[1] 已经发布！v1.11 是一个功能丰富的版本。主要更新如下：
Rook是一个开源的云原生存储解决方案，它在Kubernetes集群中提供了一种可扩展的、基于容器的分布式存储系统。Rook的主要目标是简化存储的部署、管理和扩展，同时提供可靠性和性能。它支持多种存储后端，包括Ceph、EdgeFS、MinIO等，同时还提供了各种功能，如快照、复制、容错等。
Rook 是一个开源 cloud-native storage orchestrator(云原生存储编排器)，为各种存储解决方案提供平台、框架和支持，以与云原生环境进行原生集成。
RADOS： Reliable, Autonomic Distributed Object Store
在k8s上编排ceph是容器生态存储方案的一个趋势，能非常简单快速的构建出存储集群，特别适合供有状态服务使用，计算存储分离将使应用的管理变简单，业务层与云操作系统层也能更好的解耦。
云原生是分布式服务架构，自然对它的存储也有自己的要求。在K8S中，我们使用PV以及PVC来管理与申请存储，但前提是你要有可用的存储媒质。
现网有好几个 Luminous 的集群，因为指导 Rook 可以用来管理外部集群，所以想尝试一下。外部集群的概念是指，通过部署 Rook，来管理部署在其他集群或者物理机的 Ceph 集群，也就是 Rook 里 External Cluster 的概念。
最近 CNCF 宣布 rook 毕业，kubeSphere 正好也发布了 3.0.0 版本，由于 rancher 开源的 longhorn 还处于孵化阶段，不太适合生产环境使用，这次使用 rook 作为 kubeSphere 底层存储快速搭建一个生产可用的容器平台。
本篇是client-go源码分析的第一篇，client-go是从事Kubernetes开发必研究的项目，client-go之所以重要，主要在以下几个方面：
Trivy 是一款轻量级的漏洞扫描工具，支持包括容器镜像，文件系统，IaC 配置文件等。在我之前的 『K8s生态周报』文章中已经介绍过多次，此处就不再展开了。我们一起来看看这个版本中有哪些值得关注的变更。
可参考：https://kubernetes.io/zh-cn/docs/concepts/overview/kubernetes-api/
创建账号 进入ceph-tools pod kubectl -n rook-ceph exec -it rook-ceph-tools-6ccb958485-j7pvb bash 查看可用的对象存储 [root@rook-ceph-tools-6ccb958485-j7pvb /]# radosgw-admin realm list { "default_info": "11f77019-6723-4932-9bd4-d253077d8bca", "realms": [
k8s是通过kube-apiserver组件将数据存储在etcd中，这些数据通常会通过protobuf或者json序列化后进行存储，而有的资源则需要进行加密存储，比如Secret。本文就以Secret资源为例，手把手教你如何解密K8s集群的加密资源。
存储系统是个专业性的整个体系，我们只用常见方式搭建，具体优化需要参照公司自己的产品等各种进行调整
Rook 目前已经是 Ceph 官方文档推荐的 Kubernetes 部署 Ceph 集群的方式了。本文主要记录一下部署的过程和遇到的一些问题。
本文作者 / 阿杜 玩Docker，玩K8s，玩Harbor 爱技术，爱运动，爱生活 “K8s＆云原生技术开放日”特邀讲师 本文内容源于“K8s&云原生技术开放日”主题演讲——Harbor企业级实践。 Harbor作为腾讯企业云中心底层统一的镜像仓库管理组件，其性能很大程度上决定了上层容器应用的发布时延。为此，我们针对Harbor做了很多性能优化，使得镜像下载速度提升了20倍。 本次分享围绕Harbor性能提升展开，依次介绍Harbor存储选型，Harbor高并发压测以及Harbor备份还原方案……
Rook是Kubernetes及其欣欣向荣的社区的一个开源云原生存储协调器，自2016年11月首次公开发行以来，它一直在不断发展壮大。随着代码库通过一系列小版本（从v0.1的底层开始，到去年年底达到v0.9）变得成熟，我们终于非常高兴地宣布Rook的第一个主要版本1.0！
作为一个企业级私有 Registry 服务器，Harbor 提供了更好的性能和安全。提升用户使用 Registry 构建和运行环境传输镜像的效率。Harbor 支持安装在多个 Registry 节点的镜像资源复制，镜像全部保存在私有 Registry 中， 确保数据和知识产权在公司内部网络中管控。另外，Harbor 也提供了高级的安全特性，诸如用户管理，访问控制和活动审计等。
可参考：https://kubernetes.io/zh-cn/docs/reference/using-api/client-libraries/
与ftp配置一样，同样可以通过rclone config来配置cos，但我们也可以通过直接修改配置文件的方式来配置cos：
Spinnaker 是一种持续交付平台，最初由 Netflix 开发，用于快速、可靠地发布软件变更。Spinnaker 使开发人员可以更轻松地专注于编写代码，而无需担心底层的云基础设施，它可以和 Jenkins 以及其他流行的构建工具无缝集成。很早就想要体验下 Spinnaker 了，但是由于 GFW 的原因尝试了很多次都无功而返，这次解决了代理的问题终于顺利的在 Kubernetes 集群上成功部署上了 Spinnaker。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
