前提条件
已下载安装 Fluid(version >= 0.6.0)
注意
请参见 安装 文档完成 Fluid 安装。
创建 Dataset 和 GooseFSRuntime
1. 创建一个 resource.yaml 文件,里面包含如下内容:
包含数据集及 ufs 的 dataset 信息。
创建一个 Dataset CRD 对象,描述了数据集的来源,例如示例中的 test-bucket。
创建一个 GooseFSRuntime,相当于启动一个 GooseFS 的集群来提供缓存服务。
apiVersion: data.fluid.io/v1alpha1kind: Datasetmetadata:name: hadoopspec:mounts:- mountPoint: cosn://test-bucket/options:fs.cosn.userinfo.secretId: <COS_SECRET_ID>fs.cosn.userinfo.secretKey: <COS_SECRET_KEY>fs.cosn.bucket.region: <COS_REGION>fs.cosn.impl: org.apache.hadoop.fs.CosFileSystemfs.AbstractFileSystem.cosn.impl: org.apache.hadoop.fs.CosNfs.cosn.userinfo.appid: <COS_APP_ID>name: hadoop---apiVersion: data.fluid.io/v1alpha1kind: GooseFSRuntimemetadata:name: hadoopspec:replicas: 2tieredstore:levels:- mediumtype: HDDpath: /mnt/disk1quota: 100Ghigh: "0.9"low: "0.2"
apiVersion: v1kind: Secretmetadata:name: mysecretstringData:fs.cosn.userinfo.secretId: <COS_SECRET_ID>fs.cosn.userinfo.secretKey: <COS_SECRET_KEY>---apiVersion: data.fluid.io/v1alpha1kind: Datasetmetadata:name: hadoopspec:mounts:- mountPoint: cosn://yourbucket/options:fs.cosn.bucket.region: <COS_REGION>fs.cosn.impl: org.apache.hadoop.fs.CosFileSystemfs.AbstractFileSystem.cosn.impl: org.apache.hadoop.fs.CosNfs.cosn.userinfo.appid: <COS_APP_ID>name: hadoopencryptOptions:- name: fs.cosn.userinfo.secretIdvalueFrom:secretKeyRef:name: mysecretkey: fs.cosn.userinfo.secretId- name: fs.cosn.userinfo.secretKeyvalueFrom:secretKeyRef:name: mysecretkey: fs.cosn.userinfo.secretKey---apiVersion: data.fluid.io/v1alpha1kind: GooseFSRuntimemetadata:name: hadoopspec:replicas: 2tieredstore:levels:- mediumtype: SSDpath: /mnt/disk1quota: 100Ghigh: "0.9"low: "0.2"
Dataset:
mountPoint:表示挂载 UFS 的路径,路径中不需要包含 endpoint 信息。
options:在 options 需要指定存储桶的必要信息,具体可参考 API 术语信息。
fs.cosn.userinfo.secretId/fs.cosn.userinfo.secretKey:拥有权限访问该 COS 存储桶的密钥信息。
GooseFSRuntime:更多 API 可参考 api_doc.md。
replicas:表示创建 GooseFS 集群节点的数量。
mediumtype: GooseFS 支持 HDD/SSD/MEM 三种类型缓存介质,提供多级缓存配置。
path:存储路径。
quota:缓存最大容量。
high:水位上限大小。
low:水位下限大小。
2. 执行命令,创建 GooseFSRuntime:
$ kubectl create -f resource.yaml
3. 查看部署的 GooseFSRuntime 情况,显示全部为 Ready 状态表示部署成功。
$ kubectl get goosefsruntime hadoopNAME MASTER PHASE WORKER PHASE FUSE PHASE AGEhadoop Ready Ready Ready 62m
4. 查看 dataset 的情况,显示 Bound 状态表示 dataset 绑定成功。
$ kubectl get dataset hadoopNAME UFS TOTAL SIZE CACHED CACHE CAPACITY CACHED PERCENTAGE PHASE AGEhadoop 210.00MiB 0.00B 180.00GiB 0.0% Bound 1h
5. 查看 PV、PVC 创建情况,GooseFSRuntime 部署过程中会自动创建 PV 和 PVC。
$ kubectl get pv,pvcNAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGEpersistentvolume/hadoop 100Gi RWX Retain Bound default/hadoop 58mNAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGEpersistentvolumeclaim/hadoop Bound hadoop 100Gi RWX 58m
检查服务是否正常
1. 登录到 master/worker pod 上。观察是否可以正常 list 文件。
$ kubectl get podNAME READY STATUS RESTARTS AGEhadoop-fuse-svz4s 1/1 Running 0 23hhadoop-master-0 1/1 Running 0 23hhadoop-worker-2fpbk 1/1 Running 0 23h
$ kubectl exec -ti hadoop-goosefs-master-0 bashgoosefs fs ls /hadoop
2. 登录到 fuse pod 上。观察是否可以正常 list 文件。
$ kubectl exec -ti hadoop-goosefs-fuse-svz4s bashcd /runtime-mnt/goosefs/<namespace>/<DatasetName>/goosefs-fuse/<DatasetName>
创建应用容器体验加速效果
您可以通过创建应用容器来使用 GooseFS 加速服务,或者提交机器学习作业来进行体验相关功能。如下,创建一个应用容器 app.yaml 用于使用该数据集。我们将多次访问同一数据,并比较访问时间来展示 GooseFSRuntime 的加速效果。
apiVersion: v1kind: Podmetadata:name: demo-appspec:containers:- name: demoimage: nginxvolumeMounts:- mountPath: /dataname: hadoopvolumes:- name: hadooppersistentVolumeClaim:claimName: hadoop
1. 使用 kubectl 完成创建应用。
$ kubectl create -f app.yaml
2. 查看文件大小。
$ kubectl exec -it demo-app -- bash$ du -sh /data/hadoop/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2210M /data/hadoop/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2
3. 进行文件的 cp 观察时间消耗了18s:
$ time cp /data/hadoop/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2 /dev/nullreal 0m18.386suser 0m0.002ssys 0m0.105s
4. 查看此时 dataset 的缓存情况,发现210MB的数据已经都缓存到了本地。
$ kubectl get dataset hadoopNAME UFS TOTAL SIZE CACHED CACHE CAPACITY CACHED PERCENTAGE PHASE AGEhadoop 210.00MiB 210.00MiB 180.00GiB 100.0% Bound 1h
5. 为了避免其他因素(例如 page cache)对结果造成影响,我们将删除之前的容器,新建相同的应用,尝试访问同样的文件。由于此时文件已经被 GooseFS 缓存,可以看到第二次访问所需时间远小于第一次。
$ kubectl delete -f app.yaml && kubectl create -f app.yaml
6. 进行文件的拷贝观察时间,发现消耗48ms,整个拷贝的时间缩短了300倍。
$ time cp /data/hadoop/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2 /dev/nullreal 0m0.048suser 0m0.001ssys 0m0.046s
清理环境
$ kubectl delete -f resource.yaml