runzhliu

LV2
  • 原创分享作者

发表了文章

【Ceph】1 pools have many more objects per pg than average

公司 Ceph 集群从 v12 升级到 v14 后,今天某个 CephFS 的集群收到一个 HEALTH_WARN 的告警,具体的 Warning 的信息为 1...

runzhliu
发表了文章

【Ceph】abort incomplete multipart uploads

这个是删除 bucket 时候的一些 warning,为了确定 bucket 是否能确定删除,所以去看看源码的部分。

runzhliu
发表了文章

【Ceph】关闭standby状态的mgr

Ceph 的官方文档没有讲怎么去删除不需要的 mgr,因为之前部署的时候多了一些 mon 和 mgr,所以有运维脚本去直接从 mon 的 map 里把 mon ...

runzhliu
发表了文章

【s3cmd】给s3cmd加点debug日志再编一个

最近有同学反映 s3cmd 上传的数据比原文件小…WTF,居然有这种事?我不信,然后看了下同学的需求,上传一个1G的文件,按照分段上传的默认配置,就是以15M为...

runzhliu
发表了文章

Rook Operator 源码分析(1) - osd 启动的流程

Rook 本身很复杂,包含很多 Controller,而 Rook 的复杂不仅体现在这里,并且 Ceph 也非常复杂,在部署和运维上有很多需要注意的地方。本文主...

runzhliu
发表了文章

【Kubernetes】自定义资源CRDs不支持fieldselector

按照对 Pod 的认识,我们可以通过 field-selector 来找到我们需要的状态的 Pod,但是当我们通过同样的方法去找需要的 CRDs 的时候,比如 ...

runzhliu
发表了文章

【Ceph】集群升级之好好看ceph.conf

记录一个乌龙事件,今天给一个 v12.2.13 的测试集群升级到 v14.2.11 的时候,发现其中一个节点的 osd 进程一直报错,然后 ceph -s 也一...

runzhliu
发表了文章

【Ceph】Rook 中使用 External Cluster 的方式管理外部集群

现网有好几个 Luminous 的集群,因为指导 Rook 可以用来管理外部集群,所以想尝试一下。外部集群的概念是指,通过部署 Rook,来管理部署在其他集群或...

runzhliu
发表了文章

【Goland】关掉所有代码折叠folding

代码折叠在 Goland 里叫做 Code Folding 是指对于一些模板化的代码片段进行折叠来显示得更精简。

runzhliu
发表了文章

【Kubernetes】Octant再探...

之前写过一篇【Kubernetes】Octant部署,刚使用的时候觉得跟 Kubernetes Dashboard,用起来之后发现还是有挺多不同的,而且也确实如...

runzhliu
发表了文章

【Kubernetes】Octant部署

去年 InfoQ 上发表了一篇 Octant: Local and Real-Time Dashboard for Kubernetes Workloads,O...

runzhliu
发表了文章

【Ceph RGW】Bucket Sharding的设置

Ceph RGW 会把 bucket 的索引数据存在 index_pool 里,这个索引池,默认叫做 .rgw.buckets.index,如果一个桶有很多对象...

runzhliu
发表了文章

【pyspark】parallelize和broadcast文件落盘问题(后续)

之前写过一篇文章,pyspark】parallelize和broadcast文件落盘问题,这里后来倒腾了一下,还是没找到 PySpark 没有删掉自定义类型的广...

runzhliu
发表了文章

【pyspark】parallelize和broadcast文件落盘问题

parallize() 和 boradcast() 方法,在不使用 spark.io.encryption.enabled=true 的情况下,都会以文件的格式...

runzhliu
发表了文章

【Spark】常见的编译错误

改动了一下 Spark 的代码,重新编一个,因为有段时间没编了,本地环境可能有点问题,果不其然,报错了,java.lang.ClassNotFoundExcep...

runzhliu
发表了文章

【pyspark】广播变量のdestroy...

今天发现用户的 pyspark 程序 driver 所在的母机的磁盘告警了,进去 pyspark driver pod 一看,发现有个目录数据多达1T了。一开始...

runzhliu
订阅了专栏

Ceph对象存储方案

52 文章71 关注者
关注了用户

用户1260683

52 文章0 回答31 关注者
发表了文章

【HDFS】distcp报错Check0sum mismatch

本来想写个 spark 任务来导数据的,但是时间有限,为了快速实现把数据从 HDFS 集群 A 转移到集群 B,还是选择用 hadoop distcp 命令来拷...

runzhliu
发表了文章

Spark on Kubernetes在Mac的Demo

讲真,Spark 2.3 开始原生支持 K8S,按照Spark 2.4 官网的方法一开始真的没跑起来,K8S Dashboard 又一堆问题,可能我太菜了,头疼...

runzhliu

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券