runzhliu

LV2
  • 原创分享作者

发表了文章

Rook Operator 源码分析(1) - osd 启动的流程

Rook 本身很复杂,包含很多 Controller,而 Rook 的复杂不仅体现在这里,并且 Ceph 也非常复杂,在部署和运维上有很多需要注意的地方。本文主...

runzhliu
发表了文章

【Kubernetes】自定义资源CRDs不支持fieldselector

按照对 Pod 的认识,我们可以通过 field-selector 来找到我们需要的状态的 Pod,但是当我们通过同样的方法去找需要的 CRDs 的时候,比如 ...

runzhliu
发表了文章

【Ceph】集群升级之好好看ceph.conf

记录一个乌龙事件,今天给一个 v12.2.13 的测试集群升级到 v14.2.11 的时候,发现其中一个节点的 osd 进程一直报错,然后 ceph -s 也一...

runzhliu
发表了文章

【Ceph】Rook 中使用 External Cluster 的方式管理外部集群

现网有好几个 Luminous 的集群,因为指导 Rook 可以用来管理外部集群,所以想尝试一下。外部集群的概念是指,通过部署 Rook,来管理部署在其他集群或...

runzhliu
发表了文章

【Goland】关掉所有代码折叠folding

代码折叠在 Goland 里叫做 Code Folding 是指对于一些模板化的代码片段进行折叠来显示得更精简。

runzhliu
发表了文章

【Kubernetes】Octant再探...

之前写过一篇【Kubernetes】Octant部署,刚使用的时候觉得跟 Kubernetes Dashboard,用起来之后发现还是有挺多不同的,而且也确实如...

runzhliu
发表了文章

【Kubernetes】Octant部署

去年 InfoQ 上发表了一篇 Octant: Local and Real-Time Dashboard for Kubernetes Workloads,O...

runzhliu
发表了文章

【Ceph RGW】Bucket Sharding的设置

Ceph RGW 会把 bucket 的索引数据存在 index_pool 里,这个索引池,默认叫做 .rgw.buckets.index,如果一个桶有很多对象...

runzhliu
发表了文章

【pyspark】parallelize和broadcast文件落盘问题(后续)

之前写过一篇文章,pyspark】parallelize和broadcast文件落盘问题,这里后来倒腾了一下,还是没找到 PySpark 没有删掉自定义类型的广...

runzhliu
发表了文章

【pyspark】parallelize和broadcast文件落盘问题

parallize() 和 boradcast() 方法,在不使用 spark.io.encryption.enabled=true 的情况下,都会以文件的格式...

runzhliu
发表了文章

【Spark】常见的编译错误

改动了一下 Spark 的代码,重新编一个,因为有段时间没编了,本地环境可能有点问题,果不其然,报错了,java.lang.ClassNotFoundExcep...

runzhliu
发表了文章

【pyspark】广播变量のdestroy...

今天发现用户的 pyspark 程序 driver 所在的母机的磁盘告警了,进去 pyspark driver pod 一看,发现有个目录数据多达1T了。一开始...

runzhliu
订阅了专栏

Ceph对象存储方案

52 文章68 关注者
关注了用户

用户1260683

52 文章0 回答28 关注者
发表了文章

【HDFS】distcp报错Check0sum mismatch

本来想写个 spark 任务来导数据的,但是时间有限,为了快速实现把数据从 HDFS 集群 A 转移到集群 B,还是选择用 hadoop distcp 命令来拷...

runzhliu
发表了文章

Spark on Kubernetes在Mac的Demo

讲真,Spark 2.3 开始原生支持 K8S,按照Spark 2.4 官网的方法一开始真的没跑起来,K8S Dashboard 又一堆问题,可能我太菜了,头疼...

runzhliu
发表了文章

Spark的Dockerfile分析

Spark 容器化的前提是需要 Spark 的镜像文件,那么怎么 build 呢?Spark 官方是提供了 Dockerfile 的,并且也提供了脚本工具,可以...

runzhliu
发表了文章

Spark-Submit 和 K8S Operation For Spark

本文翻译自 Lightbend 的一篇文章,文章日期还比较新,2019/02/26。文章分为两部分,翻译也将分为两个部分。附上文章链接如下:

runzhliu
发表了文章

docker login 报错了...

简单记录一下 docker login 时候有问题了,以下是我 Docker Engine 的 version 信息。

runzhliu
发表了文章

Apache Beam的Docker Demo

Apache Beam 是统一的批/流数据处理的编程模型。本文主要是参考官方文档,用 Docker 来快速跑起来一个用 Beam 来构建的 Flink 程序来处...

runzhliu

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券