runzhliu

LV2
  • 原创分享作者

技术专栏

容器计算TA创建的

146 文章26 关注者

全部文章

  • 【s3cmd】给s3cmd加点debug日志再编一个

    最近有同学反映 s3cmd 上传的数据比原文件小…WTF,居然有这种事?我不信,然后看了下同学的需求,上传一个1G的文件,按照分段上传的默认配置,就是以15M为...

    runzhliu
  • Rook Operator 源码分析(1) - osd 启动的流程

    Rook 本身很复杂,包含很多 Controller,而 Rook 的复杂不仅体现在这里,并且 Ceph 也非常复杂,在部署和运维上有很多需要注意的地方。本文主...

    runzhliu
  • 【Kubernetes】自定义资源CRDs不支持fieldselector

    按照对 Pod 的认识,我们可以通过 field-selector 来找到我们需要的状态的 Pod,但是当我们通过同样的方法去找需要的 CRDs 的时候,比如 ...

    runzhliu
  • 【Ceph】集群升级之好好看ceph.conf

    记录一个乌龙事件,今天给一个 v12.2.13 的测试集群升级到 v14.2.11 的时候,发现其中一个节点的 osd 进程一直报错,然后 ceph -s 也一...

    runzhliu
  • 【Ceph】Rook 中使用 External Cluster 的方式管理外部集群

    现网有好几个 Luminous 的集群,因为指导 Rook 可以用来管理外部集群,所以想尝试一下。外部集群的概念是指,通过部署 Rook,来管理部署在其他集群或...

    runzhliu
  • 【Goland】关掉所有代码折叠folding

    代码折叠在 Goland 里叫做 Code Folding 是指对于一些模板化的代码片段进行折叠来显示得更精简。

    runzhliu
  • 【Kubernetes】Octant部署

    去年 InfoQ 上发表了一篇 Octant: Local and Real-Time Dashboard for Kubernetes Workloads,O...

    runzhliu
  • 【Kubernetes】Octant再探...

    之前写过一篇【Kubernetes】Octant部署,刚使用的时候觉得跟 Kubernetes Dashboard,用起来之后发现还是有挺多不同的,而且也确实如...

    runzhliu
  • 【Ceph RGW】Bucket Sharding的设置

    Ceph RGW 会把 bucket 的索引数据存在 index_pool 里,这个索引池,默认叫做 .rgw.buckets.index,如果一个桶有很多对象...

    runzhliu
  • 【pyspark】parallelize和broadcast文件落盘问题(后续)

    之前写过一篇文章,pyspark】parallelize和broadcast文件落盘问题,这里后来倒腾了一下,还是没找到 PySpark 没有删掉自定义类型的广...

    runzhliu
  • 【pyspark】parallelize和broadcast文件落盘问题

    parallize() 和 boradcast() 方法,在不使用 spark.io.encryption.enabled=true 的情况下,都会以文件的格式...

    runzhliu
  • 【Spark】常见的编译错误

    改动了一下 Spark 的代码,重新编一个,因为有段时间没编了,本地环境可能有点问题,果不其然,报错了,java.lang.ClassNotFoundExcep...

    runzhliu
  • 【pyspark】广播变量のdestroy...

    今天发现用户的 pyspark 程序 driver 所在的母机的磁盘告警了,进去 pyspark driver pod 一看,发现有个目录数据多达1T了。一开始...

    runzhliu
  • 【HDFS】distcp报错Check0sum mismatch

    本来想写个 spark 任务来导数据的,但是时间有限,为了快速实现把数据从 HDFS 集群 A 转移到集群 B,还是选择用 hadoop distcp 命令来拷...

    runzhliu
  • Spark on Kubernetes在Mac的Demo

    讲真,Spark 2.3 开始原生支持 K8S,按照Spark 2.4 官网的方法一开始真的没跑起来,K8S Dashboard 又一堆问题,可能我太菜了,头疼...

    runzhliu
  • Spark的Dockerfile分析

    Spark 容器化的前提是需要 Spark 的镜像文件,那么怎么 build 呢?Spark 官方是提供了 Dockerfile 的,并且也提供了脚本工具,可以...

    runzhliu
  • Spark-Submit 和 K8S Operation For Spark

    本文翻译自 Lightbend 的一篇文章,文章日期还比较新,2019/02/26。文章分为两部分,翻译也将分为两个部分。附上文章链接如下:

    runzhliu
  • docker login 报错了...

    简单记录一下 docker login 时候有问题了,以下是我 Docker Engine 的 version 信息。

    runzhliu
  • Apache Beam的Docker Demo

    Apache Beam 是统一的批/流数据处理的编程模型。本文主要是参考官方文档,用 Docker 来快速跑起来一个用 Beam 来构建的 Flink 程序来处...

    runzhliu
  • Spark on K8S 访问 Kerberized HDFS

    Spark 从2.3开始支持 Native 的 K8S 作为 resourceManager 了,官网内容很多,就不赘述了,这里主要参考2018年的 Spark...

    runzhliu

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券