容器计算

148 篇文章
26 人订阅

全部文章

runzhliu

腾讯 · 后台开发工程师 (已认证)

【Ceph】abort incomplete multipart uploads

这个是删除 bucket 时候的一些 warning,为了确定 bucket 是否能确定删除,所以去看看源码的部分。

2420
runzhliu

腾讯 · 后台开发工程师 (已认证)

【Ceph】关闭standby状态的mgr

Ceph 的官方文档没有讲怎么去删除不需要的 mgr,因为之前部署的时候多了一些 mon 和 mgr,所以有运维脚本去直接从 mon 的 map 里把 mon ...

810
runzhliu

腾讯 · 后台开发工程师 (已认证)

【s3cmd】给s3cmd加点debug日志再编一个

最近有同学反映 s3cmd 上传的数据比原文件小…WTF,居然有这种事?我不信,然后看了下同学的需求,上传一个1G的文件,按照分段上传的默认配置,就是以15M为...

4910
runzhliu

腾讯 · 后台开发工程师 (已认证)

Rook Operator 源码分析(1) - osd 启动的流程

Rook 本身很复杂,包含很多 Controller,而 Rook 的复杂不仅体现在这里,并且 Ceph 也非常复杂,在部署和运维上有很多需要注意的地方。本文主...

14140
runzhliu

腾讯 · 后台开发工程师 (已认证)

【Kubernetes】自定义资源CRDs不支持fieldselector

按照对 Pod 的认识,我们可以通过 field-selector 来找到我们需要的状态的 Pod,但是当我们通过同样的方法去找需要的 CRDs 的时候,比如 ...

5710
runzhliu

腾讯 · 后台开发工程师 (已认证)

【Ceph】集群升级之好好看ceph.conf

记录一个乌龙事件,今天给一个 v12.2.13 的测试集群升级到 v14.2.11 的时候,发现其中一个节点的 osd 进程一直报错,然后 ceph -s 也一...

5820
runzhliu

腾讯 · 后台开发工程师 (已认证)

【Ceph】Rook 中使用 External Cluster 的方式管理外部集群

现网有好几个 Luminous 的集群,因为指导 Rook 可以用来管理外部集群,所以想尝试一下。外部集群的概念是指,通过部署 Rook,来管理部署在其他集群或...

9720
runzhliu

腾讯 · 后台开发工程师 (已认证)

【Goland】关掉所有代码折叠folding

代码折叠在 Goland 里叫做 Code Folding 是指对于一些模板化的代码片段进行折叠来显示得更精简。

9930
runzhliu

腾讯 · 后台开发工程师 (已认证)

【Kubernetes】Octant再探...

之前写过一篇【Kubernetes】Octant部署,刚使用的时候觉得跟 Kubernetes Dashboard,用起来之后发现还是有挺多不同的,而且也确实如...

12260
runzhliu

腾讯 · 后台开发工程师 (已认证)

【Kubernetes】Octant部署

去年 InfoQ 上发表了一篇 Octant: Local and Real-Time Dashboard for Kubernetes Workloads,O...

14220
runzhliu

腾讯 · 后台开发工程师 (已认证)

【Ceph RGW】Bucket Sharding的设置

Ceph RGW 会把 bucket 的索引数据存在 index_pool 里,这个索引池,默认叫做 .rgw.buckets.index,如果一个桶有很多对象...

11140
runzhliu

腾讯 · 后台开发工程师 (已认证)

【pyspark】parallelize和broadcast文件落盘问题(后续)

之前写过一篇文章,pyspark】parallelize和broadcast文件落盘问题,这里后来倒腾了一下,还是没找到 PySpark 没有删掉自定义类型的广...

7220
runzhliu

腾讯 · 后台开发工程师 (已认证)

【pyspark】parallelize和broadcast文件落盘问题

parallize() 和 boradcast() 方法,在不使用 spark.io.encryption.enabled=true 的情况下,都会以文件的格式...

9130
runzhliu

腾讯 · 后台开发工程师 (已认证)

【Spark】常见的编译错误

改动了一下 Spark 的代码,重新编一个,因为有段时间没编了,本地环境可能有点问题,果不其然,报错了,java.lang.ClassNotFoundExcep...

11330
runzhliu

腾讯 · 后台开发工程师 (已认证)

【pyspark】广播变量のdestroy...

今天发现用户的 pyspark 程序 driver 所在的母机的磁盘告警了,进去 pyspark driver pod 一看,发现有个目录数据多达1T了。一开始...

9430
runzhliu

腾讯 · 后台开发工程师 (已认证)

【HDFS】distcp报错Check0sum mismatch

本来想写个 spark 任务来导数据的,但是时间有限,为了快速实现把数据从 HDFS 集群 A 转移到集群 B,还是选择用 hadoop distcp 命令来拷...

8430
runzhliu

腾讯 · 后台开发工程师 (已认证)

Spark on Kubernetes在Mac的Demo

讲真,Spark 2.3 开始原生支持 K8S,按照Spark 2.4 官网的方法一开始真的没跑起来,K8S Dashboard 又一堆问题,可能我太菜了,头疼...

7920
runzhliu

腾讯 · 后台开发工程师 (已认证)

Spark的Dockerfile分析

Spark 容器化的前提是需要 Spark 的镜像文件,那么怎么 build 呢?Spark 官方是提供了 Dockerfile 的,并且也提供了脚本工具,可以...

8820
runzhliu

腾讯 · 后台开发工程师 (已认证)

Spark-Submit 和 K8S Operation For Spark

本文翻译自 Lightbend 的一篇文章,文章日期还比较新,2019/02/26。文章分为两部分,翻译也将分为两个部分。附上文章链接如下:

7710
runzhliu

腾讯 · 后台开发工程师 (已认证)

docker login 报错了...

简单记录一下 docker login 时候有问题了,以下是我 Docker Engine 的 version 信息。

10020

扫码关注云+社区

领取腾讯云代金券