sparkle123

LV0
发表了文章

Hadoop环境安全加固

【参考】Hadoop环境安全加固 https://help.aliyun.com/knowledge_detail/50128.html https://z...

sparkle123
发表了文章

Linux的一些知识

:wq 强制性写入文件并退出。即使文件没有被修改也强制写入,并更新文件的修改时间。

sparkle123
发表了文章

网易Kyuubi

网易在Spark多租户方面的工作,这个项目叫做Kyuubi(该项目的开源地址: https://github.com/netease-bigdata/kyuub...

sparkle123
发表了文章

EMR Remote Shuffle Service

ESS(EMR Remote Shuffle Service)是EMR在优化计算引擎的Shuffle操作上,推出的扩展组件。

sparkle123
发表了文章

聊聊Kubernetes

轻量级:消耗资源小 开源,来自Google 内部15年工程经验 弹性伸缩 负载均衡:IPVS

sparkle123
发表了文章

使用YAML部署容器

在这个场景中,学习如何使用Kubectl创建和启动部署、复制控制器,并通过编写yaml定义通过服务公开它们。YAML定义定义了调度部署的Kubernetes对象...

sparkle123
发表了文章

学习使用Kubectl部署Containers

如何使用Kubectl创建和启动部署、复制控制器,并通过服务公开它们,而不需要编写yaml定义。快速地将容器启动到集群中。

sparkle123
发表了文章

kubeadm入门

初始化集群的第一阶段是启动主节点。主服务器负责运行控制平面组件、etcd和API服务器。客户端将与API通信,以调度工作负载和管理集群的状态

sparkle123
发表了文章

Spark on K8S

Spark Standalone on Kubernetes (via k8s community) SPIP: SPARK-18278 ht...

sparkle123
发表了文章

Go语言初窥

Go与C/C++消耗的CPU差距不大,但由于Go是垃圾回收型语言,耗费的内存会多一些。 拿Go与同为垃圾回收型语言的Java简单比较一下。

sparkle123
发表了文章

Linux /var/log下的各种日志文件

last等日志是二进制文件,无法直接修改。所以清除的最简单方式是清空日志文件本身。

sparkle123
发表了文章

yarn node -list

sparkle123
发表了文章

HBase多租户系统设计

面向多租户的数据安全和资源隔离能力,提供标准的用户名密码认证、ACL、Quota、Resource Group等特性, 看到集群的容量状况,Server列表,...

sparkle123
发表了文章

Spark任务日志

SparkListenerLogStart SparkListenerBlockManagerAdded SparkListenerEnvironmentU...

sparkle123
发表了文章

FsImage Analyse Tool

该工具提供自动化解析HDFS集群FSImage文件,并解析成文本文件存储在HDFS中;解析后的信息通过Hive映射成表,并通过Hive进行相关信息统计,使用有数...

sparkle123
发表了文章

Hive on Tez 典型日志内容

sparkle123
发表了文章

2018-07-30

sparkle123
发表了文章

ReadProcessor read fields took xx ms

cd /opt/log/xdp/hadoop-hdfs/hdfs_datanode

sparkle123
发表了文章

Spark History Server自动删除日志文件

公司的计算平台上,写入spark-history目录日志文件数超过设定阈值(1048576),导致任务失败。

sparkle123
发表了文章

HDFS ls查看文件-按照时间排序

Hadoop2.8.0以下版本,内置是不支持按照时间等属性排序的。 我们可以结合Shell命令来实现按照文件最近修改的时间对 ls 命令输出结果进行排序。比如...

sparkle123

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券