Lu说

LV1
举报
发表了文章

Hive的用户权限体系理解

此前对Hive的用户体系一直是心存疑惑,最近有了一些新的体会,我发现一个此前困恼了很久的问题,随着经验的增长都会迎刃而解。

Lu说
Hive大数据SQLKerberosLinux
发表了文章

Alertmanager对接Loki实现日志告警 | 坑我已经帮你们踩好了

很多情况下,反映一个服务的健康状态,单从其服务可用性并不完全准确,反而服务的某些日志可以准确的反映出这个服务是否处于亚健康状态,是否即将出现异常,从而从一定程度...

Lu说
运维
发表了文章

简易日志系统LPG生产环境实践指南 | 坑我已经帮你们踩好了

最近在构建日志系统,对比了ELK还有LPG,发现LPG更加适合我们系统。奈何网上可靠的文章真是太少了,大多都是抄来抄去,整个过程躺过无数坑,特记录一下,回馈给读...

Lu说
日志数据https网络安全运维
发表了文章

记一次Linux踩坑

本意是想进入Centos7 BIOS关闭CPU超线程,使用IPMI重启服务器。结果踩进一大坑。

Lu说
存储Node.jshttps网络安全Linux
发表了文章

Ambari安装Hadoop3遇到的一些新坑

以前使用HDP安装Hadoop集群安装了很多遍,本以为整个过程早已经烂熟于心,没想到这次安装过程还是遇到了新的坑,这里记录一下,分享给读者,以便不时之需。

Lu说
Node.js大数据数据库SQLHadoop
发表了文章

写好Shell脚本那些不得不知道的细节

想写好Shell脚本,有很多细节不得不知道,细节的不注意会给脚本调试带来很多麻烦,甚至导致运行的结果天差地别,下面总结了我实际工作中遇到的18大细节,分享给大家...

Lu说
编程算法Shell
发表了文章

一种分析HDFS文件变化及小文件分布情况的方法

目前各个企业都在利用Hadoop大数据平台,每天都会通过ETL产生大量的文件到hdfs上,如何有效的去监测数据的有效性,防止数据的无限增长导致物理资源跟不上节奏...

Lu说
Node.jsHiveSQLAPIhttps
发表了文章

记一次Linux主机内存脏数据引发的NameNode故障

如果你运维过一个大数据集群,你就能够明白内存对于集群主节点来说是一种稀缺资源,特别是集群越大,机器内存问题给集群带来的问题就越明显且越频繁。 在我管理的这么多大...

Lu说
Linux缓存大数据
发表了文章

记一次Hadoop集群数据上传缓慢案例分析

手上管理的其中一个Hadoop集群,承接着大量的数据流量,一直以来运行平稳,最近突然发现集群有时会出现MR作业运行缓慢,put文件至HDFS偶发速度慢的问题,像...

Lu说
Node.js大数据网络安全腾讯云测试服务Hadoop
发表了文章

为什么说存储和计算分离的架构才是未来

编者按:本文最初发表于 2018.07.07 JuiceFS 官方博客,那是还没有开始这个公众号,官博去年的文章里这篇阅读最多,所以在官微中也发一次,方便读者引...

Lu说
spark存储大数据对象存储
发表了文章

为 Hive 配置 postgres 或 MySQL 作为元数据库

Hive的元数据默认使用derby作为存储DB,derby作为轻量级的DB,在开发、测试过程中使用比较方便,但是在实际的生产环境中,还需要考虑易用性、容灾、稳定...

Lu说
SQL数据库云数据库 SQL ServerHiveJava
发表了文章

使用Ambari搭建HDP集群完全参考手册

使用 ambari 来搭建 hdp 集群,前前后后搭了不下10遍,之前一直没有完整的总结整个过程,最近有空正好记录一下。

Lu说
HTTPHadoopZooKeeperyumYarn
发表了文章

Yarn | 教你如何使用Capacity Scheduler node-labels特性

实际的环境部署中,经常会出现不同的机器类型,比如有些机器是计算型的,有些则是内存型;另一种场景是在大集群中,有时候需要指定有些机器预留给特定的用户用,从而避免其...

Lu说
YarnNode.js
发表了文章

【每日一句shell】--vim、sed新姿势 | 一次性给文件多行加注释

Lu说
IDE
发表了文章

【每日一句shell】添加防火墙策略

Lu说
发表了文章

【每日一句shell】一句shell打印99乘法表

Lu说
发表了文章

【每日一句shell】使用一行命令完成词频统计

Lu说
关注了用户

腾讯云自媒体分享计划

腾讯 · 产品运营 (已认证)

申请条件:至少有 10 篇或以上符合投稿要求可迁入腾讯云专栏的原创技术文章。

3 文章0 回答4.9K 关注者
创建了专栏

Hadoop集群运维-大数据平台运维实战

17 文章16 关注者

个人简介

个人成就

扫码关注腾讯云开发者

领取腾讯云代金券