暂无搜索历史
此前对Hive的用户体系一直是心存疑惑,最近有了一些新的体会,我发现一个此前困恼了很久的问题,随着经验的增长都会迎刃而解。
很多情况下,反映一个服务的健康状态,单从其服务可用性并不完全准确,反而服务的某些日志可以准确的反映出这个服务是否处于亚健康状态,是否即将出现异常,从而从一定程度...
最近在构建日志系统,对比了ELK还有LPG,发现LPG更加适合我们系统。奈何网上可靠的文章真是太少了,大多都是抄来抄去,整个过程躺过无数坑,特记录一下,回馈给读...
本意是想进入Centos7 BIOS关闭CPU超线程,使用IPMI重启服务器。结果踩进一大坑。
以前使用HDP安装Hadoop集群安装了很多遍,本以为整个过程早已经烂熟于心,没想到这次安装过程还是遇到了新的坑,这里记录一下,分享给读者,以便不时之需。
想写好Shell脚本,有很多细节不得不知道,细节的不注意会给脚本调试带来很多麻烦,甚至导致运行的结果天差地别,下面总结了我实际工作中遇到的18大细节,分享给大家...
目前各个企业都在利用Hadoop大数据平台,每天都会通过ETL产生大量的文件到hdfs上,如何有效的去监测数据的有效性,防止数据的无限增长导致物理资源跟不上节奏...
如果你运维过一个大数据集群,你就能够明白内存对于集群主节点来说是一种稀缺资源,特别是集群越大,机器内存问题给集群带来的问题就越明显且越频繁。 在我管理的这么多大...
手上管理的其中一个Hadoop集群,承接着大量的数据流量,一直以来运行平稳,最近突然发现集群有时会出现MR作业运行缓慢,put文件至HDFS偶发速度慢的问题,像...
编者按:本文最初发表于 2018.07.07 JuiceFS 官方博客,那是还没有开始这个公众号,官博去年的文章里这篇阅读最多,所以在官微中也发一次,方便读者引...
Hive的元数据默认使用derby作为存储DB,derby作为轻量级的DB,在开发、测试过程中使用比较方便,但是在实际的生产环境中,还需要考虑易用性、容灾、稳定...
使用 ambari 来搭建 hdp 集群,前前后后搭了不下10遍,之前一直没有完整的总结整个过程,最近有空正好记录一下。
实际的环境部署中,经常会出现不同的机器类型,比如有些机器是计算型的,有些则是内存型;另一种场景是在大集群中,有时候需要指定有些机器预留给特定的用户用,从而避免其...
使用vim打开文件 vim filename 在vim 视图模式下 :2,5 s/^/#/ 或者直接使用sed,命令如下: sed -i '2,5s/^/#/'...
在/etc/sysconfig/iptables 添加: -A INPUT -m state --state NEW -m tcp -p tcp --dport...
需实现效果如下: 参考答案: seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%d...
有如下文本: # cat word.txt hello hadoop hello spark hello yarn hello hdfs hello hive...
腾讯 | 产品运营 (已认证)
申请条件:至少有 10 篇或以上符合投稿要求可迁入腾讯云专栏的原创技术文章。
暂未填写学校和专业
暂未填写个人网址