腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop集群运维-大数据平台运维实战

专栏作者

17

文章

21471

阅读量

16

订阅数

Hive的用户权限体系理解

hive 大数据 sql kerberos linux

此前对Hive的用户体系一直是心存疑惑，最近有了一些新的体会，我发现一个此前困恼了很久的问题，随着经验的增长都会迎刃而解。

2022-06-07

1.5K0

Alertmanager对接Loki实现日志告警 | 坑我已经帮你们踩好了

很多情况下，反映一个服务的健康状态，单从其服务可用性并不完全准确，反而服务的某些日志可以准确的反映出这个服务是否处于亚健康状态，是否即将出现异常，从而从一定程度进行故障预测和干预。

2022-06-07

4.5K2

简易日志系统LPG生产环境实践指南 | 坑我已经帮你们踩好了

日志数据 https 网络安全运维

最近在构建日志系统，对比了ELK还有LPG，发现LPG更加适合我们系统。奈何网上可靠的文章真是太少了，大多都是抄来抄去，整个过程躺过无数坑，特记录一下，回馈给读者。文章的所有配置文件都可以直接使用，并且配置做了优化，不会出现莫名其妙的问题。

2022-06-07

1.7K0

记一次Linux踩坑

存储 node.js https 网络安全 linux

本意是想进入Centos7 BIOS关闭CPU超线程，使用IPMI重启服务器。结果踩进一大坑。

2022-06-07

5690

Ambari安装Hadoop3遇到的一些新坑

node.js 大数据数据库 sql hadoop

以前使用HDP安装Hadoop集群安装了很多遍，本以为整个过程早已经烂熟于心，没想到这次安装过程还是遇到了新的坑，这里记录一下，分享给读者，以便不时之需。

2022-06-07

7700

写好Shell脚本那些不得不知道的细节

编程算法 shell

想写好Shell脚本，有很多细节不得不知道，细节的不注意会给脚本调试带来很多麻烦，甚至导致运行的结果天差地别，下面总结了我实际工作中遇到的18大细节，分享给大家。

2022-06-07

1.8K0

一种分析HDFS文件变化及小文件分布情况的方法

node.js hive sql api https

目前各个企业都在利用Hadoop大数据平台，每天都会通过ETL产生大量的文件到hdfs上，如何有效的去监测数据的有效性，防止数据的无限增长导致物理资源跟不上节奏，我们必须控制成本，让有限的资源发挥大数据的极致功能。本文介绍如何去分析hdfs上的文件变化情况，以及老生常谈的小文件的监控情况的一种实现方式。

2022-06-07

8370

记一次Linux主机内存脏数据引发的NameNode故障

linux 缓存大数据

如果你运维过一个大数据集群，你就能够明白内存对于集群主节点来说是一种稀缺资源，特别是集群越大，机器内存问题给集群带来的问题就越明显且越频繁。在我管理的这么多大数据集群中，该问题现象就层出不穷。下面对其中一次现象进行了总结。

2022-06-07

1K0

记一次Hadoop集群数据上传缓慢案例分析

node.js 大数据网络安全腾讯云测试服务 hadoop

手上管理的其中一个Hadoop集群，承接着大量的数据流量，一直以来运行平稳，最近突然发现集群有时会出现MR作业运行缓慢，put文件至HDFS偶发速度慢的问题，像大数据集群这种问题，有点疑难杂症的味道，本次也是经历了10多个小时的定位才真正把问题解决。

2022-06-07

1.2K0

为什么说存储和计算分离的架构才是未来

spark 存储大数据对象存储

编者按：本文最初发表于 2018.07.07 JuiceFS 官方博客，那是还没有开始这个公众号，官博去年的文章里这篇阅读最多，所以在官微中也发一次，方便读者引用、转发、收藏。

2022-06-07

5040

为 Hive 配置 postgres 或 MySQL 作为元数据库

sql 数据库云数据库 SQL Server hive java

Hive的元数据默认使用derby作为存储DB，derby作为轻量级的DB，在开发、测试过程中使用比较方便，但是在实际的生产环境中，还需要考虑易用性、容灾、稳定性以及各种监控、运维工具等，这些都是derby缺乏的。

2022-06-07

2K0

使用Ambari搭建HDP集群完全参考手册

http hadoop zookeeper yum yarn

使用 ambari 来搭建 hdp 集群，前前后后搭了不下10遍，之前一直没有完整的总结整个过程，最近有空正好记录一下。

2022-06-07

2.7K0

Yarn | 教你如何使用Capacity Scheduler node-labels特性

实际的环境部署中，经常会出现不同的机器类型，比如有些机器是计算型的，有些则是内存型；另一种场景是在大集群中，有时候需要指定有些机器预留给特定的用户用，从而避免其它用户的任务对其造成影响；node label节点标签就是解决这类问题的一种好的方式。运维人员可以根据节点的特性将其分为不同的分区来满足业务多维度的使用需求。Yarn的Node-label功能将很好的试用于异构集群中，可以更好地管理和调度混合类型的应用程序。

2022-06-07

8840

【每日一句shell】--vim、sed新姿势 | 一次性给文件多行加注释

使用vim打开文件 vim filename 在vim 视图模式下：2,5 s/^/#/ 或者直接使用sed，命令如下： sed -i '2,5s/^/#/' filename ---- 反之，将2~5行带#注释取消：：2,5 s/^#// 或者： sed -i '2,5s/^#//' filename

2022-06-07

4620

【每日一句shell】添加防火墙策略

shell 防火墙

在/etc/sysconfig/iptables 添加： -A INPUT -m state --state NEW -m tcp -p tcp --dport 3306 -j ACCEPT 即可。 📷

2022-06-07

4100

【每日一句shell】一句shell打印99乘法表

需实现效果如下： 📷 参考答案： seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i

2022-06-07

2950

【每日一句shell】使用一行命令完成词频统计

有如下文本： # cat word.txt hello hadoop hello spark hello yarn hello hdfs hello hive hello hbase hello storm bye hadoop ---- 要达到如下效果： 📷 参考答案： cat words.txt | tr -s ' ' '\n' | sort | uniq -c | sort -r | awk '{ print $2, $1 }' 以上。

2022-06-07

2140

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态