腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

喵了个咪的博客空间

专栏作者

157

文章

209535

阅读量

65

订阅数

Hadoop - 企业级大数据管理平台CDH(介绍和准备工作)

专用宿主机运维大数据 hadoop https

哈喽大家好呀,仅经过了一段时间大数据相关的博文又和大家见面了,笔者之前有写过一套Hadoop大数据相关的博客,为什么今天又要开坑呢?当然是有原因,随着不断的学习了解,慢慢意识到之前做法存在很多缺陷,最

喵了个咪233

2022-03-24

2K0

Azkaban 任务调度系统(使用和小技巧)

编程算法 hadoop 容器镜像服务容器 java

上节主要介绍了安装搭建和简单的运行一个job,但是真正使用到实际场景还是需要了解更多的知识,比如任务怎么互相依赖,可以选择指定的节点来执行吗等等一些相关的操作会在本节中进行介绍

喵了个咪233

2022-03-24

1K0

[喵咪大数据]HUE大数据管理工具

hadoop hbase hive

日常的大数据使用中经常是在服务器命名行中进行操作,可视化功能仅仅依靠着各个组件自带的网页进行,那么有没有一个可以结合大家能在一个网页上的管理工具呢?答案是肯定的,今天就和大家一起来探索大数据管理工具H

喵了个咪233

2018-03-02

2.3K2

[喵咪大数据]Presto查询引擎

如果大家正在按照笔者的教程尝试使用大数据组件还是之前有使用过相关的组件,大家会发现一个问题HIVE在负责的查询下调用Mapreduce会很慢,在这个场景下就涌现出很多查询引擎来优化,比如大家熟悉的Spark-SQL,Impala,kilin已经今天的主角Presto, Presto以速度和极强的扩展性取得了胜利,不仅能够提高对HIVE数据查询速度还能和异构数据库进行关联查询,比如HIVE和Mysql进行关联查询,那么我们就来迫不及待的揭开Presto的庐山真面目附上: 喵了个咪的博客:w-blog.c

喵了个咪233

2018-03-02

1.9K0

[喵咪大数据]初识大数据

大数据 hadoop 存储

大数据互联网时代下大家耳熟能详的名词,但是我们离大数据有多远呢?从2011Hadoop1.0问世到现在,渐渐地大数据解决方案已经趋向成熟,笔者觉得也是时间来学习接触一下大数据解决一些在工作中实际遇到的

喵了个咪233

2018-03-02

7480

[喵咪大数据]Hadoop单机模式

大数据 hadoop yarn mapreduce 分布式

千里之行始于足下,学习大数据我们首先就要先接触Hadoop,上节介绍到Hadoop分为Hadoop-HDFS,Hadoop-YARN,Hadoop-Mapreduce组成,分别负责分布式文件存储,任务调度,计算处理,本机我们在单机模式下把Hadoop运行起来并且简单的使用接触Hadoop相关的机制. 附上: Hadoop的官网:hadoop.apache.org 喵了个咪的博客:w-blog.cn 1.环境准备这里所有的系统统一使用Centos7.X 64位系统其他系统未经过测试创建install

喵了个咪233

2018-03-02

8140

[喵咪大数据]Hadoop集群模式

既然是大数据无论存储和处理都需要相当大的磁盘或者是处理的资源消耗,那么单机肯定是满足不了我们的需求的,所以本节我们就来了解Hadoop的集群模式搭建,在集群情况下一同配合处理任务分发,存储分担等相关的功能进行实践. 附上: Hadoop的官网:hadoop.apache.org 喵了个咪的博客:w-blog.cn 1.准备工作安装包清单统一存放到**/app/install**目录下,暂时只用存放到hadoop-1上,配置好了之后scp到slave节点上 jdk-8u101-linux-x64.ta

喵了个咪233

2018-03-02

1.2K0

[喵咪大数据]Hadoop节点添加下线和磁盘扩容操作

Hadoop绝非一个简单程序,集群模式下更是如此,所有的数据都存储在Hadoop中如果操作不当会存在丢失数据的风险,那么怎么在安全的情况,扩容下线维护或者磁盘满了怎么增加空间,就是今天的主要内容了. 附上: Hadoop的官网:hadoop.apache.org 喵了个咪的博客:w-blog.cn 1.增加节点当磁盘满了或节点不够处理速度慢了都需要对节点或者通过增加节点的方式进行磁盘扩容,这个时候就需要用到Hadoop扩容机制了通过如下命令可以查看各节点情况磁盘容量等 > hadoop dfsadm

喵了个咪233

2018-03-02

2K0

[喵咪大数据]Hive2搭建和基本操作

大数据 hive hadoop 存储

[喵咪大数据]Hive2搭建说到Hadoop生态有一个不得不提的组件那就是<Hive>,Hive是基于Hadoop结构化存储引擎,能够存储海量的数据,Hive提供了类SQL的方式对数据进行查询检索汇

喵了个咪233

2018-03-02

9400

[喵咪大数据]Hbase搭建和基本使用

大数据 hbase hive hadoop 存储

[喵咪大数据]Hbase搭建和基本使用说完了Hive我们接着来看另外一个建立在Hadoop基础上的存储引擎HBase,HBase以内存作为缓存数据落地到HDFS的Key-Value数据库,因为使用内

喵了个咪233

2018-03-02

1.7K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态