腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

王小雷

专栏作者

167

文章

262602

阅读量

46

订阅数

7.2 Sqoop2示例数据从PostgreSQL导入到HDFS

大数据 hadoop postgresql jdbc

版权声明：本文为王小雷原创文章，未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/80960632

2019-05-29

1.1K0

2.4 Hadoop伪分布式快速部署

分布式 hadoop java yarn mapreduce

版权声明：本文为王小雷原创文章，未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/80960326

2019-05-29

5580

2.1 Hadoop伪分布式安装部署

hadoop 分布式 java http yarn

版权声明：本文为王小雷原创文章，未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/80700530

2019-05-29

5140

7.2 Sqoop2安装

数据库 sql hadoop https 网络安全

版权声明：本文为王小雷原创文章，未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/80960556

2019-05-27

5450

2.3 基于IDEA开发第一个MapReduce大数据程序WordCount

hadoop ide mapreduce 大数据 java

在项目根目录，运行命令，打完包后默认build/libs/WordCount-1.0-SNAPSHOT.jar

2019-05-26

1.3K0

Hadoop3.1.0完全分布式集群部署超详细记录

xml jdk java hadoop 网络安全

如上图，一共三台机器作为集群，servera作为master，其他两台作为worker。

2019-05-26

1.4K0

分布式 hadoop jvm 数据库存储

2018-01-05

8080

MapReduce的过程(2)

mapreduce apache hadoop

本文介绍了MapReduce计算框架的编程思想以及MapReduce计算框架的执行过程。主要包括MapReduce计算框架的编程思想、MapReduce计算框架的执行过程、MapReduce计算框架的编程思想以及MapReduce计算框架的执行过程。

2018-01-05

1.2K0

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

hadoop 分布式

根据文章内容，总结为：本文主要介绍了如何从零开始搭建一个Hadoop集群，包括安装、配置、集群部署等步骤，并提供了可能出现的问题和解决方法。同时，本文还介绍了如何格式化节点，以及使用Hadoop进行集群部署的一些常见问题和解决方法。

2018-01-02

2.2K0

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操作+HBase架构体系

数据库 hadoop hbase 分布式 zookeeper

本文介绍了如何使用HBase和ZooKeeper实现一个高可用的分布式系统。首先介绍了HBase和ZooKeeper的基本概念和架构，然后详细讲解了如何使用HBase和ZooKeeper实现一个高可用的分布式系统。最后通过一个具体的实例展示了如何使用HBase和ZooKeeper实现分布式系统，并提供了相应的代码示例。

2018-01-02

1.5K0

Spark应用(app jar)发布到Hadoop集群的过程

本文介绍了如何将Spark应用(app jar)发布到Hadoop集群中，并提供了相关步骤、注意事项和示例。

2018-01-02

5030

Ubuntu16.04安装Hadoop2.6+Spark1.6+开发实例

ubuntu hadoop spark

摘要总结：本文主要介绍了在Ubuntu 16.04下如何安装Hadoop 2.6.0、Spark 1.6.2以及开发环境搭建的过程。主要包括了配置环境变量、安装Hadoop、配置Hadoop、安装Spark、运行Spark的例子以及关闭YARN和Spark。同时，还介绍了如何在Jupyter Notebook中开发Spark应用程序。

2018-01-02

1.1K0

Windows下安装Hadoop

hadoop windows 数据库

本文介绍了Hadoop在Windows系统上的部署、配置和常见问题解决方案。主要包括Hadoop在Windows系统上的安装、配置和优化，以及在使用过程中可能遇到的错误和解决方案。通过本文，读者可以了解到Hadoop在Windows系统上的部署和配置方法，以及如何解决在使用过程中遇到的问题。

2018-01-02

5.5K0

centos 7下Hadoop 2.7.2 伪分布式安装

hadoop 分布式

2018-01-02

1.4K0

Hadoop YARN学习之监控集群监控Nagios（4）

本文介绍了如何使用Nagios对Hadoop YARN集群进行监控。首先介绍了Nagios的基本概念和架构，然后详细描述了如何使用Nagios对Hadoop YARN集群进行监控。主要包括配置Nagios、定义监控命令和服务、定义服务状态和故障、以及如何使用Nagios进行故障排查。最后，列举了一些常见的问题和注意事项。

2018-01-02

7740

Hadoop YARN学习监控JVM和实时监控Ganglia、Ambari（5）

该文介绍了如何监控Hadoop YARN集群，包括JVM分析和Ganglia、Ambari监控系统。通过这些方法，管理员可以实时监控集群状态，实现集群资源有效管理和利用。

2018-01-02

1.4K0

Hadoop YARN学习之核心概念（2）

Hadoop YARN学习之核心概念（2）

2018-01-02

8350

Hadoop YARN学习之组件功能简述（3）

本文介绍了Hadoop YARN学习之组件功能简述，包括ResourceManager、NodeManager和ApplicationMaster等组件，以及它们之间的协作和通信。同时，还介绍了YARN的调度组件，包括FIFO、Capacity和Fair。最后，文章提到MapReduce只是YARN中的一种应用程序框架，在YARN环境下，其他框架已经可以使用或者正在开发中。

2018-01-02

5990

Hadoop YARN学习之Hadoop框架演进历史简述

Hadoop YARN学习之Hadoop框架演进历史简述：文章主要介绍了Hadoop YARN学习之Hadoop框架的演进历史，包括多个阶段，以及YARN的特性。

2018-01-02

7470

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态