学习
实践
活动
工具
TVP
写文章

#Hadoop

Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。

Linux下的如何快速安装Hadoop

Java极客技术

大家都对大数据感兴趣,但是大家都没有想去如何实践到地方,如何落实去学习Hadoop,我们学习任何一门技术的时候,都不用想,上来肯定是去安装,然后去实践,不得不说...

300

BS1020-基于java爬虫+springboot+hadoop实现地区文化资源社交平台大数据分析系统

计算机程序优异哥

本基于java爬虫+springboot+hadoop实现地区红色文化资源社交平台大数据分析系统设计与实现,在系统架构层采用java编程语言,mysql数据库,...

1000

工作常用之Yarn详解【五】资源调度与隔离

ChinaManor

在YARN中,资源管理由ResourceManager和NodeManager共同完成,其中,ResourceManager中的调度器负责资源的分配,而Node...

1100

基于大数据架构实现景点游客数据分析平台,全国景点游客数据管理系统

计算机程序优异哥

随着最近几年旅游行业的兴起,越来越多的景区景点将传统模式的线下统计模式变更成为了线上分析统计模式,线上对景区游客数据的管理与监督的新型模式。很多的景点采用游客数...

1100

Linux下配置SSH建立信任 免密登录

菲宇

在搭建Linux集群服务的时候,主服务器需要启动从服务器的服务,如果通过手动启动,集群内服务器几台还好,要是像阿里1000台的云梯hadoop集群的话,轨迹启动...

1400

Spark初识-Spark与Hadoop的比较

栗筝i

Hadoop一个作业称为一个Job,Job里面分为Map Task和Reduce Task阶段,每个Task都在自己的进程中运行,当Task结束时,进程也会随之...

2310

Spark初识-什么是Spark

栗筝i

Spark,是一种“One Stack to rule them all”的大数据计算框架,是一种基于内存计算的框架,是一种通用的大数据快速处理引擎。

3510

可扩展的编程语言——Scala

栗筝i

Scala是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台(Java虚拟机),并兼容现有的Java程...

2820

Hive-简介入门

栗筝i

它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。

3020

HDFS-配置项

栗筝i

core-default.xml与core-site.xml的功能是一样的,如果在core-site.xml里没有配置的属性,则会自动会获取core-defau...

2210

HDFS-简介

栗筝i

HDFS采用主/从体系结构,整个HDFS集群由一个Namenode和多个Datanode构成master-worker(主从)模式。Namenode负责构建命名...

2520

国产自研、安全、高可用——袋鼠云大数据基础平台EasyMR筑基企业数字化转型

数栈DTinsight

近年来,国际形势的风云变幻,中美双边关系的恶化,自 2013 年 “棱镜门” 事件之后,又一次警示国人,对于科技领域,只有自己掌握核心关键技术,实现自主可控,才...

3420

大数据技术入门:MapReduce(分布式计算框架)

百思不得小赵

MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)“和"Reduce(归约)”,是它们的主要思想,都是从函数式编程...

2110

大数据技术入门:hdfs(分布式文件存储系统)

百思不得小赵

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File...

2830

大数据技术入门:impala查询引擎

百思不得小赵

Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽...

3720

如何构建、部署运行Flink程序

百思不得小赵

Flink程序一般的开发步骤 构建完成Flink程序之后就可以开发程序了,开发一个Flink程序的一般步骤:

6030

Hive常见的属性配置

栗筝i

默认配置文件:hive-default.xml 用户自定义配置文件:hive-site.xml

3240

jar包在Hadoop集群上测试(MapReduce)

栗筝i

4930

Hadoop的安装与配置——设置单节点群集

栗筝i

1、本系列以Ubuntu Linux作为开发和生产平台 2、Linux所需的软件包括:

7350

日常问题———Attempting to operate on hdfs namenode as root

栗筝i

写在最前注意: 1、master,slave都需要修改start-dfs.sh,stop-dfs.sh,start-yarn.sh,stop-yarn.sh四...

4530

扫码关注腾讯云开发者

领取腾讯云代金券