腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Golang开发

专栏作者

289

文章

265660

阅读量

38

订阅数

zookeeper hbase TDSQL MySQL 版大数据 bash

本文的HBase安装是在Hadoop已经安装好的基础上实现的，所以之前要导出JAVA_HOME、HADOOP_HOME( 单机模式不需要，伪分布式模式和分布式模式需要)等环境变量以及配置好SSH互信等。 0 公共配置导出HBase的环境变量

2019-09-24

5610

Hadoop伪分布式配置

xml http yarn node.js 大数据

http://localhost:50070/dfshealth.html#tab-overview

2019-08-24

6890

分布式 spark 大数据数据结构

全称为Resilient Distributed Datasets,弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变，可分区,里面的元素可并行计算的集合。RDD在逻辑上是一个数据集，在物理上则可以分块分布在不同的机器上并发运行。RDD允许用户在执行多个查询时显示的将工作缓存在内存中，后续的查询能够重用工作集，这极大的提升了查询速度。在Spark 中，对数据的所有操作不外乎创建RDD,转换已有RDD以及调用RDD操作进行求值，每个RDD都被分为多个分区，这些分区运行在集群的不同节点上，RDD可以包含Python,Java,Scala中任意类型的对象，甚至可以是用户自定义对象。 RDD是Spark的核心，也是整个Spark的架构基础。它的特性可以总结如下：

2019-08-08

5160

Hadoop——MapReduce分布式计算框架

大数据 mapreduce

源自2014年12月的Google发表的MapReduce论文，它是一个编程模型，用于大数据量的计算，MapReduce是分布式计算框架。具有海量数据离线处理。对于大数据量的计算，通常采用的处理方式就是并行计算，MapReduce就是一种简化并行计算的编程模型，它使得并没有并行计算经验的开发人员也可以计算并行应用程序

2019-08-05

7300

Mac的Hadoop开发环境搭建

xml hadoop 大数据 bash bash 指令

最终的安装目录在/usr/local/Cellar/hadoop/ 安装的版本是3.1.2

2019-08-05

1.4K0

Hadoop(1)——理论简介

hadoop http mapreduce 大数据 yarn

官方地址：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

2019-05-29

4270

Hadoop API——HDFS

mvn 配置 <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.0</version> </dependency> <dependency> <groupId>junit</gr

2019-05-29

5530

Hadoop(2)——HDFS(分布式文件系统)

node.js xml 大数据 hadoop bash

英文全称是The Hadoop Distributed File System官方地址http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html 非常巨大的分布式文件系统运行在普通廉价的硬件上commodity hardware 高容错的易扩展，为用户提供性能不错的文件存储服务

2019-05-28

5320

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态