性能与架构-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

性能与架构

专栏成员

597

文章

1193360

阅读量

116

订阅数

【教程】Hadoop MapReduce 实践

hadoop mapreduce

1. 教程内容 1）目标帮助您快速了解 MapReduce 的工作机制和开发方法主要帮您解决以下几个问题： MapReduce 基本原理是什么？ MapReduce 的执行过程是怎么样的？ MapReduce 的核心流程细节如何进行 MapReduce 程序开发？（通过7个实例逐渐掌握）并提供了程序实例中涉及到的测试数据文件，可以直接下载使用关于实践环境，如果您不喜欢自己搭建hadoop环境，可以下载使用本教程提供的环境，实践部分内容中会介绍具体使用方法学习并实践完成后，可以对 MapReduc

2018-04-04

7600

【教程】Hadoop HDFS 实践

1. 教程内容 1）目标主要帮您解决以下几个问题： HDFS 是用来解决什么问题的？怎么解决的？如何在命令行下操作 HDFS ？如何使用 java api 来操作 HDFS ？了解了基本思路和操作方法后，想知道 HDFS 读写数据的具体流程是怎么样的并提供了实践环境，如果您不喜欢自己搭建hadoop环境，可以直接下载使用本环境学习并实践完成后，可以对 HDFS 有比较清晰的认识，并可以进行熟练操作，为后续学习 hadoop 体系打好基础 2）理论部分 HDFS 基本原理文件读取、写入机制元数

2018-04-04

6560

Hive - Hadoop与SQL

sql hive hadoop mapreduce jar

Hive是什么简单来说，通过 Hive 可以使用 SQL 来查询分析 Hadoop 中的大规模数据 Hive 的思路就是将结构化的数据文件映射为数据库表，然后把SQL语句转换为MapReduce任务来执行下面看一个简单的示例，了解下 Hive 是怎么用的 hive> select count(*) from invites; 结果信息 ...... Total jobs = 1 Launching Job 1 out of 1 ...... Hadoop job information for Stag

2018-04-04

1K0

Docker部署Hadoop集群

容器镜像服务 hadoop

前几天写了文章“Hadoop 集群搭建”之后，一个朋友留言说希望介绍下如何使用Docker部署，这个建议很好，Docker不仅在生产环境威力巨大，对于我们在自己电脑中搭建学习实验环境更是非常便利搭建一个集群环境时需要多台服务器，对于我们个人，这通常是个门槛，需要使用虚拟机，安装操作系统，然后运行起来多个虚机安装操作系统是个不太轻松的任务，并且运行多个虚机对个人电脑性能也有一定要求，这些门槛影响了很多小伙伴的实践积极性使用Docker的话就简单了，不用安装操作系统，直接下载一个镜像，如centos，这样

2018-04-04

5.9K1

HDFS 核心原理

hadoop 分布式

HDFS（Hadoop Distribute File System）是一个分布式文件系统文件系统是操作系统提供的磁盘空间管理服务，只需要我们指定把文件放到哪儿，从哪个路径读取文件句可以了，不用关心文件在磁盘上是如何存放的当文件所需空间大于本机磁盘空间时，如何处理呢？一是加磁盘，但加到一定程度就有限制了二是加机器，用远程共享目录的方式提供网络化的存储，这种方式可以理解为分布式文件系统的雏形，可以把不同文件放入不同的机器中，空间不足了可以继续加机器，突破了存储空间的限制但这个方式有多个问题

2018-04-03

6070

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态