菩提树下的杨过-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

菩提树下的杨过

专栏成员

1168

文章

1601546

阅读量

97

订阅数

hadoop1.2.1伪分布模式配置

1、修改core-site.xml，配置hdfs 1 <configuration> 2 <property> 3 <name>fs.default.name</name> 4 <value>hdfs://localhost:9000</value> 5 </property> 6 <property> 7 <name>hadoop.tmp.dir</name> 8 <value>/home/jimmy/Desktop/tmp</value> 9 </propert

菩提树下的杨过

2018-01-24

6040

ubuntu13.04环境hadoop1.2.1单机模式安装

一、虚拟机上安裝ubuntun 13.04 中文版当然，你要是习惯看英文版，也可以直接安装英文版。老老实实从官网下载安装即可，安装系统不是本文的重点。这里只提一个注意事项：新手安装前，切记断网，因为安装过程中会联网下载，默认情况下连接的是美国的服务器，如果网速慢，这一步就可能会耗费几个小时。断网后，这里会自动跳过，等安装好，再设置服务器，选择国内的服务器更新语言包等其它软件。二、安装 JDK 1.7.0_45 依照从ORACLE官网下载jdk-7u45-linux-x64.tar.gz，然后按下面的命

菩提树下的杨过

2018-01-24

8260

Hadoop:pig 安装及入门示例

hadoop mapreduce apache java

pig是hadoop的一个子项目，用于简化MapReduce的开发工作，可以用更人性化的脚本方式分析数据。一、安装 a) 下载从官网http://pig.apache.org下载最新版本(目前是0.14.0版本)，最新版本可以兼容hadop 0.x /1.x / 2.x版本，直接解压到某个目录即可。注：下面是几个国内的镜像站点 http://mirrors.cnnic.cn/apache/pig/ http://mirror.bit.edu.cn/apache/pig/ http://mirrors.

菩提树下的杨过

2018-01-19

1.2K0

Hadoop: MapReduce2的几个基本示例

hadoop mapreduce

1) WordCount 这个就不多说了,满大街都是,网上有几篇对WordCount的详细分析 http://www.sxt.cn/u/235/blog/5809 http://www.cnblogs.com/zhanghuijunjava/archive/2013/04/27/3036549.html 这二篇都写得不错, 特别几张图画得很清晰 2) 去重处理(Distinct) 类似于db中的select distinct(x) from table , 去重处理甚至比WordCount还要简单,假如我

菩提树下的杨过

2018-01-19

1K0

hadoop: hive 1.2.0 在mac机上的安装与配置

环境：mac OS X Yosemite + hadoop 2.6.0 + hive 1.2.0 + jdk 1.7.0_79 前提：hadoop必须先安装，且处于运行状态（伪分式模式或全分布模式均可） hive官网地址：http://hive.apache.org/ 建议：经个人实践，在mac OS X Yosemite 环境下，如果使用apache下载的原始hadoop 2.6.0，不管jdk安装成什么版本（1.6\1.7\1.8都试过），hive 1.2.0启动时，始终报jdk版本不匹配，后来在mac

菩提树下的杨过

2018-01-19

1.4K0

hadoop: hbase1.0.1.1 伪分布安装

云数据库 SQL Server hadoop

环境：hadoop 2.6.0 + hbase 1.0.1.1 + mac OS X yosemite 10.10.3 安装步骤：一、下载解压到官网 http://hbase.apache.org 下载合适的版本（hbase与hadoop的版本要匹配，否则可能运行不起来），解压到某个目录即可，本文中的解压目录为 /Users/jimmy/app/hbase-1.0.1.1 二、设置环境变量 ... export HBASE_HOME=/Users/jimmy/app/hbase-1.0.1.1 ...

菩提树下的杨过

2018-01-19

6280

Hadoop: MapReduce2多个job串行处理

hadoop mapreduce apache java

复杂的MapReduce处理中，往往需要将复杂的处理过程，分解成多个简单的Job来执行，第1个Job的输出做为第2个Job的输入，相互之间有一定依赖关系。以上一篇中的求平均数为例，可以分解成三个步骤： 1. 求Sum 2. 求Count 3. 计算平均数每1个步骤看成一个Job，其中Job3必须等待Job1、Job2完成，并将Job1、Job2的输出结果做为输入，下面的代码演示了如何将这3个Job串起来 1 package yjmyzz.mr.job.link; 2 3 import org

菩提树下的杨过

2018-01-19

6750

hadoop:将WordCount打包成独立运行的jar包

hadoop示例中的WordCount程序，很多教程上都是推荐以下二种运行方式： 1.将生成的jar包，复制到hadoop集群中的节点，然后运行 $HADOOP_HOME/bin/hadoop xxx.jar xxx.WordCount /input/xxx.txt /output 2.或者直接在IDE环境中调试(参见eclipse/intellij idea 远程调试hadoop 2.6.0) 但是生产环境中，更多的情况是：没有ide环境，且各应用最终生成的jar包部署在应用服务器上（应用服务器并非had

菩提树下的杨过

2018-01-19

2K0

hadoop 2.6伪分布安装

hadoop 分布式

hadoop 2.6的“伪”分式安装与“全”分式安装相比，大部分操作是相同的，主要区别在于不用配置slaves文件，而且其它xxx-core.xml里的参数很多也可以省略，下面是几个关键的配置：（安装JDK、创建用户、设置SSH免密码这些准备工作，大家可参考hadoop 2.6全分布安装一文，以下所有配置文件，均在$HADOOP_HOME/etc/hadoop目录下）另外,如果之前用 yum install hadoop安装过低版本的hadoop,请先卸载干净(即:yum remove hadoop

菩提树下的杨过

2018-01-19

6320

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态