在笔记本电脑中安装Hadoop、Pig和hive - 腾讯云开发者社区

文章/答案/技术大牛

发布

安装hue及hadoop和hive整合

环境: centos7 jdk1.8.0_111 Hadoop 2.7.3 Hive1.2.2 hue-3.10.0 Hue安装: 1.下载hue-3.10.0.tgz: https://dl.dropboxusercontent.com.../u/730827/hue/releases/3.10.0/hue-3.10.0.tgz 2.安装依赖包： yum install libffi-devel yum install gmp-devel...hive_server_host=localhost # Hive configuration directory, where hive-site.xml is located...hive_conf_dir=/etc/hive/conf 　　修改hive-site.xml配置: hive.server2.thrift.bind.host...启动Hue 　build/env/bin/supervisor 在浏览器访问：http://192.168.187.128:8888打开Hue的Web 界面并登陆参考: http://www.opexlabs.com

1970 0

hadoop2-hive的安装和测试

在安装和测试hive之前，我们需要把Hadoop的所有服务启动在安装Hive之前，我们需要安装mysql数据库 --mysql的安装 - (https://segmentfault.com/a/1190000003049498...QAZ2wsx3edc'; --创建hive数据库,后面要用到，hive不会自动创建 create database hive; 安装和配置Hive --安装Hive cd ~ tar -zxvf...-2.5/bin/hadoop job -kill job_1541003514112_0002 Hadoop job information for Stage-1: number of mappers...Time Spent: 1 minutes 0 seconds 620 msec OK 19999999 Time taken: 105.013 seconds, Fetched: 1 row(s) 查询表中age...-2.5/bin/hadoop job -kill job_1541003514112_0003 Hadoop job information for Stage-1: number of mappers

4823 0

您找到你想要的搜索结果了吗？

是的

没有找到

在Ubuntu中安装Hadoop

在装Hadoop之前首先需要： 1.java1.6.x 最好是sun的，1.5.x也可以 2.ssh 安装ssh $ sudo apt-get install ssh $ sudo apt-get...group为Hadoop user为Hadoop的用户以及组 $ sudo addgroup Hadoop $ sudo adduser --ingroup Hadoop Hadoop 解压下载的Hadoop...文件，放到/home/Hadoop目录下名字为Hadoop 配置JAVA_HOME: gedit ~/Hadoop/conf/Hadoop-env.sh 将Java代码 1. # The java...# export JAVA_HOME=/usr/lib/j2sdk1.5-sun 修改成java的安装目录： # The java implementation to use....- http://localhost:50070/ JobTracker - http://localhost:50030/ 查看NameNode和JobTracker 运行例子： $

1.7K10 0

hadoop: hive 1.2.0 在mac机上的安装与配置

环境：mac OS X Yosemite + hadoop 2.6.0 + hive 1.2.0 + jdk 1.7.0_79 前提：hadoop必须先安装，且处于运行状态（伪分式模式或全分布模式均可）...hive官网地址：http://hive.apache.org/ 建议：经个人实践，在mac OS X Yosemite 环境下，如果使用apache下载的原始hadoop 2.6.0，不管jdk安装成什么版本...（1.6\1.7\1.8都试过），hive 1.2.0启动时，始终报jdk版本不匹配，后来在mac上将hadoop 2.6.0源编译成mac原生版本后，就正常了。...（必须先手动建好），其它目录为hdfs中的目录（hive启动时，先自动建好，如果自动创建失败，也可以手动通过shell在hdfs中创建）四、替换hadoop 2.6.0中的jline jar包由于hive...从使用层面看，采用SQL语句方式来分析数据，确实比MapReduce或PIG方式方便太多了。

1.6K8 0

Hadoop大数据生态系统及常用组件

所以有几个厂商提供Hadoop的这种安装和管理平台，主要是CDH和HDP，国内的很多人都用CDH的，它是Cloudera公司的，如果用它的管理界面安装，集群节点超过一定数量就要收费了。...ZooKeeper 顾名思义就是动物园管理员，它是用来管大象(Hadoop) 、蜜蜂(Hive) 和小猪(Pig) 的管理员， Apache Hbase和 Apache Solr 以及LinkedIn...其他组件以上介绍的都是Hadoop用来计算和查询的比较常用和主流的组件，上面那副生态图中的其他几个组件简单了解一下就好： Pig是一种编程语言，它简化了Hadoop常见的工作任务，Pig为大型数据集处理提供了更高层次的抽象...Sqoop是数据库ETL工具，用于将关系型数据库的数据导入到 Hadoop 及其相关的系统中，如 Hive和HBase。...说一下流计算(Druid，Spark Streaming)和批处理(MapReduce，Hive)有啥区别，比如电商网站的个性化广告投放，当我们访问了亚马逊搜索笔记本电脑之后，他就会给你推荐很多笔记本电脑链接

1K2 0

hadoop使用（六）

Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。 •Hive在Hadoop中扮演数据仓库的角色。...与Pig一样，Hive的核心功能是可扩展的。 Pig和Hive总是令人困惑的。Hive更适合于数据仓库的任务，Hive主要用于静态的结构以及需要经常分析的工作。...Hive与SQL相似促使其成为Hadoop与其他BI工具结合的理想交集。Pig赋予开发人员在大数据集领域更多的灵活性，并允许开发简洁的脚本用于转换数据流以便嵌入到较大的应用程序。...安装pig 解压缩 tar zxvf pig-0.10.0.tar.gz 进入目录 cd pig-0.10.0 注意，pig是hadoop的工具，所以不需要修改原hadoop的配置。...hdfs和mapreduce 在本地运行pig pig -x local 得到如下界面 ?

1.2K6 0

Pig 0.12.1安装和使用

Pig 0.12.1安装和使用 1 :安装解压，配置环境变量，验证 pig安装是否成功 [linuxidc@jifeng02 ~]$ tar zxf pig-0.12.0.tar.gz [linuxidc...本地模式下，Pig运行在单一的JVM中，可访问本地文件。...Pig脚本的文件，比如以下命令将运行本地scripts.pig文件中的所有命令： pig scripts.pig 2）Grunt方式 Grunt提供了交互式运行环境，可以在命令行编辑执行命令。...3）嵌入式方式可以在java中运行Pig程序，类似于使用JDBC运行SQL程序。...Pig Latin编辑器 PigPen是一个Ecliipse插件，它提供了在Eclipse中开发运行Pig程序的常用功能，比如脚本编辑、运行等。

6862 0

这12件事让我很讨厌Hadoop

就像我和Hadoop之间的存在斗争一样。下面是我列举的12个痛点。 ? 1.Pig vs. Hive 你在 Pig 里用不了 Hive UDFS。...在 Pig 中你必须用 HCatalog 来访问 Hive 表。你在 Hive 里用不了Pig UDFS。...在 Hive 中无论是多么小的额外功能，我都不会感觉像写一个 Pig 脚本或者“啊，如果是在 Hive 里我可以轻易地完成”，尤其是当我写 Pig 脚本的时候，当我在写其中之一的时候，我经常想，“要是能跳过这堵墙就好了...Namenode 失败 Oozie、Knox 和 Hadoop 的其它部分都不遵循新的 Namenode HA 资料。你可以在 Hadoop 中启用HA，只要你不使用与之相关的东西。 9....Null 指针异常我经常在运行过程中遇到这样的转换错误，换句话说，他们不应该在Pig、Hive 等数据查询和处理工具中被表示为 Null 指针异常。对任何相似的抱怨，都会有的答复，“欢迎补丁！”

9698 0

Hadoop学习笔记—16.Pig框架学习

用于执行Pig Latin程序的执行环境，当前有两个环境：单JVM中的本地执行环境和Hadoop集群上的分布式执行环境。　　...Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。　　•Hive在Hadoop中扮演数据仓库的角色。...Hive添加数据的结构在HDFS，并允许使用类似于SQL语法进行数据查询。与Pig一样，Hive的核心功能是可扩展的。　　Pig和Hive总是令人困惑的。...二、Pig的安装配置 2.1 准备工作　　下载pig的压缩包，这里使用的是pig-0.11.1版本，已经上传至了百度网盘中（URL：http://pan.baidu.com/s/1o6IDfhK）　　...PS：在使用Pig之前先将该文件上传至HDFS中，这里上传到了/testdir/input目录中 hadoop fs -put HTTP_20130313143750.dat /testdir/input

6182 0

盘点Hadoop让人讨厌的12件事

Pig vs. Hive 你在 Pig 里用不了 Hive UDFS。在 Pig 中你必须用 HCatalog 来访问 Hive 表。你在 Hive 里用不了Pig UDFS。...在 Hive 中无论是多么小的额外功能，我都不会感觉像写一个 Pig 脚本或者“啊，如果是在 Hive 里我可以轻易地完成”，尤其是当我写 Pig 脚本的时候，当我在写其中之一的时候，我经常想，“要是能跳过这堵墙就好了...这种机制在 Oozie 和别的工具上也出现了。这通常无关紧要，但有时，必须存储一个组织的共享库版本就很痛苦了。还有，大多数时候，你安装在不同客户端的相同 JAR，那么为什么要保存两次？...Namenode 失败 Oozie、Knox 和 Hadoop 的其它部分都不遵循新的 Namenode HA 资料。你可以在 Hadoop 中启用HA，只要你不使用与之相关的东西。 9....Null 指针异常我经常在运行过程中遇到这样的转换错误，换句话说，他们不应该在Pig、Hive 等数据查询和处理工具中被表示为 Null 指针异常。对任何相似的抱怨，都会有的答复，“欢迎补丁！”

9578 0

Ambari在离线环境中安装Hadoop集群顶

(WJW)Ambari在离线环境中安装Hadoop集群如果手工安装Hadoop集群,在管理和后继部署中，越来越多的问题不断出现，主要如下：各集群节点的配置同步新应用的部署：比如为集群添加...Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目.目前最新的发布版本是 2.1.2....就 Ambari 的作用来说,就是创建,管理,监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper...生产中的hadoop集群机器都很多,而且基本都不允许连接公网,为方便快速部署,非常有必要建立一个本地Repository,使Ambari在离线环境中安装Hadoop集群!.../hive Log路径, 这里需要看出错信息都可以在目录下找到相关的日志 /var/log/hadoop /var/log/hbase 配置文件的路径 /etc/hadoop /etc/hbase /

1.7K5 0

Hadoop家族学习路线图v

Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中...与Hive，Pig类似，Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库 Apache Whirr: 是一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。...Apache HCatalog: 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。...Hadoop家族学习路线图下面我将分别介绍各个产品的安装和使用，以我经验总结我的学习路线。...Hive安装及使用攻略 Hive导入10G数据的测试 R利剑NoSQL系列文章之 Hive 用RHive从历史数据中提取逆回购信息 Pig Pig学习路线图 Zookeeper Zookeeper学习路线图

1.9K3 0

Hadoop家族学习路线图

Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中...与Hive，Pig类似，Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库 Apache Whirr: 是一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。...Apache HCatalog: 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。...Hadoop家族学习路线图下面我将分别介绍各个产品的安装和使用，以我经验总结我的学习路线。...ZooKeeper实现分布式FIFO队列基于Zookeeper的分步式队列系统集成案例 HBase HBase学习路线图在Ubuntu中安装HBase RHadoop实践系列之四 rhbase安装与使用

1.6K8 0

Hadoop 添加数据节点（datanode）

前提条件：安装jdk-6u18 实现目的：在Hadoop集群中添加一个新增数据节点。 1....export PIG_HOME=/app/hadoop/pig-0.12.0 export PIG_CLASSPATH=/app/hadoop/pig-0.12.0/conf PATH=$JAVA_HOME.../bin:$PATH:$HOME/bin:$HADOOP_HOME/bin:$PIG_HOME/bin:$HIVE_HOME/bin export PATH export HADOOP_HOME_WARN_SUPPRESS...安装hadoop --把集群中的hadoop复制到新节点 [licz@nticket2~]$ scp -r hadoop-1.2.1/server123:/app/hadoop 7....在新节点上启动datanode和tasktracker [licz@server123~]$ hadoop-daemon.sh start datanode startingdatanode, logging

1.1K2 0

Hadoop和Hive中的数据倾斜问题及其解决方案

Hadoop和Hive中的数据倾斜问题及其解决方案 Hadoop 中的数据倾斜问题及其解决方案原因: 在 Hadoop 的 MapReduce 中，数据倾斜通常发生在 Reduce 阶段，当某些键值对的数量远多于其他键时...Hive 中的数据倾斜问题及其解决方案原因: 在 Hive 查询中，数据倾斜可能发生在进行大表与小表的 JOIN 操作时，或者是 GROUP BY 操作时，某些键值的数量远多于其他键。...解决方案: 使用 SKEWED BY: 在 Hive 表定义中使用 SKEWED BY 可以指定倾斜的列，并对这些列进行特殊处理。...使用 DISTRIBUTE BY 和 SORT BY: 这些子句可以帮助在执行 JOIN 或聚合操作前更均匀地分布数据。...调整 Map 和 Reduce 的数量: 像在 Hadoop 中一样，调整任务数量可以帮助缓解倾斜问题。

2511 0

【赵渝强老师】Hadoop生态圈组件

由于HBase的底层是HDFS，因此HBase中创建的表和表中数据最终都是存储在HDFS上。HBase的核心是列式存储，它适合执行查询操作。...从Hadoop 2.x开始，MapReduce默认都是运行在Yarn之上。在Hadoop的安装包中已经集成了HDFS与Yarn。...因此Hadoop安装成功后，可以直接执行MapReduce任务处理HDFS的数据。四、数据分析引擎Hive与Pig Hive是基于HDFS之上的数据仓库，支持标准的SQL语句。...Pig也是Hadoop中的数据分析引擎，支持PigLatin语句。默认情况下，Pig的执行引擎也是MapReduce。Pig允许处理结构化数据和半结构化数据。...Hive和Pig的执行引擎也可以是Spark，即：Hive on Spark和Pig on Spark。

2371 0

Bug死磕之hue集成的oozie+pig出现资源任务死锁问题

的，那么没必要安装oozie了，那么整个流程就简单了，进入hive目录启动memstore和hiveserver2服务即可： bin/hive --service metastore bin/hiveserver2...hive只支持0.13.1 hbase支持到0.94.2 spark，hadoop，pig均可支持当然最新版本而且pom文件里面用到的codehash镜像已经失效，如果不去掉，则会编译失败：...（加载类是h2，代表hadoop2.x），hadoop，hbase，hive，spark等版本，hbase和hive使用最新的可能会编译失败，这一点需要注意，经测试hbase0.94.2和hive0.13.1...： http://qindongliang.iteye.com/blog/2212503 （三）在hue里面测试pig脚本：写一个简单的pig脚本： ?...点击运行，发现oozie会启动两个任务，一个是launcher，一个pig脚本，lancher任务一直卡着95%进度，不再有任何变化，而主体的pig脚本，则一直在初始化阶段，不能被执行，看日志log无任何错误

1.1K6 0

Hadoop中的Hive是什么？请解释其作用和用途。

Hadoop中的Hive是什么？请解释其作用和用途。...Hive是Hadoop生态系统中的一个数据仓库工具，它提供了一个类似于SQL的查询语言，称为HiveQL，用于在Hadoop集群上进行数据分析和查询。...Hive的作用是将结构化和半结构化的数据存储在Hadoop集群中，并提供一种简单的方式来查询和分析这些数据。它将查询转换为MapReduce作业，并通过优化查询执行计划来提高查询性能。...Hive的用途非常广泛，特别适用于以下几个方面：数据仓库和数据湖：Hive可以将结构化和半结构化的数据存储在Hadoop集群中，使其成为一个大规模的数据仓库或数据湖。...Hive的作用和用途在这里得到了解释，它提供了一个简单的方式来存储、查询和分析数据，使非技术人员也能够轻松地使用Hadoop进行数据分析。

5610 0

技术分享 | 提升Hadoop性能和利用率你知道有哪些吗？

HBase的关键在于它不关心数据类型，在同一列中存储一行中的整数和另一行中的字符串。它存储一个键值对并存储版本化的数据。...查询规划器将用Pig Latin编写的查询映射，然后将其缩小，然后在Hadoop集群上执行。使用Pig，你可以创建自己的功能来做特殊处理。在简单的MapReduce中，编写表之间的连接是非常困难的。...Pig Latin暴露了从每个阶段执行操作的显式原语。这些原语可以被组合和重新排序。Pig有两种工作模式：本地模式A和Hadoop模式。...4、Hive Hive是Hadoop的数据仓库。那些不具备Java背景并且知道SQL查询的人，发现在Java中编写MapReduce作业是很困难的。为了解决这个问题，开发了Hive。...在第一步中，它将请求发送到关系数据库，以返回关于表的元数据信息（元数据是关于关系数据库中的表的数据）。第二步中，Sqoop根据接收到的信息生成Java类，必须在系统中安装Java。

1.5K5 0

【学习】Hadoop大数据学习线路图

现在hadoop已经发行了最新的2.2.x版本，但是不测试不够全面不够稳定，大家应该选择比较稳定的版本学习，因为在公司中还是会使用稳定的版本，2.2.x版本中一些处理机制和方案是值得我们学习的，需要有所了解的是...与Hive，Pig类似，Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库 Apache Whirr: 是一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。...Apache HCatalog: 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。...Cloudera Hue: 是一个基于WEB的监控和管理系统，实现对HDFS，MapReduce/YARN, HBase, Hive, Pig的web化操作和管理。...Hive学习路线图 Hive安装及使用攻略 Hive导入10G数据的测试 R利剑NoSQL系列文章之 Hive 用RHive从历史数据中提取逆回购信息 Pig Pig学习路线图 Zookeeper

1.3K6 0

点击加载更多

安装hue及hadoop和hive整合

hadoop2-hive的安装和测试

在Ubuntu中安装Hadoop

hadoop: hive 1.2.0 在mac机上的安装与配置

Hadoop大数据生态系统及常用组件

hadoop使用（六）

Pig 0.12.1安装和使用

这12件事让我很讨厌Hadoop

Hadoop学习笔记—16.Pig框架学习

盘点Hadoop让人讨厌的12件事

Ambari在离线环境中安装Hadoop集群顶

Hadoop家族学习路线图v

Hadoop家族学习路线图

Hadoop 添加数据节点（datanode）

Hadoop和Hive中的数据倾斜问题及其解决方案

【赵渝强老师】Hadoop生态圈组件

Bug死磕之hue集成的oozie+pig出现资源任务死锁问题

Hadoop中的Hive是什么？请解释其作用和用途。

技术分享 | 提升Hadoop性能和利用率你知道有哪些吗？

【学习】Hadoop大数据学习线路图

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐