如何在HUE上执行Java程序

HUE版本:3.12.0 前言 通过浏览器访问ip:8888登陆HUE界面,首次登陆会提示你创建用户,这里使用账号/密码:hue/hue登陆。

一、业务场景

基于HUE系统,使用平台自带的hadoop-mapreduce-examples.jar对一个文本文件执行wordcount操作。

二、前期准备

HDFS/user/hue/wc/目录下新建wordcount.txt文件,内容如下:

My English teacher has a big house.
It has a living room, a big dining room, two bedrooms, a study, two bathrooms and a big kitchen.
In the living room, there is a big picture, four brown sofas, white fans and blue walls. The TV set is big. There is a big Chinese knot on the wall. There are lanterns below the lights. I like them.
This is my English teacher’s house.

hadoop-mapreduce-examples.jar文件在/usr/hdp/2.6.4.0-91/hadoop-mapreduce/目录下。WordCount的程序片段如下图所示:

三、两种方式

目前有两种方法可以执行jar包程序。一种是作业设计器,另一种是直接编辑workflow。

3.1 作业设计器

首先打开HUE Web UI,点击“查询编辑器>作业设计器”,如下图所示:

然后点击“创建”,选择“Java”。如下图所示:

我们主要配置:

  • Jar路径:jar包在HDFS上的路径。例如:/user/hue/hadoop-mapreduce-examples.jar
  • Main方法:一般是包名+类名。例如:org.apache.hadoop.examples.WordCount
  • Args:参数。就wordcount的程序而言,主要是两个参数,分别为输入路径与输出路径,其中输出路径不能已存在。如果要使用HDFS上的路径,请特别说明。参数之间需要用空格隔开。例如:hdfs://node123.xdata:8020/user/hue/wc/wordcount.txt hdfs://node123.xdata:8020/tmp/output

配置编写完如下图所示:

点击保存,提交。执行成功后如下图所示:

点击“定义按钮”,可查看workflow.xml的内容,可以看到里面有我们的输入路径及输出路径。如下图所示:

通过HUE查看HDFS上/tmp/output/目录下的内容,如下图所示:

3.2 编辑Workflow

首先打开HUE Web UI,点击“工作流程>编辑器>Workflow”,然后点击“创建”,如下图所示:

选择“Java程序”,将其拖动到“灰色模块”处,如下图所示:

需要填写四个参数:

  • Jar名称:/user/hue/hadoop-mapreduce-examples.jar
  • Main Class:一般是包名+类名。例如:org.apache.hadoop.examples.WordCount
  • 输入路径:hdfs://node123.xdata:8020/user/hue/wc/wordcount.txt
  • 输出路径:hdfs://node123.xdata:8020/tmp/out1输出路径不能已存在。

存该workflow,点击提交,执行结果如下图所示:

点击“定义按钮”,可查看workflow.xml的内容,可以看到里面有我们的输入路径及输出路径。如下图所示:

通过HUE查看HDFS/tmp/out1/目录下的内容:


一时间回复。

原文发布于微信公众号 - 大数据实战演练(gh_f942bfc92d26)

原文发表时间:2019-03-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券