Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >使用Hue创建Ssh的Oozie工作流时重定向输出日志报错分析

使用Hue创建Ssh的Oozie工作流时重定向输出日志报错分析

作者头像
企鹅号小编
发布于 2018-01-12 09:24:43
发布于 2018-01-12 09:24:43
1.4K0
举报
文章被收录于专栏:编程编程

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

Fayson的github:https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.问题描述

Fayson前面的一篇文章讲过《如何在Hue中创建Ssh的Oozie工作流》。但当重定向输出日志时,会出现异常。

Ssh Action的Oozie工作流创建如下:

运行异常日志如下,提示:代码块部分可以左右滑动查看噢

2.解决方法

通过上述方式创建Ssh Action工作流主要是由于”>> /tmp/out.log”引起,如果只是执行“ls /”,Ssh Action是可以正常运行成功的,可以通过如下方式实现:

1.在要执行命令的服务上创建一个shell脚本,脚本内容如下:

[fayson@ip-172-31-22-86~]$vim ssh-action.sh

#!/bin/bash

ls/>> /tmp/out.log

2.设置ssh-action.sh执行权限,只有fayson用户可以执行该脚本

[fayson@ip-172-31-22-86~]$chmod744ssh-action.sh

3.创建Ssh Action工作流

在Ssh command中配置对应服务的Shell脚本”/home/fayson/ssh-action.sh”

4.提交Oozie工作流,执行成功

5.查看服务/tmp/out.log文件

3.总结

在使用Hue创建Ssh Action的Oozie工作流直接在Ssh command中输入命令重定向会导致运行失败,可以使用在执行命令的目标服务使用Shell脚本的方式实现该功能。

这里Fayson在做测试的时候发现,在命令行前面添加”;”也可以实现重定向输出日志,实现如下(这种实现方式比较诡异,仅供参考):

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

本文来自企鹅号 - Hadoop实操媒体

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文来自企鹅号 - Hadoop实操媒体

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Hue中使用Oozie创建Shell工作流在脚本中切换不同用户
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 1.文档编写目的 前面Fayson讲过《Hue中使用Oozie创建Ssh工作流时sudo命令执行失败问题分析》,如果不在Shell脚本中使用sudo命令该如何切换到其它呢?本篇文章主要讲述如何Hue中使用Oozie创建Shell工作流在脚本中切换用户执行Hadoop命令。本文脚本中的主要流程如下: 内容概述 1.编写测试shell脚本 2.准备
企鹅号小编
2018/02/01
1.2K0
Hue中使用Oozie创建Shell工作流在脚本中切换不同用户
使用Hue创建Ssh的Oozie工作流时重定向输出日志报错分析
Fayson前面的一篇文章讲过《如何在Hue中创建Ssh的Oozie工作流》。但当重定向输出日志时,会出现异常。
Fayson
2018/03/29
1.7K0
使用Hue创建Ssh的Oozie工作流时重定向输出日志报错分析
如何使用Hue创建Spark2的Oozie工作流(补充)
目前Oozie 的 SparkAction 仅支持Spark1.6, 而并不支持Spark2, 这是 CDH Spark2已知的局限性(https://www.cloudera.com/documentation/spark2/latest/topics/spark2_known_issues.html#ki_oozie_spark_action
Fayson
2018/03/29
3.2K0
如何使用Hue创建Spark2的Oozie工作流(补充)
0462-如何在Hue中创建Shell Action工作流续
Fayson在前面的文章《Hue中使用Oozie创建Shell工作流在脚本中切换不同用户》,里面介绍了Shell Action的创建,在文中我们相应的Shell脚本是放在每个Oozie作业对应的WorkSpace的lib目录下。对于一些对于所有用于都公用的Shell脚本可能放在HDFS的公共目录下,那这时创建Shell Action需要注意些什么呢?本篇文章Fayson主要介绍在Hue中创建Shell Action指定工作空间外的Shell脚本。
Fayson
2018/12/17
9800
Hue中使用Oozie创建Shell工作流在脚本中切换不同用户
前面Fayson讲过《Hue中使用Oozie创建Ssh工作流时sudo命令执行失败问题分析》,如果不在Shell脚本中使用sudo命令该如何切换到其它呢?本篇文章主要讲述如何Hue中使用Oozie创建Shell工作流在脚本中切换用户执行Hadoop命令。本文脚本中的主要流程如下:
Fayson
2018/03/29
1.9K0
Hue中使用Oozie创建Shell工作流在脚本中切换不同用户
如何编译及使用hive-testbench生成Hive基准测试数据
前面Fayson介绍了《如何编译及使用TPC-DS生成测试数据》,在本篇文章Fayson主要介绍GitHub上的一个开源的项目hive-testbench,该项目主要基于TPC-DS进行封装利用MapReduce的方式快速的生成Hive基准测试数据,本篇文章主要介绍如何编译及使用hive-testbench生成指定数据量的Hive基准测试数据。
Fayson
2018/03/30
5.8K2
在Kerberos环境使用Hue通过Oozie执行Sqoop作业报错异常分析
关于Sqoop抽取Hive Parquet表数据到MySQL可以参考Fayson前面的文章《Sqoop抽取Hive Parquet表数据到MySQL异常分析》。
Fayson
2018/03/29
2.2K0
在Kerberos环境使用Hue通过Oozie执行Sqoop作业报错异常分析
如何使用Oozie API接口向Kerberos环境的CDH集群提交Shell作业
前面Fayson介绍了使用Oozie API向Kerberos和非Kerberos集群提交Spark和Java作业,本篇文章主要介绍如何使用Oozie Client API向Kerberos环境的CDH集群提交Shell Action工作流。
Fayson
2018/03/30
1.8K0
如何使用Oozie API接口向非Kerberos环境的CDH集群提交Shell工作流
前面Fayson介绍了《如何使用Oozie API接口向非Kerberos环境的CDH集群提交Spark作业》和《如何使用Oozie API接口向非Kerberos环境的CDH集群提交Java作业》,本篇文章主要介绍如何使用Oozie Client API向非Kerberos环境的CDH集群提交Shell Action工作流。
Fayson
2018/03/30
1.2K0
Hue中使用Oozie创建Ssh工作流时sudo命令执行失败问题分析
在使用Hue创建Ssh的Oozie工作流,在Shell脚本中执行sudo命令失败,异常如下:
Fayson
2018/03/29
1.7K0
Hue中使用Oozie创建Ssh工作流时sudo命令执行失败问题分析
如何在Hue中集成配置Hive2.3.3服务
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在前面的文章Fayson介绍了《如何在CDH集群中安装Hive2.3.3》,本篇文章主要介绍如何在Hue中集成Hive2.3.3服务。 内容概述 1.环境准备 2.配置Hue集成Hive2 3.Hue验证 测试环境 1.CM和CDH版本为5.14.3 2.Hive的版本为2.3
Fayson
2018/07/12
1.3K0
5.如何为Impala配置OpenLDAP认证
在前面的文章Fayson讲了《1.如何在CentOS6.5安装OpenLDAP并配置客户端》、《2.OpenLDAP集成SSH登录并使用SSSD同步用户》、《3.如何实现OpenLDAP的主主同步》以及《4. 如何为Hive配置OpenLDAP认证》。本篇文章主要介绍如何为Impala配置OpenLDAP认证。
Fayson
2018/03/29
2.9K0
5.如何为Impala配置OpenLDAP认证
Hue禁止用户下载数据问题分析
在使用Hue时通过SQL查询Hive和Impala数据或在浏览文件系统时可以通过Hue提供的下载功能下载数据文件,这样会导致任意用户都可以随意下载数据,有数据泄露的风险。通过Sentry集成可以控制用户访问和查看有限的数据或表,但是如何禁止用户通过Hue下载数据呢?
Fayson
2018/03/29
2.5K0
6.如何为Hue配置OpenLDAP认证
在前面的文章Fayson讲了《1.如何在CentOS6.5安装OpenLDAP并配置客户端》、《2.OpenLDAP集成SSH登录并使用SSSD同步用户》、《3.如何实现OpenLDAP的主主同步》、《4. 如何为Hive配置OpenLDAP认证》以及《5.如何为Impala配置OpenLDAP认证》。本篇文章主要介绍如何为Hue配置OpenLDAP认证。
Fayson
2018/03/29
2.9K0
6.如何为Hue配置OpenLDAP认证
如何使用Hue上创建一个完整Oozie工作流
在使用CDH集群中经常会有一些特定顺序的作业需要在集群中运行,对于需要多个作业顺序执行的情况下,如何能够方便的构建一个完整的工作流在CDH集群中执行,前面Fayson也讲过关于Hue创建工作流的一系列文章具体可以参考《如何使用Hue创建Spark1和Spark2的Oozie工作流》、《如何使用Hue创建Spark2的Oozie工作流(补充)》、《如何在Hue中创建Ssh的Oozie工作流》。本篇文章主要讲述如何使用Hue创建一个以特定顺序运行的Oozie工作流。本文工作流程如下:
Fayson
2018/03/29
4.4K0
如何使用Hue上创建一个完整Oozie工作流
0475-如何统一Hue和Oozie的时区
在前面的文章中,Fayson介绍过《如何修改Cloudera Manager的时区》,《如何修改Hue的时区》和《如何修改CDSW会话的时区》。在使用Hue创建调度任务的过程中,我们会发现Hue的时区与Oozie的调度时间不一致。默认Oozie使用的时区为UTC,在创建调度作业时还需要考虑在当前的时间减去8个小时才能达到我们的预期。在使用上非常不方便,这里Fayson主要介绍如何统一Hue和Oozie的时区。
Fayson
2018/12/25
1.7K0
0475-如何统一Hue和Oozie的时区
Azkaban的使用及Command作业创建
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 Fayson的github:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 前面Fayson介绍了《如何编译安装Azkaban服务》和《如何编译Azkaban插件》、《如何在Azkaban中安装HDFS插件以及与CDH集成》及《如何在Azkaban安装插件(二)》,本篇文章主要通过Command 作业类型示例介绍如何使用Azkaban。 内容概述 1.Co
Fayson
2018/04/18
4K0
Azkaban的使用及Command作业创建
如何在Hue中配置HiveServer2的负载均衡
在前面的文章Fayson介绍了《如何使用HAProxy实现HiveServer2负载均衡》和《如何使用Zookeeper实现HiveServer2的HA》。本篇文章主要基于Haproxy方式实现的Hive负载均衡在Hue中配置HiveServer2服务的负载均衡。
Fayson
2018/03/29
3.5K0
如何使用Oozie API接口向Kerberos环境的CDH集群提交Spark2作业
前面Fayson介绍了多种方式在CDH集群外的节点向集群提交Spark作业,文章中均采用Spark1来做为示例,本篇文章主要介绍如何是用Oozie API向Kerberos环境的CDH集群提交Spark2作业。
Fayson
2018/03/30
3.5K0
如何在Hue中创建Ssh的Oozie工作流
前面Fayson讲过《如何使用Hue创建Spark1和Spark2的Oozie工作流》和《如何使用Hue创建Spark2的Oozie工作流(补充)》,在创建Oozie工作流时会遇到需要登录到其它服务器上去执行脚本或命令,这个时候就会用到Oozie的Ssh Action。本文主要介绍如何创建Ssh Action的Oozie工作流。
Fayson
2018/03/29
2.4K0
如何在Hue中创建Ssh的Oozie工作流
推荐阅读
相关推荐
Hue中使用Oozie创建Shell工作流在脚本中切换不同用户
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档