首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >使用Hue创建Ssh的Oozie工作流时重定向输出日志报错分析

使用Hue创建Ssh的Oozie工作流时重定向输出日志报错分析

作者头像
企鹅号小编
发布于 2018-01-12 09:24:43
发布于 2018-01-12 09:24:43
1.4K03
代码可运行
举报
文章被收录于专栏:编程编程
运行总次数:3
代码可运行

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

Fayson的github:https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.问题描述

Fayson前面的一篇文章讲过《如何在Hue中创建Ssh的Oozie工作流》。但当重定向输出日志时,会出现异常。

Ssh Action的Oozie工作流创建如下:

运行异常日志如下,提示:代码块部分可以左右滑动查看噢

2.解决方法

通过上述方式创建Ssh Action工作流主要是由于”>> /tmp/out.log”引起,如果只是执行“ls /”,Ssh Action是可以正常运行成功的,可以通过如下方式实现:

1.在要执行命令的服务上创建一个shell脚本,脚本内容如下:

[fayson@ip-172-31-22-86~]$vim ssh-action.sh

#!/bin/bash

ls/>> /tmp/out.log

2.设置ssh-action.sh执行权限,只有fayson用户可以执行该脚本

[fayson@ip-172-31-22-86~]$chmod744ssh-action.sh

3.创建Ssh Action工作流

在Ssh command中配置对应服务的Shell脚本”/home/fayson/ssh-action.sh”

4.提交Oozie工作流,执行成功

5.查看服务/tmp/out.log文件

3.总结

在使用Hue创建Ssh Action的Oozie工作流直接在Ssh command中输入命令重定向会导致运行失败,可以使用在执行命令的目标服务使用Shell脚本的方式实现该功能。

这里Fayson在做测试的时候发现,在命令行前面添加”;”也可以实现重定向输出日志,实现如下(这种实现方式比较诡异,仅供参考):

为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。

本文来自企鹅号 - Hadoop实操媒体

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文来自企鹅号 - Hadoop实操媒体

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
LinkedIn 互联网架构扩展简史
LinkedIn成立于 2003 年,其目标是连接到您的网络以获得更好的工作机会。第一周只有 2,700 名会员。时间快进了很多年,LinkedIn 的产品组合、会员基础和服务器负载都取得了巨大的增长。
用户5166556
2024/04/10
1570
LinkedIn 互联网架构扩展简史
.NET技术+25台服务器怎样支撑世界第54大网站
英文原文:StackOverflow Update: 560M Pageviews A Month, 25 Servers, And It's All About Performance StackOverflow 是一个 IT 技术问答网站,用户可以在网站上提交和回答问题。当下的 StackOverflow 已拥有 400 万个用户,4000 万个回答,月 PV5.6 亿,世界排行第 54。然而值得关注的是,支撑他们网站的全部服务器只有 25 台,并且都保持着非常低的资源使用率,这是一场高有效性、负载均衡
逸鹏
2018/04/09
9700
.NET技术+25台服务器怎样支撑世界第54大网站
Facebook、谷歌、微软和亚马逊的网络架构揭秘
谈谈国外的互联网巨头的骨干网和边缘网络,领略其独特设计,其中 Facebook 和 Google 的网络主要是服务自身的产品和广大互联网用户,Amazon 和 Microsoft 在云服务的业务相对多些。 作者:云网漫步 0. 前言 本文主要讲一下国外的互联网巨头的骨干网,每家公司的网络都有独特设计,其中 Facebook 和 Google 的网络主要是服务自身的产品和广大互联网用户,Amazon 和 Microsoft 在云服务的业务相对多些。 Facebook、Google、Microsoft
腾讯技术工程官方号
2021/04/19
2.8K0
16 张图图解 | 淘宝十年架构变迁!
哈喽,小伙伴们好呀。我是狗哥,之前有读者留言让写一篇大型网站的架构演进过程,发现下面这篇文章讲解得很详细,特此分享给大家,相信看完会有所收获。
JavaFish
2022/04/18
2.4K0
16 张图图解 | 淘宝十年架构变迁!
低调华丽 LinkedIn
相信大家都注册过 LinkedIn, 一个基于 professional 的社交网络,通过 LinkedIn 联系 recruiter 是找工作的重要渠道。 在 LinkedIn 工作是怎样的体验?它有什么前景?为什么能位列 FLAG?小编在去年初加入 LinkedIn, 就用这篇文章来和大家聊一聊自己眼里的 LinkedIn. Founder 和 CEO 是何方神圣? 各位读者以后多半来硅谷或者在 IT 圈混,一定要知道一个叫 Reid Hoffman 的胖子,他早年在 Apple 做过 UI Desi
包子面试培训
2018/04/20
8670
低调华丽 LinkedIn
首席工程师揭秘:LinkedIn大数据后台是如何运作的
“不懂得日志,你就不可能完全懂得数据库”Jay Kreps说道,Jay Kreps是LinkedIn公司首席工程师,本文介绍他本人对于日志的心得体会,包括日志是什么,如何在数据集成、实时处理和系统构建中使用日志等。 ◆ ◆ ◆ 我们最后要讨论的是在线数据系统设计中日志的角色。 在分布式数据库数据流中日志的角色和在大型组织机构数据完整中日志的角色是相似的。在这两个应用场景中,日志是对于数据源是可靠的,一致的和可恢复的。组织如果不是一个复杂的分布式数据系统呢,它究竟是什么? 如果换个角度,你可以看到把整个组织系
大数据文摘
2018/05/22
6570
Uber系统架构设计
Uber 一开始是单体架构,后来逐渐演化为面向服务的架构。Uber 最早只为旧金山提供服务,他们称之为 UberBlack。后来随着核心领域模型的增长以及引入了越来越多的新特性,组件的耦合非常严重,持续集成变成了沉重的负担,每次部署都意味着需要一次性部署所有的东西。在单一代码库中添加新功能、修复 bug、解决技术债务变得非常困难,这也是为什么 Uber 后来采用面向服务的架构的原因,这也促使 Uber 工程团队重构了新的 Uber 应用。
架构之家
2022/09/01
1.5K0
Uber系统架构设计
LinkedIn采用协议缓冲区进行微服务集成,将延迟降低了60%
领英采用协议缓冲区(Protocol Buffers),以实现其各类平台中更为高效的微服务间数据传递,并将其与开源框架 Rest.li 相集成。在全公司范围的推广完成后,领英将延迟降低了 60% 的同时,也提高了资源的利用率。
深度学习与Python
2023/08/09
1910
LinkedIn采用协议缓冲区进行微服务集成,将延迟降低了60%
【学习】LinkedIn大数据专家深度解读日志的意义(二)
第二部分:数据集成   请让我首先解释 一下“数据集成”是什么意思,还有为什么我觉得它很重要,之后我们再来看看它和日志有什么关系。 数据集成就是将数据组织起来,使得在与其有关的服务和系统中可以访问它们。“数据集成”(data integration)这个短语应该不止这么简单,但是我找不到一个更好的解释。而更常见的术语 ETL 通常只是覆盖了数据集成的一个有限子集(译注:ETL,Extraction-Transformation-Loading的缩写,即数据提取、转换和加载)——相对于关系型数据仓库。但
小莹莹
2018/04/19
6600
【学习】LinkedIn大数据专家深度解读日志的意义(二)
我设计了一个支撑数亿用户的系统
要设计出一套能支撑几十亿人的系统是很困难的。对于软件架构师来说,这一直是一项很大的挑战,但是,从现在开始,看完我的文章,你就会觉得容易很多了。
架构师修炼
2022/05/17
6950
我设计了一个支撑数亿用户的系统
The Log(我读过的把日志讲的最透彻的一篇)
作者博客 | https://www.cnblogs.com/foreach-break
曲水流觞
2019/12/03
9670
The Log(我读过的把日志讲的最透彻的一篇)
软件架构演变:从单体架构到LLM链式调用
软件架构——我们数字世界的蓝图——自20世纪中叶计算机时代诞生以来,已经发生了巨大演变。 20世纪60年代和70年代早期,以大型主机和单体软件为主导。而今天,数字领域已完全不同,运行在由云计算、API连接、AI算法、微服务和编排平台组成的分布式网络上。
JavaEdge
2025/06/01
1280
软件架构演变:从单体架构到LLM链式调用
优酷、YouTube、Twitter及JustinTV几个视频网站的架构
优酷视频网站架构 一、网站基本数据概览 据2010年统计,优酷网日均独立访问人数(uv)达到了8900万,日均访问量(pv)更是达到了17亿,优酷凭借这一数据成为google榜单中国内视频网站排名最高的厂商。 硬件方面,优酷网引进的戴尔服务器主要以 PowerEdge 1950与PowerEdge 860为主,存储阵列以戴尔MD1000为主,2007的数据表明,优酷网已有1000多台服务器遍布在全国各大省市,现在应该更多了吧。 二、网站前端框架 从一开始,优酷网就自建了一套CMS来解决前端的页面显示,各个模
李海彬
2018/03/27
6.8K0
优酷、YouTube、Twitter及JustinTV几个视频网站的架构
那些年,追过的开源软件和技术
笔者也是在互联网软件行业里面摸爬滚打十年多了,回头想想青葱岁月,很多时间都花在各种技术热潮的追逐上,有些是有价值的,也有些因为没人指导走过弯路,下面我就把我自己接触到这么多优秀的开源软件给大家做个梳理。也许比较枯燥无聊,供大家以后查阅。
IT阅读排行榜
2018/08/16
1K0
那些年,追过的开源软件和技术
【学习】深度解析LinkedIn大数据平台(二):数据集成
第二部分:数据集成 请让我首先解释 一下“数据集成”是什么意思,还有为什么我觉得它很重要,之后我们再来看看它和日志有什么关系。 数据集成就是将数据组织起来,使得在与其有关的服务和系统中可以访问它们。“数据集成”(data integration)这个短语应该不止这么简单,但是我找不到一个更好的解释。而更常见的术语 ETL 通常只是覆盖了数据集成的一个有限子集(译注:ETL,Extraction-Transformation-Loading的缩写,即数据提取、转换和加载)——相对于关系型数据仓库。但我描述的
小莹莹
2018/04/25
9510
【学习】深度解析LinkedIn大数据平台(二):数据集成
一起来看看分布式系统的发展史
分布式系统从最早的数据共享需求,发展到现在的 serverless 架构。它伴随着技术的发展与公司实际需求变化而演进。现在的云服务提供商简化了分布式系统开发的复杂性,让应用开发者只需关注开发,而把基础设施管理交给大型的云服务提供商。回顾分布式系统发展的历史,了解容器技术革新的原动力。
技术zhai
2019/02/15
1.3K0
一线大厂十年架构师总结整理出的微服务详解「PDF」
服务注册就是维护一个登记簿,它管理系统内所有的服务地址。当新的服务启动后,它会向登记 簿交待自己的地址信息。服务的依赖方直接向登记簿要Service Provider地址就行了。当下用于服 务注册的工具非常多ZooKeeper,Consul,Etcd, 还有Netflix 家的eureka 等。服务注册有两种 形式:客户端注册和第三方注册。 【耐心读完,文末有读者福利!!!】
Java知音
2019/06/12
9040
如何设计一个支撑数亿用户的系统
点击上方“芋道源码”,选择“设为星标” 管她前浪,还是后浪? 能浪的浪,才是好浪! 每天 10:33 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路,很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
芋道源码
2022/04/02
5370
如何设计一个支撑数亿用户的系统
盘点Google网络自研进击之路:B4、Andromeda、Jupiter、Espresso
2005年,在大多数公司还没有考虑开发自己的数据交换机的时候,Google出现了这方面的业务带宽需求。当时,市面上销售的设备昂贵且操作复杂,Google意识到支持自己服务的网络不存在且无法购买,所以,Google决定尝试使用自定制的方法。
SDNLAB
2019/05/07
3.3K0
盘点Google网络自研进击之路:B4、Andromeda、Jupiter、Espresso
微服务之SpringCloud基础
SpringCloud微服务基础 微服务架构--SpringCloud 网站架构模式 单点应用/分布式系统面向于服务架构(SOA) /微服务架构 web项目 三层架构 1.控制层 2.业务逻辑层 3.数据访问层 传统项目:代码全部在一个项目中,使用包名来区分 com.controller--控制 com.service--业务逻辑层 com.dao--数据访问层 面向服务架构 公司 (如果互联网公司,如果使用传统架构技术开发代码冲突,拆分项目) 1.分布式开发:将一个大的公司,拆分成n个子项目。 会员系
用户1112962
2018/07/04
8630
推荐阅读
相关推荐
LinkedIn 互联网架构扩展简史
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档