首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Oozie抑制shell作业操作的日志记录?

Oozie是一个开源的工作流调度引擎,用于协调和管理Hadoop生态系统中的作业。它可以用于调度和执行各种类型的作业,包括MapReduce、Pig、Hive、Sqoop等。

在Oozie中,可以使用shell作业操作来执行自定义的脚本任务。然而,有时候我们可能希望抑制shell作业操作的日志记录,以减少日志文件的大小或保护敏感信息。

要抑制shell作业操作的日志记录,可以通过在shell脚本中使用重定向符号"> /dev/null 2>&1"来实现。这将把标准输出和标准错误输出重定向到/dev/null,从而阻止日志记录。

以下是一个示例的shell脚本任务配置,演示了如何抑制日志记录:

代码语言:txt
复制
<action name="shell-action">
  <shell xmlns="uri:oozie:shell-action:0.3">
    <job-tracker>${jobTracker}</job-tracker>
    <name-node>${nameNode}</name-node>
    <exec>script.sh</exec>
    <file>script.sh#script.sh</file>
    <capture-output/>
  </shell>
  <ok to="end"/>
  <error to="fail"/>
</action>

在上面的配置中,<capture-output/>标签用于抑制日志记录。这将导致Oozie不会记录shell作业操作的输出日志。

需要注意的是,抑制日志记录可能会导致调试和故障排除变得困难,因此在实际使用中需要权衡利弊。

推荐的腾讯云相关产品:腾讯云容器服务(Tencent Kubernetes Engine,TKE)。TKE是腾讯云提供的一种高度可扩展的容器管理服务,可帮助用户轻松部署、管理和扩展容器化应用程序。它提供了强大的容器编排和调度功能,适用于云原生应用的部署和管理。

更多关于腾讯云容器服务的信息,请访问:腾讯云容器服务

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

如何使用Oozie API接口向Kerberos环境CDH集群提交Shell作业

API向Kerberos和非Kerberos集群提交Spark和Java作业,本篇文章主要介绍如何使用Oozie Client API向Kerberos环境CDH集群提交Shell Action工作流...* package: com.cloudera.kerberos * describe: 使用Oozie-clientAPI接口向Kerberos集群提交Shell Action作业 * creat_user...", "lib/ooziejob.sh"); 相关Oozie API向集群提交作业文章: 《如何使用Oozie API接口向非Kerberos环境CDH集群提交Spark作业》 《如何使用Oozie...API接口向非Kerberos环境CDH集群提交Java作业》 《如何使用Oozie API接口向非Kerberos环境CDH集群提交Shell工作流》 《如何使用Oozie API接口向Kerberos...环境CDH集群提交Spark作业》 《如何使用Oozie API接口向Kerberos环境CDH集群提交Spark2作业》 《如何使用Oozie API接口向Kerberos集群提交Java程序》

1.6K60

如何使用注解优雅记录操作日志

写在开头 本文讨论如何优雅记录操作日志,并且实现了一个SpringBoot Starter(取名log-record-starter),方便使用注解记录操作日志,并将日志数据推送到指定数据管道(...消息队列等) 本文灵感来源于美团技术团队文章:如何优雅地记录操作日志?。...:)——蛮三刀酱 本文目录: 什么是操作日志? Java中常见操作日志实现方式 实战:通过注解实现操作日志记录 什么是操作日志?...常见操作日志实现方式 在小型项目中,这种日志记录操作通常会以提供一个接口或整个日志记录Service来实现。...一、特定操作记录日志:如文章最上面一张CRM系统图描述那样,在用户进行了编辑操作后,拿到用户操作数据,执行日志写入。

2.7K20

Grace:优雅高效记录业务操作日志

Grace[ɡreɪs]是一款业务操作日志记录框架,让我们使用更优雅方式来记录有效、可读性高操作日志。...q=grace-bom 记录日志 记录日志主要是依靠@GraceRecorder注解来配置,该注解只能在方法上使用。...:判定是否执行记录操作日志,支持使用SpEL表达式方式配置 bizNo:业务编号,支持使用SpEL表达式方式配置 operator:操作日志所关联操作人,支持使用SpEL表达式方式配置 category...:日志分组,可用于对操作日志进行归类 注意:SpEL表达式使用模板定义前后缀方式,只有在{}内字符串才会被解析。...userName; private int age; } 条件判断 @GraceRecorder注解有个condition条件属性,支持SpEL表达式配置,如果配置了该属性,只有表达式解析结果为true时才会记录操作日志

59310

Kettle构建Hadoop ETL实践(七):定期自动执行ETL作业

一种是经典crontab,这是操作系统自带功能,二是Hadoop生态圈中Oozie组件。KettleStart作业项也提供了定时调度作业执行功能。...这里建立一个内容如下shell脚本文件regular_etl.sh,调用Kettle命令行工具kitchen.sh执行此作业,并将控制台输出或错误重定向到一个文件名中带有当前日期日志文件中: #...Oozie支持用户作业类型有Java map-reduce、Streaming map-reduce、Pig、 Hive、Sqoop和Distcp,及其Java程序和shell脚本或命令等特定系统作业...图7-11 “Oozie job executor”作业项 执行该Kettle作业日志中出现以下错误: Oozie job executor - ERROR (version...,到了start作业项中定义时间,作业就会自动执行,事实表中将会增加两条记录

5.9K53

【开源】etl作业调度工具性能综合对比

它有如下功能特点: 统一调度hadoop系统常见mr任务启动,hdfs操作shell调度,hive操作等; 让复杂依赖关系,时间触发,事件触发使用xml语言进行表达,开发效率增高(这个不一定,个人很讨厌...Oozie支持Web,RestApi,Java API操作; Azkaban Azkaban是由Linkedin开源一个批量工作流任务调度器。用于在一个工作流内以一个特定顺序运行一组工作和流程。...它有如下功能特点: Web用户界面 方便上传工作流 方便设置任务之间关系 调度工作流 认证/授权(权限工作) 能够杀死并重新启动工作流 模块化和可插拔插件机制 项目工作区 工作流和任务日志记录和审计...、GBase等; 模块化和可插拔插件机制:屏蔽各种应用平台技术差异,适配统一执行、停止及状态日志查询访问接口 支持可视化工作流配置:支持图形拖拽、自动化最小交叉排版,清楚地展示了作业节点之间串并关系...强制中断、强制通过、禁用通过、预设断点、忽略条件等; 支持作业优先级配置:平台级、流程级和作业级并行控制、资源权重设置。动态设置作业优先级置顶等操作

1.9K20

进击大数据系列(十一)Hadoop 任务调度框架 Oozie

Oozie特点 Oozie 是管理hadoop作业调度系统 Oozie 工作流作业是一系列动作有向无环图(DAG) Oozie 协调作业是通过时间(频率)和有效数据触发当前Oozie工作流程...Hadoop Spark作业是通过org.apache.hadoop封装好接口进行提交,而Azkaban可以直接操作shell语句。...在安全性上可能Oozie会比较好。 工作流定义: Oozie是通过xml定义而Azkaban为properties来定义。 部署过程: Oozie部署相对困难些,同时它是从Yarn上拉任务日志。...记录workflow状态: Azkaban将正在执行workflow状态保存在内存中,Oozie将其保存在Mysql中。...Action Nodes:决定每个操作执行任务类型,包括 MapReduce、java、hive、shell 等。

42020

针对 Hadoop Oozie 工作流管理引擎实际应用

可以利用导入数据集执行 Sqoop合并操作,从而更新较旧数据集。通过利用 UNIX shell 操作,可从 MySQL 数据库中提取用来执行 Sqoop 作业元数据。...shell 操作 您可以将 Oozie shell 操作作为工作流一部分进行配置,从而运行某个文件中一组 shell 脚本。...您可以将具有配置参数一个配置 shell 操作来创建或删除 HDFS 上文件和目录,然后启动 shell 作业。...在 shell 作业结束后,您可以让 shell 作业输出可供workflow 作业使用,但它需要满足以下条件: 输出格式必须是一个有效 Java 属性文件。 输出大小必须小于 2KB。...Oozie shell 操作清单 7 展示了 workflow.xml 文件中 shell 操作配置。

1.1K30

10级商用版Kettle作业调度工具taskctl免费开源

它有如下功能特点: 1.统一调度hadoop系统常见mr任务启动,hdfs操作shell调度,hive操作等; 2.让复杂依赖关系,时间触发,事件触发使用xml语言进行表达,开发效率增高(这个不一定....Oozie规定在完成工作后发送电子邮件通知; 7.Azkaban使用Web操作。...1.Web用户界面 2.方便上传工作流 3.方便设置任务之间关系 4.调度工作流 5.认证/授权(权限工作) 6.能够杀死并重新启动工作流 7.模块化和可插拔插件机制 8.项目工作区 9.工作流和任务日志记录和审计...、GBase等; 2.模块化和可插拔插件机制:屏蔽各种应用平台技术差异,适配统一执行、停止及状态日志查询访问接口 3.支持可视化工作流配置:支持图形拖拽、自动化最小交叉排版,清楚地展示了作业节点之间串并关系...强制中断、强制通过、禁用通过、预设断点、忽略条件等; 6.支持作业优先级配置:平台级、流程级和作业级并行控制、资源权重设置。动态设置作业优先级置顶等操作

2.2K40

HAWQ取代传统数仓实践(五)——自动调度工作流(Oozie、Falcon)

一、Oozie简介         Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠工作流调度系统,它内部定义了三种作业:工作流作业、协调器作业和Bundle作业。...Oozie支持用户作业类型有Java map-reduce、Streaming map-reduce、Pig、 Hive、Sqoop和Distcp,及其Java程序和shell脚本或命令等特定系统作业...Oozie工作流可以参数化,例如在工作流定义中使用像${inputDir}之类变量等。在提交工作流操作时候,我们必须提供参数值。...(1)记录当前Sqoop作业last.value值 last_value=`sqoop job --show myjob_incremental_import | grep incremental.last.value...这需要明确要调用shell使用是本地shell,可以通过OozieSSH动作指定本地文件。

2K60

Hue中使用Oozie创建Ssh工作流时sudo命令执行失败问题分析

Faysongithub:https://github.com/fayson/cdhproject 1.问题描述 ---- 在使用Hue创建SshOozie工作流,在Shell脚本中执行sudo命令失败...] 2.将test.sh脚本上传至当前工作流workspace/lib目录下 [8kzqn3yca2.jpeg] [bt2sycbc04.jpeg] 3.保存工作流,点击运行,作业执行失败 [a9m06ujefi.jpeg...] 失败日志如下 [zv4mxerqg3.jpeg] 3.问题解决 ---- 1.使用root用户修改/etc/sudoers文件,将fayson用户修改为拥有sudo权限用户 在/etc/sudoers...2.再次运行作业 [pley6v70z6.jpeg] 3.保存作业并执行 [ua48tkwt7o.jpeg] 4.总结 ---- 在OozieSsh Action脚本中有需要使用Sudo权限去执行命令...在非Kerberos环境下如果需要切换不同用户执行hadoop命令,可以使用exportHADOOP_USER_NAME=hive在Shell加载执行用户。

1.6K50

Hadoop数据分析平台实战——180Oozie工作流使用介绍离线数据分析平台实战——180Oozie工作流使用介绍

其中工作流控制节点是workflow本身提供一种控制workflow工作流执行路径方法,不可以自定义;动作节点是具体操作方法,用户可以自定义。...Sub-workflow节点 sub-workflow 该节点会调用一个子workflow Kill节点 kill 该节点会是oozie服务器杀死当前workflow作业 Workflow默认支持...异步 Shell动作 shell 运行一个shell作业 同步 Email动作 email 发送一个email邮件 同步 SSH动作 ssh 调用oozie服务器上指定shell脚本 同步 Sqoop...动作 sqoop 运行一个sqoop作业 异步 Distcp动作 distcp 该动作运行一个分布式复制作业 异步 Workflow异步操作 Workflow中所有异步操作(action)都需要在hadoop...oozie提供这两种方式来控制任务,将资源密集型任务放到服务节点之外,使oozie节约服务器资源,确保单个oozie服务器可以支持上千个作业

1.1K50

Centos记录所有用户登录和操作详细日志

1、起因     最近 Linux服务器上一些文件呗篡改,想追查已经查不到记录了,所以得想个办法记录下所有用户操作记录。     ...一般大家通常会采用history来记录,但是history有个缺陷就是默认是1000行,当然你也可以vim /etc/profile将1000修改成1000000行,但是这只是比较笼统做法,看不到详细用户来源已经操作记录...,比如来源ip地址、操作时间、操作用户等。...chown -R admin:admin /var/log/history/admin #给各个用户赋予权限1.2.3. 3、自动记录脚本 在/etc/profile文件末尾追加编写脚本如下...而每次用户登录到退出都会产生以用户名、登录ip地址、操作时间为文件名文件,文件里面包含本次用户所有操作记录

2.9K40

OushuDB入门(六)——任务调度篇

一、Oozie简介 Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠工作流调度系统,它内部定义了三种作业:工作流作业、协调器作业和Bundle作业。...Oozie支持用户作业类型有Java map-reduce、Streaming map-reduce、Pig、 Hive、Sqoop和Distcp,及其Java程序和shell脚本或命令等特定系统作业...Oozie工作流可以参数化,例如在工作流定义中使用像${inputDir}之类变量等。在提交工作流操作时候,我们必须提供参数值。...(1)记录当前Sqoop作业last.value值 last_value=`sqoop job --show myjob_incremental_import | grep incremental.last.value...这需要明确要调用shell使用是本地shell,可以通过OozieSSH动作指定本地文件。

67910

Linux下rsyslog系统日志梳理(用户操作记录审计)

目前大多数Linux发行版默认也是使用rsyslog进行日志记录。...rsyslog简单配置记录(如下将公司防火墙上日志(UDP)打到IDCrsyslog日志服务器上) 一、rsyslog服务端部署 安装rsyslog 程序(rsyslog默认已经在各发行版安装,...(在防火墙添加rsyslog服务端ip和514端口) 三、过一会儿,在rsyslog日志服务器上设置日志目录下就能看到防火墙日志输出了 [root@zabbix ~]# ll /data/fw_logs...现在需要将登录到 这两台服务器上用户所有操作过程记录下来,记录达到rsyslog日志里,相当于做用户操作记录审计工作。...有上面日志可以看出,在172.19.10.24这台机器上操作记录都被详细记录下来了。这样,就能清楚地知道登录到这台机器上用户都做了些什么了.......

11.3K81

工作流引擎比较:Airflow、Azkaban、Conductor、Oozie和 Amazon Step Functions

OSS项目,我当然可能错过了某些未记录功能或社区贡献插件。...Airflow 优点 与所有其他解决方案相比,Airflow是一种功能超强引擎,你不仅可以使用插件来支持各种作业,包括数据处理作业:Hive,Pig(尽管你也可以通过shell命令提交它们),以及通过文件...缺点 Airflow本身仍然不是很成熟(实际上Oozie可能是这里唯一“成熟”引擎),调度程序需要定期轮询调度计划并将作业发送给执行程序,这意味着它将不断地从“盒子”中甩出大量日志。...我DAG运行是什么意思,我任务竟然没有状态?这些图表也不是搜索友好,更不用说一些功能还远远没有详细记录(尽管文档看起来确实很好,我意思是,与Oozie相比,后者似乎已经过时了)。...甚至没有运行shell脚本本机支持,尽管通过python实现任务工作者很容易通过提供示例完成工作。

5.7K30
领券