文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

快速学习-Oozie的使用

第4章 Oozie的使用 4.1 案例一：Oozie调度shell脚本 目标：使用Oozie调度Shell脚本 分步实现： 1）解压官方案例模板 [atguigu@hadoop102 oozie-4.0.0...任务 目标：使用Oozie调度MapReduce任务 分步执行： 1）找到一个可以运行的mapreduce任务的jar包（可以用官方的，也可以是自己写的） 2）拷贝官方模板到oozie-apps...-- 配置调度MR任务时，使用新的API --> mapred.mapper.new-api使用命令：service ntpd start # systemctl enable ntpd.service， 注意，如果是centOS7以下的版本，使用命令：chkconfig ntpd on 集群其他节点去同步这台时间服务器时间...： # systemctl restart crond.service， centOS7以下使用：service crond restart， 其他台机器的配置同理。

99700
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    如何使用Oozie API接口向Kerberos环境的CDH集群提交Shell作业

    API向Kerberos和非Kerberos集群提交Spark和Java作业，本篇文章主要介绍如何使用Oozie Client API向Kerberos环境的CDH集群提交Shell Action工作流...* package: com.cloudera.kerberos * describe: 使用Oozie-client的API接口向Kerberos集群提交Shell Action作业 * creat_user...", "lib/ooziejob.sh"); 相关Oozie API向集群提交作业文章： 《如何使用Oozie API接口向非Kerberos环境的CDH集群提交Spark作业》 《如何使用Oozie...API接口向非Kerberos环境的CDH集群提交Java作业》 《如何使用Oozie API接口向非Kerberos环境的CDH集群提交Shell工作流》 《如何使用Oozie API接口向Kerberos...环境的CDH集群提交Spark作业》 《如何使用Oozie API接口向Kerberos环境的CDH集群提交Spark2作业》 《如何使用Oozie API接口向Kerberos集群提交Java程序》

    1.7K60

    Hue中使用Oozie创建Shell工作流在脚本中切换不同用户

    Fayson的github：https://github.com/fayson/cdhproject 1.文档编写目的 前面Fayson讲过《Hue中使用Oozie创建Ssh工作流时sudo命令执行失败问题分析...》，如果不在Shell脚本中使用sudo命令该如何切换到其它呢？...本篇文章主要讲述如何Hue中使用Oozie创建Shell工作流在脚本中切换用户执行Hadoop命令。...本文脚本中的主要流程如下： 内容概述 1.编写测试shell脚本 2.准备测试数据及创建工作流 3.测试工作流 测试环境 1.CM和CDH版本为5.13.1 2.采用root用户操作 前置条件 1.集群未启用...DELIMITED FIELDS TERMINATEDBY',' storedasTEXTFILE; 授权fayson用户有test_user表的所有权限 4.创建Oozie工作流 1.使用fayson

    1.1K90

    0818-7.1.1-如何卸载CDP

    作者：刘元强 数据备份 1.1备份HDFS数据 常见的备份HDFS数据有如下办法： 1.使用distcp将数据拷贝到另外一个Hadoop集群。 2.将数据拷贝到其他存储设备。...3.将数据分批导出到各台主机的各个磁盘上 以上三种方法也可以只使用于关键数据，具体使用哪种方法，可以根据自己集群的规模和数据量大小具体选择。...删除集群 2.1停止集群服务 1.停止Cluster 在Cloudera Manager主页上选择Cluster1菜单“操作->停止”选项 ? 在弹出的对话框中选择停止。 ?.../usr/bin/目录下各项服务的可执行程序命令脚本 sh batch_cmd.sh node.list "rm -rf /usr/bin/avro-tools /usr/bin/beeline /usr...最后根据实际情况操作是否remove元数据库MySQL，至此，CDP的卸载完毕。

    1.2K30

    使用Groovy进行Bash（shell）操作

    最近，我需要创建一个Groovy脚本来删除Linux机器中的某些目录。原因如下： 我们有一台服务器来执行预定的作业。从一个数据库到另一个数据库的ETL之类的工作，从文件到数据库的工作，等等。...服务器激活客户端，这些客户端位于我们要对其执行操作的机器中。大多数（几乎所有）作业都是用普通脚本编写的。 CI流程的一部分是将WAR部署到专用服务器中。...然后，我们有了一个脚本，该脚本除其他外还使用软链接将“ webapps”定向到新创建的目录。该部署每小时进行一次，这将很快填满专用服务器。...我决定做的很简单： 在已知位置列出所有前缀为webapp的目录 按时间，降序对它们进行排序，从第四个索引开始执行删除操作。...碰巧代理程序以与运行tomcat的用户不同的身份运行。该代理无权删除目录。 我的解决方案是使用运行shell命令sudo。

    2.1K20

    什么是Oozie？如何使用Oozie？蒟蒻博主带你快速上手Oozie!

    4、使用 正式开始使用之前，需要申明一点，本次试验所使用的虚拟机主机名为bd001，并且是单节点的，所以下面步骤中所需要配置的文件里的主机名均为bd001。...如果有跟着操作的朋友，请以自己的集群的实际情况为准!...4.1 使用oozie调度shell脚本 oozie安装好了之后，需要测试oozie的功能是否完整好使，官方已经给我们带了各种测试案例，我们可以通过官方提供的各种案例来对oozie进行调度...，我们把shell的任务模板拷贝到我们oozie的工作目录当中去。...查看集群上输出文件的内容 ? ---- 小结 本篇博客主要为大家带来了Oozie的简介，架构，以及基本操作的分享。

    2.4K20

    python中的shell操作

    python中的shell操作 首先介绍一个函数： os.system(command) 这个函数可以调用shell运行命令行command并且返回它的返回值。...mode可以是以下值(使用or)的组合： os.S_ISUID os.S_ISGID os.S_ENFMT os.S_ISVTX os.S_IREAD os.S_IWRITE os.S_IEXEC os.S_IRWXU...真正编写shell脚本的时候还需要注意： 1.环境变量。python的环境变量保存在os.environ这个字典里，可以用普通字典的方法修改它，使用system启动其它程序的时候会自动被继承。...(path) 返回path所指向的文件的大小 4.应用python编写shell脚本经常要用到os,shutil,glob(正则表达式的文件名),tempfile(临时文 件),pwd(操作/etc/passwd...文件),grp(操作/etc/group文件),commands(取得一个命令的输出)。

    86040

    Hadoop 2.0 大家族（三）

    （2）操作和函数   HiveQL操作符类似于SQL操作符，Hive提供了数理统计、字符串操作、条件操作等大量的内置函数，用户还可以自己编写函数。...2、Hive接口   Hive提供了强大的访问接口，从下图中即可看出Hive提供的诸多接口，此外也可以通过Hcatalog、Pig、BeeLine等访问Hive。...④ 试比较Pig中“单词计数”和“统计男女出现次数”的异同点。 解：   问题①较为简单，参考下面两条命令即可，注意本题所有操作都在iClient上执行，为方便载入数据，本次使用root用户。...（一）Oozie简介   由于需要存储工作流信息，为提供高可靠性，确保任务配置不丢失，Oozie内部使用数据库来存储工作流相关信息，用户可以使用Oozie内嵌的Derby数据库，也可以使用MySQL...-run   问题③其实和是一样的，读者可按上述过程使用oozie执行Pig或Hive等的示例脚本。

    4900

    对 SHELL 变量的常用操作

    经常写shell脚本的就会发现 需要经常对目录和文件变量做操作关键在于这个目录和文件比较稀奇古怪, 比如目录可能有 / 结尾, 也可能没得, 可能是相对路径, 也可能是绝对路径, 绝对路径的话, 只要文件名又该怎么做..., 去掉后缀又该怎么做, 使用awk之类的当然也行, 但太麻烦了....变量本身就支持这些操作的.说明: 本文的目录/文件变量, 如果把/替换成其它的均可.主要都是 # % 变化, 就那么几种, 自己排列组合下就能试完...环境假设有如下变量,aa='....包被修改过名字的就不能这样了图片附变量其它操作顺便再讲点其它的吧(好像啥也没讲)大小写转换主要是识别用户参数的时候用得到, 毕竟用户可能大小写混着输...., 那我们判断的时候统一转换成大写再判断就是了...aa="AbcdEFghiGkL"echo ${aa^^} #转为大写echo ${aa,,} #转为小写图片进制转换当然可以使用bc, 但本文主要讲变量的操作在获取网络信息(/proc/net/tcp

    15930

    Hadoop入门 hdfs的shell操作

    查看环境变量 hadoop fs 文件可视化浏览 打开虚拟机中的火狐浏览器 网址：http://localhost:50070 打开 Utilities 下的 Browse the file system...电脑中的浏览器 网址：http://虚拟机的ip地址:50070 打开 Utilities 下的 Browse the file system 命令行查看文件 hadoop fs -ls / [hzlom6es5o.jpg...语法： hadoop fs -put 需上传的文件路径 上传到的文件夹路径 示例： hadoop fs -put dashuju.txt /taigong/test 上传文件1.jpg 上传文件2.jpg...user 语法： hadoop fs -mv 需要移动的文件路径 移动后的文件夹路径 示例： hadoop fs -mv /taigong/test/dashuju.txt /user 移动文件.jpg...删除文件 将文件夹taigong删除 语法： hadoop fs -rm -r 需要删除的文件 示例： hadoop fs -rm -r /taigong 删除文件.jpg

    45320

    快速学习-HDFS的Shell操作

    第2章 HDFS的Shell操作（开发重点） 1．基本语法 bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类。...[-usage [cmd ...]] 3．常用命令实操 （0）启动Hadoop集群（方便后续的测试） [atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh.../kongming.txt /sanguo/shuguo （5）-appendToFile：追加一个文件到已经存在的文件末尾 [atguigu@hadoop102 hadoop-2.7.2]$ touch...HDFS的另一个路径 [atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt （11...这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10。

    28710
    点击加载更多

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

      领券