首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

针对 Hadoop 的 Oozie 工作流管理引擎的实际应用

Apache Oozie 是用于 Hadoop 平台的一种工作流调度引擎。该框架(如图 1 所示)使用 Oozie协调器促进了相互依赖的重复工作之间的协调,您可以使用预定的时间或数据可用性来触发 Apache Oozie。您可以使用 Oozie bundle系统提交或维护一组协调应用程序。作为本练习的一部分,Oozie 运行了一个 Apache Sqoop 作业,以便在 MySQL数据库中的数据上执行导入操作,并将数据传输到 Hadoop 分布式文件系统 (HDFS) 中。可以利用导入的数据集执行 Sqoop合并操作,从而更新较旧的数据集。通过利用 UNIX shell 操作,可从 MySQL 数据库中提取用来执行 Sqoop 作业的元数据。同理,可执行 Java操作来更新 Sqoop 作业所需的 MySQL 数据库中的元数据。

03

【Ranger】编译问题An Ant BuildException has occured: exec returned: 1

Ranger 这个项目比较老了,更新不算多,所以编译方式也没有更新到比较新的方式,编译报错了有时候还是不太容易找到问题的,但是一定要记得,Maven 的日志是非常有用的,对于 Debug 来说有很大的帮助,所以一定要仔细看日志的报错内容,从图上看,最终抛出的问题是 An Ant BuildException has occured: exec returned: 1 ,这个我之前也没见过,但是很自然,我就加了 mvn package -X 来打印编译过程的 Debug 级别日志了。最后如下所示,around Ant part ...<exec failonerror="true" executable="python">... @ 4:48 就是这句,给了我灵感,因为我在 Mac 本地编译的,按照经验,我想到的是编译文件里指定用 python,会不会是版本不对导致无法执行,比如 python2 和 python3 的区别。于是我找到了这个变量控制的地方,如下图。

02
领券