首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何使用Oozie API接口向Kerberos环境CDH集群提交Spark作业

Faysongithub:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在CDH集群外节点向集群提交Spark...作业方式有多种,前面Fayson介绍了Livy相关文章主要描述如何在集群外节点通过RESTful API接口向CDH集群提交Spark作业以及《如何使用Oozie API接口向非Kerberos环境...CDH集群提交Spark作业》,本篇文章主要介绍使用OozieAPI接口向Kerberos集群提交Spark作业。...API接口向非Kerberos环境CDH集群提交作业》 《如何在Kerberos环境CDH集群部署Livy》 《如何通过LivyRESTful API接口向Kerberos环境CDH集群提交作业...认证AuthOozieClient API接口 GitHub地址: https://github.com/fayson/cdhproject/blob/master/ooziedemo/src/main

1.9K70

如何使用Oozie API接口向Kerberos环境CDH集群提交Shell作业

Faysongithub:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 前面Fayson介绍了使用Oozie...API向Kerberos和非Kerberos集群提交Spark和Java作业,本篇文章主要介绍如何使用Oozie Client API向Kerberos环境CDH集群提交Shell Action工作流...", "lib/ooziejob.sh"); 相关Oozie API向集群提交作业文章: 《如何使用Oozie API接口向非Kerberos环境CDH集群提交Spark作业》 《如何使用Oozie...API接口向非Kerberos环境CDH集群提交Java作业》 《如何使用Oozie API接口向非Kerberos环境CDH集群提交Shell工作流》 《如何使用Oozie API接口向Kerberos...环境CDH集群提交Spark作业》 《如何使用Oozie API接口向Kerberos环境CDH集群提交Spark2作业》 《如何使用Oozie API接口向Kerberos集群提交Java程序》

1.6K60
您找到你想要的搜索结果了吗?
是的
没有找到

Eclipse恢复删除文件和代码、svn使用了还原,找回没提交代码方法

做项目时将SVN数据更新,结果项目出错,使用还原,结果本地没有提交代码被覆盖了,这下急了,到处找方法恢复,问了好多朋友在网上查资料,大部分说不能恢复,昨晚试了好多方法都没恢复,心想还是死心把利用周末时间赶出来...,为了证明帖子上方法,我又重新建了个项目,不停删除文件,删除代码,基本都能恢复,真没想到Eclipse能有这么强大功能,真的很赞。...1、恢复删除或覆盖类文件 选择项目后右键-->选择Restore from Local history-->出现下面的界面: ? 选中可以看到文件改动时间和内容 ?...勾选需要恢复文件后点击Restore就恢复了 2、恢复删除或覆盖代码 选择需要恢复文件右键-->replace with-->Local History就能看此文件改动时间 ?...选中时间点击就能看到改动内容 ? 击Restore就恢复了 哈哈,是不是很方便啊,当用ctrl+z无法恢复,或关闭了Eclipse后想恢复代码都可以使用这种方法。

2.9K50

如何使用Oozie API接口向非Kerberos环境CDH集群提交Java作业

Faysongithub:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 前面Fayson介绍了《如何使用Oozie...API接口向非Kerberos环境CDH集群提交Spark作业》,本篇文章主要介绍如何使用Oozie Client API向非Kerberos环境CDH集群提交Java作业。...Oozie-clientAPI接口向非Kerberos集群提交MapReduce作业 * creat_user: Fayson * email: htechinfo@163.com * creat_date...] 可以看到作业已运行成功,到此已完成了通过OozieAPI接口创建workflow并运行示例演示。...在指定HDFS上运行jar或workflow路径时需要带上HDFS路径,否则默认会找到本地目录 GitHub地址: https://github.com/fayson/cdhproject/blob

1K70

如何使用Oozie API接口向非Kerberos环境CDH集群提交Spark作业

Faysongithub:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在CDH集群外节点向集群提交Spark...作业方式有多种,前面Fayson介绍了Livy相关文章主要描述如何在集群外节点通过RESTful API接口向CDH集群提交Spark作业,本篇文章我们借助于oozie-clientAPI接口向非...Livy相关文章: 《Livy,基于Apache Spark开源REST服务,加入Cloudera Labs》 《如何编译Livy并在非Kerberos环境CDH集群中安装》 《如何通过LivyRESTful...API接口向非Kerberos环境CDH集群提交作业》 《如何在Kerberos环境CDH集群部署Livy》 《如何通过LivyRESTful API接口向Kerberos环境CDH集群提交作业...Oozie-clientAPI接口向非Kerberos集群提交Spark作业 * creat_user: Fayson * email: htechinfo@163.com * creat_date

1.4K70

如何使用Oozie API接口向Kerberos环境CDH集群提交Spark2作业

集群外节点向集群提交Spark作业,文章中均采用Spark1来做为示例,本篇文章主要介绍如何是用Oozie API向Kerberos环境CDH集群提交Spark2作业。...-template.xml 使用Oozie API向集群提交作业相关文章: 《如何使用Oozie API接口向非Kerberos环境CDH集群提交Spark作业》 《如何使用Oozie API接口向非...Kerberos环境CDH集群提交Java作业》 《如何使用Oozie API接口向非Kerberos环境CDH集群提交Spark作业》 《如何使用Oozie API接口向Kerberos集群提交Java...程序》 Livy相关文章: 《如何编译Livy并在非Kerberos环境CDH集群中安装》 《如何通过LivyRESTful API接口向非Kerberos环境CDH集群提交作业》 《如何在Kerberos...环境CDH集群部署Livy》 《如何通过LivyRESTful API接口向Kerberos环境CDH集群提交作业》 提示:代码块部分可以左右滑动查看噢 为天地立心,为生民立命,为往圣继绝学,为万世开太平

3.3K40

如何使用Oozie API接口向非Kerberos环境CDH集群提交Shell工作流

Faysongithub:https://github.com/fayson/cdhproject 提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 前面Fayson介绍了《如何使用Oozie...API接口向非Kerberos环境CDH集群提交Spark作业》和《如何使用Oozie API接口向非Kerberos环境CDH集群提交Java作业》,本篇文章主要介绍如何使用Oozie Client...API向非Kerberos环境CDH集群提交Shell Action工作流。...Oozie-clientAPI接口向非Kerberos集群提交Shell Action作业 * creat_user: Fayson * email: htechinfo@163.com * creat_date...在指定HDFS上运行jar或workflow路径时需要带上HDFS路径,否则默认会找到本地目录 GitHub地址: https://github.com/fayson/cdhproject/blob

1K70

Git 分支简介、Git 和 GitHub 日常操作

本文将介绍 Git 三种状态和三个工作区,然后介绍 Git 核心功能:Git 分支,最后介绍 Git 一些日常操作,例如如何进行一次完整代码提交以及其它常用操作 log、status 等。...在 GitHub 上查看被删除分支 GitHub 分支操作 除了本地创建,然后推送到远端方式之外,我们也可以直接在 GitHub 上创建远程分支,本地只需要 fetch 下来即可。...GitHub 中创建分支 ? 图 18. 查看创建分支GitHub 上我们也可以直接删除分支。...在 GitHub删除分支 ? 图 21. 删除分支后 ? 图 22. 代码库主界面再次查看该分支 分支其它进阶操作,如合并分支、比较分支差异等我们将在下一篇进行介绍。...此处需要注意,为了使 Git 能够完整跟踪文件历史,使用对应 git rm/mv 命令去操作文件删除、移动和复制,而不要使用操作系统本身删除、移动和复制操作之后再进行 git add。

93730

Git 和 GitHub:从入门到实践3 Git 分支简介、Git 和 GitHub 日常操作

从本篇文章开始,我将结合实验和实际场景详细讲解如何在日常工作中使用 Git 和 GitHub。...Git 有六大特性,第一篇中介绍了前五个特性,本文将介绍 Git 最后一个特性:三种状态和三个工作区,然后介绍 Git 核心功能:Git 分支,最后介绍 Git 一些日常操作,例如如何进行一次完整代码提交以及其它常用操作...在 GitHub 上查看被删除分支 ? image GitHub 分支操作 除了本地创建,然后推送到远端方式之外,我们也可以直接在 GitHub 上创建远程分支,本地只需要 fetch 下来即可。...GitHub 中创建分支 ? image 点击查看大图 图 18. 查看创建分支 ? image 在 GitHub 上我们也可以直接删除分支。...此处需要注意,为了使 Git 能够完整跟踪文件历史,使用对应 git rm/mv 命令去操作文件删除、移动和复制,而不要使用操作系统本身删除、移动和复制操作之后再进行 git add。

67230

Git 最全教程

换句话说,所有跟踪文件在上次提交后都未被更改过。 此外,上面的信息还表明,当前目录下没有出现任何处于未跟踪状态新文件,否则 Git 会在这里列出来。...如果要删除之前修改过或已经放到暂存区文件,则必须使用强制删除选项 -f(force 首字母)。...取消暂存文件 如何操作暂存区和工作目录中修改文件。这些命令在修改文件状态同时,也会提示如何撤消操作。...: $ git remote remove paul $ git remote origin 一旦你使用这种方式删除了一个远程仓库,那么所有和这个远程仓库相关远程跟踪分支以及配置信息也会一起被删除...如何列出已有的标签、如何创建和删除标签、以及不同类型标签分别是什么。

1.3K10

关于Git你必须知道

当需要切换分支时,偏偏本地工作还没有完成,此时,提交修改显得不严谨,但是不提交代码又无法切换分支。这时,你可以使用 git stash 将本地修改内容作为草稿储藏起来。... 彻底删除指定版本: # 执行下面命令后,commit-hash 提交记录都会被彻底删除使用需谨慎 $ git reset --hard $...合并: # 将分支合并到当前HEAD中 $ git merge 重置: # 将当前HEAD版本重置到分支中,请勿重置发布提交 $ git rebase Github...以下介绍以下,如何生成证书,以及在 Github 中注册。 生成 SSH 公钥 如前所述,许多 Git 服务器都使用 SSH 公钥进行认证。...后面,你在克隆你 Github 项目时使用 SSH 方式即可。

34610

Git 版本控制与自动部署

,https://git-scm.com/downloads/guis 这个网址列出了多个可供基本上所有平台使用Gui软件。...-2 显示修改文件清单 git log --name-only 显示新增、修改、删除文件清单 git log --name-status 一行显示并只显示SHA-1前几个字符 git log -...master git checkout master git merge dev 删除分支 git branch -d dev 删除没有合并分支git branch -D dev 删除远程分支 git...列出标签 git tag 推送标签 git push --tags 删除标签 git tag -d v1.0.1 删除远程标签 git push origin :v1.0.1 发布 对mster分支代码生成压缩包供使用者下载使用...GitHub 接口 接口地址:https://api.github.com/ 项目接口列表:https://api.github.com/repos/houdunwang/hdcms-laravel 获取文档内容

1.2K30

Git最全系列教程(二)

换句话说,所有跟踪文件在上次提交后都未被更改过。此外,上面的信息还表明,当前目录下没有出现任何处于未跟踪新文件,否则 Git 会在这里列出来。...取消已经暂存文件 接下来两个小节将演示如何取消暂存区域中文件,以及如何取消工作目录中修改文件。不用担心,查看文件状态时候就提示了该如何撤消,所以不需要死记硬背。...即便在已经删除分支提交,或者用 --amend 重新改写提交,都可以被恢复(关于数据恢复内容见第九章)。所以,你可能失去数据,仅限于没有提交,对 Git 来说它们就像从未存在过一样。...它还显示了有哪些远端分支还没有同步到本地(译注:第六行 caching 分支),哪些同步到本地远端分支在远端服务器上已被删除(译注:Stale tracking branches 下面的两个分支)...人们在发布某个软件版本(比如 v1.0 等等)时候,经常这么做。本节我们一起来学习如何列出所有可用标签,如何新建标签,以及各种不同类型标签之间差别。

75120

git 入门教程之知识速查 原

:snowdreams1006/snowdreams1006.github.io.git 添加文件 git add 将新文件或修改文件添加到缓存区 示例 git add README.md 查看状态...git status 查看当前文件是否和上次提交内容是否有修改 示例 git status README.md 比较差异 git diff 查看当前文件和上次提交内容具体差异 尚未缓存修改: git...diff 查看缓存修改: git diff --cached 查看缓存与未缓存所有修改: git diff HEAD 显示摘要而非整个差异: git diff --stat 示例 git diff...: git commit : 将本地修改过文件提交到本地仓库中 git push : 将本地仓库最新版本推送到远程库中 git pull : 从远程库获取最新版本到本地,并自动merge git fetch...> 删除指定分支 示例 git branch -d dev 列出分支 git branch 列出本地全部分支 示例 git branch 提交日志 git log 查看纳入版本库提交日志 示例 git

28430

Git 常用命令清单笔记

这是为了防止,由于其他人操作了远程主机,导致git pull不知不觉删除了本地分支。 但是,你可以改变这个行为,加上参数 -p 就会在本地删除远程已经删除分支。...commit git commit #提交更新 git commit -m 'message' #提交说明 git commit -a #跳过使用暂存区域,把所有已经跟踪过文件暂存起来一并提交...分支 提交 git push -u origin branchName #提交分支到远程origin主机中 拉取 git fetch -p #拉取远程分支时,自动清理 远程分支删除,本地还存在对应同名分支...git branch -r # 列出远端分支 git branch -a # 列出所有分支 git branch -v # 查看各个分支最后一个提交对象信息 git...上可以玩儿,Gitlab上特别老版本不能玩儿哦,那么如何跟随着commit关闭一个issue呢?

71230

Git入门笔记

输入~/.ssh/id_rsa.pub中内容 验证是否添加成功 ssh -T git@github.com 使用ssh协议,克隆仓库或添加远程链接 回撤 回撤暂存区内容到工作目录 git reset...-f 回撤上一次提交 git add . git commit --amend -m "message" 变基操作, 改写历史提交 git rebase -i HEAD~3 clean 列出打算清除未跟踪文件...标签 删除本地标签后删除远程仓库上标签 git push origin :refs/tags/foo 分支 创建分支foo git branch foo 切换到分支foo git checkout foo...foo # 未与其他分支合并会删除失败 git branch -D foo # 强制删除, 即使未与其他分支合并 列出分支信息 git branch -v 列出远程分支 git branch -r 查看合并分支...git branch --merged git branch --no-merged 列出远程合并分支 git branch -r --merged 取出远程foo分支 git checkout -

36910
领券