腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
是否
可以
将
hadoop
管道
作业
添加到
GCP
中
的
工作流
中
、
、
我正在尝试
将
hadoop
管道
作业
添加到
GCP
中
的
工作流
模板
中
,但没有给出这样
的
示例。google
的
官方文档指定了如何提交
hadoop
作业
,但是没有可用于提交
hadoop
管道
作业
的
参数。
浏览 15
提问于2020-07-22
得票数 1
回答已采纳
1
回答
基于Kerberos认证
的
Google数据流访问Hive JDBC
、
、
、
、
我试图使用Google上
的
BeamJava2.37.0访问Hive,并启用Kerberos身份验证以进行数据提取。这个连接在我
的
本地机器上工作得很好,我
可以
提取数据。但是,当我试图在
GCP
中
构建Dataflow
作业
时,它遇到了错误。它说它无法获得Kerberos领域。我
将
krb5.conf文件和keytab文件存储在
GCP
存储桶
中
,并试图通过
管道
选项传递它们。在
将
管道
部署到Data
浏览 4
提问于2022-03-22
得票数 0
2
回答
云作曲家与云调度器
、
、
然后,您
可以
根据需要灵活地链接这些“
工作流
”,还
可以
提供机会在失败时重新启动
作业
,运行批处理
作业
、shell脚本、链查询等等。这些想法是在试图回答一些我发现
的
试题后产生
的
。然而,我对我发现
的
“正确答案”感到惊讶,并希望有人能澄清这些答案
是否
正确,以及我
是否
理解何时使用而不是其他答案。
作业
的
一部分涉及执行shell脚本、运行
Hadoop
作业
和在Bi
浏览 1
提问于2020-01-21
得票数 9
回答已采纳
4
回答
oozie
可以
在
Hadoop
之外控制
作业
吗?
从文档中看,oozie
是否
可以
在
Hadoop
之外调度和控制
作业
还不是很清楚?谁能解释一下这件事?如果没有,有没有基于开源
的
工作流
引擎
可以
做到这一点?
浏览 0
提问于2012-10-26
得票数 1
2
回答
您能从Dataproc触发Python脚本吗?
、
、
、
、
我在用
GCP
做实验。我在
Hadoop
有一个本地环境。它由存储在HDFS上
的
文件和一堆编写API调用并触发猪
作业
的
python脚本组成。这些python
作业
是通过cron调度
的
。我想了解在
GCP
中
做类似事情
的
最佳方法。我知道我
可以
使用GCS作为HDFS
的
替代品。该Dataproc可用于拆分
Hadoop
集群并运行Pig
作业
。
是否
有可
浏览 10
提问于2022-03-31
得票数 2
回答已采纳
1
回答
自动化
Hadoop
批处理命令
、
、
、
、
我是这个领域
的
乞丐,所以不知道确切
的
术语,对不起问题:我无法理解人们是如何运行诸如 -mapper mapper.py \ -reducer reducer.pyoutput nflda
浏览 3
提问于2015-12-22
得票数 2
回答已采纳
1
回答
Hdfs等效于Gcloud
中
的
快照和
、
我们正在
将
现有的
作业
从
Hadoop
迁移到
GCP
。在我们现有的
hadoop
代码
中
,我遇到了两个hdfs函数createSnapshot和snapshotDiff。我们在
GCP
中有它们
的
等价物吗?
浏览 3
提问于2020-03-05
得票数 0
1
回答
如何
将
文件
添加到
oozie
作业
中
的
分布式缓存
中
、
、
、
、
我正在实现一个oozie
工作流
,在第一个工作
中
,我使用sqoop从数据库
中
读取数据,并将其写入hdfs。在第二份工作
中
,我需要读取大量数据,并使用我刚才在
作业
一
中
编写
的
文件来处理大数据。以下是我
的
想法或尝试: 假设
作业
一
将
文件写入hdfs上
的
某个目录,
将
这些文件
添加到
作业
的
驱动程序类
中
的
分
浏览 3
提问于2015-04-15
得票数 1
回答已采纳
3
回答
卡夫卡到谷歌云平台数据流
的
摄取
、
、
可以
将来自主题
的
Kafka数据流、消费和摄入到BigQuery/Cloud存储
中
的
选项有哪些。
GCP
附带了基于模型
的
Dataflow。
是否
建议对传入数据执行实时转换
的
方法是
将
KafkaIO用于束
管道
?
可以
将
Kafka数据推送到云发布子
中
,然后放到BigQuery表
中
。卡夫卡流/火花
作业
,将被排除在
浏览 1
提问于2019-01-07
得票数 3
回答已采纳
1
回答
在数据流
作业
中
安装Python包
、
在我
的
数据流(beam)
工作流
中
,我使用来自Python
的
datetime包(在
gcp
上使用jupyter notebook )。当我用pip安装缺少
的
包时,一切都很好。现在我想在
gcp
上运行我
的
转换为数据流
作业
。我总是得到错误
的
"NAME ERROR“,因为datetime是未知
的
(当我使用Apache beam SDK for Python时得到这个错误),有人能给我一个提示如何<em
浏览 1
提问于2020-11-16
得票数 0
3
回答
哪个用户在通过协调程序提交
作业
时模仿oozie?
、
、
用户模拟/传播在oozie
中
是如何工作
的
?
浏览 1
提问于2014-10-10
得票数 0
回答已采纳
3
回答
在GitHub动作
工作流
中
重用
作业
、
我正在
将
管道
从循环CI迁移到Github操作,我觉得有点奇怪,我只能运行一次
作业
,而不是创建一个
作业
,然后从
工作流
部分调用它,这样就
可以
多次调用一个
作业
,而不会重复
作业
中
的
命令/脚本。我
的
管道
将
代码推送到三个环境
中
,然后对每个环境运行灯塔扫描。在循环ci
中
,我有一个任务要将代码推送到env,还有一个任务要运行灯塔。然后
浏览 3
提问于2021-12-03
得票数 2
1
回答
基于CircleCI
的
计划构建
我们目前有一个CircleCI
管道
,只要提交合并到测试环境,就会触发该
管道
。步骤1-构建应用程序如何创建只运行测试(即步骤2 )
的
夜间构建?在这种情况下,它不是由提交到测试环境触发
的
,而只是在指定
的
时间运行测试
的
计划构建。
浏览 6
提问于2022-10-24
得票数 0
回答已采纳
1
回答
一个oozie实例
可以
同时在多个
hadoop
集群上运行
作业
吗?
、
我有一个可用
的
开发人员
Hadoop
集群来运行测试
作业
,还有一个可用
的
生产集群。我
的
问题是,我
是否
可以
利用oozie
将
工作流
作业
踢到单个oozie实例上
的
多个集群? 有什么问题吗?我假设我
可以
根据我想要在哪个集群上运行
作业
,为我
的
工作流
重新配置
作业
跟踪器、namenode和文件系统位置属性。
浏览 0
提问于2013-04-27
得票数 0
回答已采纳
2
回答
HBase表快照在Oozie
工作流
中
的
应用
、
、
、
、
我试图在oozie上运行一个MapReduce
作业
,该
作业
以HBase表快照为输入。目前,我
可以
使用org.apache.
hadoop
.hbase.mapreduce.TableMapReduceUtil来完成它(不使用oozie
工作流
),这为我提供了一个initTableSnapshotMapperJob在oozie
中
是否
有类似的选项,其中我
可以
将
HBase快照指定为映射减少
作业
的
输入。如果不是,
浏览 7
提问于2015-03-05
得票数 0
回答已采纳
1
回答
oozie
是否
提供任何I/O方面的性能优化?
、
、
、
、
由于oozie是
Hadoop
平台
的
工作流
引擎,它
是否
提高了MapReduce
作业
的
DAG依赖项
的
执行性能?我
的
意思是,由于一个MapReduce
作业
的
输出作为DAG中下一个MapReduce
作业
的
输入,oozie
是否
提供了
将
中间结果存储在内存
中
从而节省I/O
的
机制?或者仅仅是一个
工作流</em
浏览 3
提问于2013-11-01
得票数 1
回答已采纳
3
回答
Oozie
工作流
、协调程序和捆绑包之间
的
区别是什么
、
、
、
Oozie
工作流
、协调器和捆绑包有什么不同?我猜它再次被用来调度一组协调器。那么为什么不能使用一个协调器来调度其他协调器,就像一个
工作流
可以
有另一个子
工作流
一样。
浏览 0
提问于2015-10-23
得票数 14
回答已采纳
1
回答
Oozie触发MapReduce主类
、
、
、
、
我不需要在oozie
工作流
xml
中
设置
作业
驱动程序配置,比如Inputformat类等等,而是希望o调用我
的
ExampleDecision.java。ExampleDecision主要方法
将
负责
作业
设置和配置。怎么做?或 它
是否
浏览 2
提问于2015-08-31
得票数 0
1
回答
如何在常规
管道
作业
中
触发多分支
管道
Jenkins
作业
?
、
我想在一个常规
的
管道
作业
中
触发一个特定
的
多分支
管道
作业
‘maven释放-
工作流
-测试’(特定分支)。
是否
有需要指定
的
特殊构建()命令模式?代码段生成器只是打印: 没有这样
的
作业
maven发布
工作流
测试
浏览 4
提问于2016-05-19
得票数 6
回答已采纳
1
回答
对于
GCP
上
的
数据
管道
,最好
的
服务是什么
、
、
、
我想在
GCP
上
的
项目上部署服务(使用Apache光束
的
python脚本),执行时间有时长达24小时。我需要这个服务与数据
管道
始终工作。此外,我还有一个web应用程序,它将使用来自数据
管道
的
结果。我
的
解决方案是,我在
GCP
app Engine上部署web应用程序,在K8s集群上部署python脚本,因为
作业
可以
持续24小时,而且App Engine是无服务器
的
,所以serverless
中</
浏览 9
提问于2021-01-10
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
什么是Azkaban插件(plugin)?
CircleCI为主流CI/CD管道发布新的安全集成ORB
大数据公司LiveRamp上云记(一):为什么选择GCP?
大数据公司 LiveRamp 上云记(三):如何在吞吐量有限的情况下处理数据复制
“技术选型”工作流引擎哪家强?首席架构帮你挑
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券