腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2613)
视频
沙龙
1
回答
如
何在
实例
化
Dataproc
工作流
模板
时
传递
和
访问
Dataproc
Sparkjob
参数
google-cloud-platform
、
parameter-passing
、
google-cloud-dataproc
我正在使用
Dataproc
工作流
模板
来运行
Sparkjob
。我希望将输入文件动态
传递
给
Sparkjob
参数
,同时通过
Dataproc
工作流
模板
将其
实例
化
。我怎样才能做到这一点呢?
浏览 24
提问于2021-02-28
得票数 2
回答已采纳
2
回答
自定义Dataprod
工作流
google-cloud-platform
、
workflow
、
google-cloud-dataproc
我在
Dataproc
中使用
工作流
。我想做三件事: 在
工作流
中,我希望禁用调度程序中的任务,并调用云函数,这是可
浏览 0
提问于2019-09-20
得票数 2
1
回答
如
何在
工作流
模板
火花作业中
传递
参数
python
、
apache-spark
、
workflow
、
google-cloud-dataproc
我的spark
dataproc
工作流
有问题。这在发射
时
起作用:--project myproject \--region=europe-west3
工作流
和
python代码,通过composer启动它,它可以工作。但是,我无法将
参数
传递
给
工作流
: gcloud
dataproc
workflow-t
浏览 3
提问于2021-08-24
得票数 3
2
回答
通过
dataproc
工作流
传递
参数
.
模板
google-cloud-dataproc
我知道
dataproc
工作流
模板
仍然处于测试阶段,但是如何通过添加作业将
参数
传递
到可执行sql中呢?下面是一个基本的例子: gcloud beta
dataproc
workflow-templates run $WORK_FLOW gcloud beta
dataproc
workfl
浏览 5
提问于2017-10-18
得票数 2
回答已采纳
1
回答
我们能否将x_com变量作为
参数
传递
给DAG中的下一个任务?
google-cloud-platform
、
google-cloud-composer
、
airflow
该函数
访问
一个api,然后将表存储在GCS中。现在,我的气流dag (使用Composer)触发了下一阶段,即一个
Dataproc
作业,它从GCS中获取表,并推入BQ,但是当我触发
Dataproc
工作流
模板
时
,我将
传递
一个
参数
,该
参数
是来自进程本身的表名称,以及我想从x_com中选择的
参数
。下面是一个代码段抛出一个未定义的错误
dataproc
_job =
dataproc
_ope
浏览 0
提问于2021-09-16
得票数 1
回答已采纳
1
回答
不能在placement.managedCluster.config下
参数
化
任何值
google-cloud-dataproc
我的目标是从python代码创建
dataproc
工作流
模板
。同时,我希望能够在
模板
实例
化
过程中
参数
化
placement.managedCluster.config.gceClusterConfig.subnetworkUri字段。) print(err)当我试图运行这段代码
时
,这种行为也是一样的,如果我
浏览 0
提问于2021-01-09
得票数 3
回答已采纳
6
回答
Google Cloud Dataflow
和
Google Cloud
Dataproc
之间的区别是什么?
google-cloud-platform
、
google-cloud-dataflow
、
google-cloud-dataproc
看看谷歌的云服务,
DataProc
似乎也可以做同样的事情。为什么谷歌同时提供这两种服务?
浏览 1
提问于2017-09-27
得票数 66
1
回答
升级
dataproc
集群的推荐方法是什么?
google-cloud-dataproc
Dataproc
似乎是设计成无状态/不可变的。这个假设正确吗?如果我们计划部署一个Hive/Presto数据仓库,那么我们现在应该退出吗?如
何在
集群建立后安装工具(
如
Hue等)? “我可以运行一个持久集群吗?”也不要真的解决这个问题。作为一名开发人员,我对“最小
化
状态”
参数
非常满意,但我在企业世界中工作,喜欢Hive (及其元数据存储)、Hue
和
Zeppellin等解决方案,并希望将Tableau等
浏览 3
提问于2017-12-04
得票数 1
回答已采纳
7
回答
Google平台:如何监控VM
实例
的内存使用情况
memory
、
google-cloud-platform
、
memory-management
、
google-compute-engine
、
google-cloud-dataproc
但是,我无法找到一种方法来监视
Dataproc
意图的内存使用情况。正如您在附件中所看到的,控制台提供有关CPU、磁盘
和
网络的利用率信息,但不提供有关内存的信息。
浏览 12
提问于2017-05-16
得票数 54
回答已采纳
1
回答
如何对运行在云中的管道进行沙箱/限制
访问
?
security
、
google-cloud-dataflow
、
access-control
我想在Google (使用Google函数中的GAPI,
如
中所示)中运行一个管道(以前是一个分阶段的
模板
)。如何限制该管道可以
访问
的资源?根据我在上读到的内容,我只能在从本地机器运行管道
时
才能这样做,因为
访问
权限由我的用户
访问
权限决定。然而,当在云中运行时,它运行在Cloudservices帐户
和
Compute服务帐户下,以及那些我无法限制的帐户,这样我就不会破坏其他地方的东西。对,是这样?那么,如果不从本地机器执行它,我如何限制它能够
和
不能做的事情呢
浏览 0
提问于2017-04-24
得票数 0
回答已采纳
2
回答
DataProc
集群FetchFailedException
apache-spark
、
hadoop
、
pyspark
、
google-cloud-dataproc
我将尽量用我的解释
和
设计
参数
做到既透彻又简洁。因此,我给出了一些初始迭代,我根本不擅长Java (我喜欢的编码语言是Python),也不了解如何设置集群的体系结构,这样集群就不会挂起或失败。我使用的是Apache或GeoSpark (很难理解如
何在
python代码中配置
和
使用它们) 从GCS桶
和
BigQuery表加载数据(原始数据
和
一些参考数据集当我尝试运行整个数据集
时
,它似乎遇到了许
浏览 17
提问于2021-10-07
得票数 0
3
回答
Dataproc
集群映像升级
google-cloud-platform
、
google-cloud-dataproc
由于我们的业务需求,我们必须使用静态、长时间运行的持久性
Dataproc
集群。是否有任何方法来升级
Dataproc
映像以利用最新的OS/OSS更新?请帮我提供一些参考文件来执行这个操作(最好是自动
化
的)。
浏览 5
提问于2019-12-03
得票数 4
回答已采纳
1
回答
初始
化
大型静态类数组
c++
、
c++11
我有一个
模板
来创建各种对象的
实例
。
模板
有一个静态的类声明数组,它应该创建一个在创建过程中
传递
的类类型数组。template <class object>
浏览 4
提问于2017-08-20
得票数 2
回答已采纳
1
回答
wf中关于outArgument的一个错误
workflow-foundation-4
当我使用书签在一个活动中声明一个OutArgument
时
,我得到了以下错误!“未提供所需活动
参数
'Out-arg‘的值” public string BookmarkName = "bookmark1 NameBookmark"; [RequiredArgument
浏览 3
提问于2011-07-17
得票数 1
3
回答
Google
dataproc
未能创建带有初始
化
脚本的新集群
hive
、
google-cloud-sql
、
google-cloud-dataproc
、
metastore
、
cloud-sql-proxy
我使用以下命令创建data集群: gcloud
dataproc
集群创建informetis-dev -初始
化
-action“gs://
dataproc
-initialization-actions/jupyter/jupyter.sh,gs://
dataproc
-initialization-actions/cloud-sql-proxy/cloud-sql-proxy.sh,gs://
dataproc
浏览 5
提问于2016-10-07
得票数 1
3
回答
C++,没有默认构造函数的默认
参数
c++
对于这种情况,标准说了些什么:struct A {}; C(int);顺便说一句,Comeau不会引发错误。
浏览 0
提问于2010-09-08
得票数 1
回答已采纳
1
回答
如
何在
启动Django服务器之后创建类并在稍后的views.py中
访问
其成员
python
、
django
、
class
、
instance
我的问题
和
这个问题是一样的。new=MyClass() 在view.py中,假设有某种魔力将
实例
化
实例</em
浏览 1
提问于2022-06-14
得票数 1
回答已采纳
1
回答
匹配
模板
别名作为
模板
参数
c++
、
templates
、
c++11
、
template-meta-programming
、
template-aliases
>::result;
如
您所见,我正在使用C++11
模板
别名,以避免在使用评估器
时
写入typename ::result。在其他专门
化
中,eval_impl (评估元功能的实现)对于用户
传递
参数
化
表达式(例如元函数)
和
一组
参数
具有专门
化
。换句话说,使用eval作为高阶元功能来计算具有一组指定
参数
的元功能。,并将其与一组要调用(评估)的
参数
一起
传递
给eval。
浏览 5
提问于2014-04-07
得票数 1
回答已采纳
2
回答
在ViewModels中
传递
数据对象的最正确的方法
xamarin
、
xamarin.forms
、
prism
在页面中,我从WS下载一个数据对象,我需要与其他沿途下载的数据对象一起维护它(还有状态、不适合存储在Settings/Preferences中的标志),以便在我的应用程序的其他页面中使用,那么如何
传递
它呢我排除了:从SQLite
和
LiteDB存储
和
检索 2从MonkeyCache
浏览 0
提问于2019-12-13
得票数 0
1
回答
不可行函数
模板
的类型推断
c++
、
templates
、
overload-resolution
、
template-argument-deduction
在 to
和
注释部分中,表示,当试图对需要比
传递
的
参数
更多的函数
模板
进行
模板
类型推断
时
,存在“匹配错误”:void foo(T, int); } 当为foo
实例
化
第一个函数
模板
T == int
时
,替换将产生一个无效类型,而不是在foo的直接上下文中。然而,当
浏览 2
提问于2014-03-10
得票数 3
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kaggle大神带你上榜单Top2%:点击预测大赛纪实(上)
Vue 超快速学习
聊聊C+的模板和泛型编程
请问C+11有哪些新特性?
教你数分钟内创建并运行一个 DolphinScheduler Workflow
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券