腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Google
Cloud
Dataproc
支持
的
OSS
google-cloud-platform
、
apache-flink
、
google-cloud-dataproc
、
dataproc
当我去https://
cloud
.
google
.com/
dataproc
的
时候,我看到了这个...
Dataproc
是一种完全托管且高度可扩展
的
服务,用于运行Apache Spark、Apache Flink、Presto和30+开源工具和框架。但是gcloud
dataproc
jobs submit并没有列出所有的内容。~ gcloud
dataproc
jobs submit ERROR: (gcloud.
da
浏览 34
提问于2021-10-01
得票数 3
回答已采纳
2
回答
数据库SparkSQL作业
apache-spark-sql
、
databricks
、
google-cloud-dataproc
Databricks是否
支持
提交类似于
Google
Cloud
Dataproc
的
SparkSQL作业? Databricks job API似乎没有用于提交Spark SQL作业
的
选项。参考:https://docs.databricks.com/dev-tools/api/latest/jobs.html https://
cloud
.
google
.com/<e
浏览 41
提问于2020-07-01
得票数 0
2
回答
如何在GCP中执行数据沿袭?
google-cloud-platform
、
google-cloud-dataproc
、
data-lineage
当我们使用GCP云存储实现数据湖,并使用
Dataproc
、Dataflow等云服务进行数据处理时,我们如何在GCP中生成数据沿袭报告?
浏览 41
提问于2019-03-05
得票数 5
1
回答
Mrjob无法在
dataproc
上创建集群:__init__()获得意外
的
关键字参数'channel‘
python
、
python-3.x
、
mapreduce
、
google-cloud-dataproc
、
mrjob
我正在尝试使用Python mrjob库在
Google
Cloud
Dataproc
上运行Hadoop Map Reduce字数计算示例。
Google
Cloud
上启用了API,并为服务帐户设置了所有必需
的
角色。但是一旦它试图创建一个新
的
Dataproc
集群就失败了。 可能会出什么问题呢?在
Dataproc
上启动mrjob
的
命令行: $ python3 freq.py -r
dataproc
wor
浏览 36
提问于2020-11-01
得票数 2
3
回答
在中
的
Google
日志记录
google-cloud-logging
当试图在Python中导入
Google
日志时,我得到了以下错误: File "/usr/local/lib/python3.6/site-packages/
google
/
cloud
/logging/__init__.py", line 21, in <module> from
google
.
浏览 7
提问于2017-03-17
得票数 1
回答已采纳
1
回答
ImportError:未知位置
python
、
gcloud
、
google-cloud-dataproc
我正在尝试从Python访问
Google
Cloud
集群上
的
Jupyter文件。我需要
google
.
cloud
.
dataproc
_v1包来做这件事,但是每次我尝试
的
时候: from
google
.
cloud
import
dataproc
_v1 或 import
google
.
cloud
.
dataproc
_v1(这是谷歌在他们
的
文档中提供
浏览 6
提问于2019-06-28
得票数 1
回答已采纳
2
回答
无法从'
google
.
cloud
‘导入名称'
dataproc
_v1’(未知位置)
python-3.x
、
google-cloud-platform
、
cloud
、
google-cloud-dataproc
、
dataproc
尝试通过Jupyter Notebook使用
Dataproc
从计算机进行访问时,我使用pip安装了所需
的
库。但是,在导入时出现错误 import
google
.
cloud
.
dataproc
_v1 错误信息如下: ModuleNotFoundError Traceback(most recent call last)----> 1 import <
浏览 21
提问于2020-09-11
得票数 1
1
回答
在云日志记录中查看
Dataproc
作业驱动程序日志
google-cloud-dataproc
虽然群集级日志是可用
的
,但我无法查询作业
的
Dataproc
作业级别日志。 gc
浏览 6
提问于2021-09-20
得票数 2
1
回答
我可以从计费数据中推导出计算时间数据集群
的
数目吗?
sql
、
google-cloud-dataproc
我想知道是否有可能通过查看账单数据来获得用于
dataproc
实例
的
计算时数总数。| Licensing Fee for
Google
Cloud
Dataproc
(CPU cost) |很高兴看到 (Licensing Fee for
Google
Cloud
<e
浏览 1
提问于2019-09-13
得票数 2
回答已采纳
1
回答
GCP数据传输在执行管道时速度太慢
google-cloud-platform
、
google-cloud-data-fusion
、
cdap
我知道数据扩散是CDAP上
的
托管服务,但与CDAP
OSS
(在
Google
Market place中)相比,当前
的
6.1.1企业版太慢了。调配
dataproc
节点大约需要3分钟(无论计算配置文件是什么),启动和运行模式大约需要1.5分钟,然后数据将开始流经节点。有什么方法可以优化这一点并提高速度吗?
浏览 18
提问于2020-03-06
得票数 1
回答已采纳
1
回答
无法导入气流供应商软件包
python
、
google-cloud-platform
、
airflow
、
google-cloud-dataproc
编辑:当我按照答案中
的
建议将python版本升级到3.6+时,上面的问题就解决了。但现在,面临一个新
的
价值错误问题。导入DataprocInstantiateWorkflowTemplateOperator后,我将使用airflow.providers.
google
.
cloud
.operators.
dataproc
。/
cloud
/operators/
dataproc
.py", line 36, in <module>
浏览 4
提问于2020-08-12
得票数 5
回答已采纳
1
回答
pyspark ml模型
的
顶点ai自定义模型训练
apache-spark
、
pyspark
、
apache-spark-mllib
、
machine-learning-model
、
google-cloud-vertex-ai
我在vertex ai文档中找不到任何关于spark模型训练
的
参考。对于分布式处理模型构建,可用
的
选项只有PyTorch或TensorFlow。
浏览 30
提问于2021-09-03
得票数 0
2
回答
如何为失败
的
Dataproc
批处理配置警报策略?
google-cloud-platform
、
terraform
、
dataproc
、
gcp-alerts
我想提醒所有无服务器数据want作业
的
失败。我认为我可能需要创建一个基于日志
的
度量,然后根据该度量创建一个警报策略。我尝试使用下面的过滤器创建一个警报策略:我原以为
浏览 16
提问于2022-11-14
得票数 0
3
回答
Google
Cloud
Datalab上
的
pyspark
google-cloud-platform
、
google-cloud-datalab
如何在
google
-
cloud
-datalab笔记本中导入pyspark?即使在节点上设置了PYTHONPATH,SPARK_HOME,它也不能工作?我错过了什么吗?
浏览 1
提问于2016-11-22
得票数 1
2
回答
气流2.0对DataprocClusterCreateOperator
的
支持
airflow
、
google-cloud-composer
、
airflow-2.x
在我们
的
项目中,我们使用
的
是DataprocClusterCreateOperator,它是在from airflow.contrib.operators import
dataproc
_operator我们正在升级到气流2.1.2,当测试或测试需要旋转
DataProc
集群时,我们发现错误为airflow.exceptions.AirflowException: Invalid arguments wereInvalid arguments were: **kwargs: {'config_bucket'
浏览 16
提问于2021-12-15
得票数 1
回答已采纳
3
回答
如何在gce中关闭整个集群
的
日志
google-compute-engine
、
stackdriver
、
google-cloud-stackdriver
、
google-cloud-logging
对于已经创建
的
(Yarn/Hadoop)集群,是否可以禁用其中所有服务器
的
日志记录? 我找不到类似的东西。
Dataproc
或Compute Engine中有什么可以帮助我禁用日志
的
吗?
浏览 25
提问于2019-11-18
得票数 1
回答已采纳
2
回答
Google
Cloud
Logging中
Dataproc
Spark作业
的
输出
apache-spark
、
google-cloud-dataproc
、
google-cloud-logging
有没有办法将来自
Dataproc
Spark作业
的
输出发送到
Google
Cloud
logging?可以在控制台中
的
Dataproc
->Jobs下找到作业驱动程序( Spark作业
的
主机)
的
输出。我希望将日志也放在
Cloud
Logging中有两个原因: ,,我想看看遗嘱执行者
的
日志。通常,主日志会显示"executor lost“,但没有进一步
的
详细信息,因此了解有关execut
浏览 60
提问于2015-12-10
得票数 16
回答已采纳
1
回答
不同帐户中
的
Data Fusion
Dataproc
计算教授
google-cloud-dataproc
、
google-cloud-data-fusion
、
cdap
我正在尝试通过部署Data Fusion实例
的
另一个项目中
的
Data Proc集群来执行管道,但我遇到了一些问题。数据过程实例似乎已正确创建,但作业启动失败。有没有办法解决这个问题?这里是错误
的
堆栈跟踪谢谢
浏览 10
提问于2020-07-29
得票数 1
回答已采纳
1
回答
谷歌云数据流程:集群创建错误(debconf DbDriver config.dat锁定)
google-cloud-platform
、
google-cloud-dataproc
最近,我在尝试在GCP中创建
dataproc
集群时遇到了偶尔
的
错误。See output in: gs://
dataproc
-UUID-us/
google
-
cloud
-
dataproc
-metainfo/UUID/random-name-m/
dataproc
-startup-script_outputSee output in: gs://
dataproc
-UUID-us&
浏览 4
提问于2018-08-28
得票数 2
回答已采纳
2
回答
使用Scala和
Dataproc
的
云存储客户端:缺少库
scala
、
apache-spark
、
google-cloud-platform
、
google-cloud-storage
、
google-cloud-dataproc
我正在尝试在一个
dataproc
集群中运行一个简单
的
spark脚本,它需要使用scala和java云存储客户端库对gcs存储桶进行读/写。" % "
google
-
cloud
-storage" % "1.113.15"resolvers += Resolver.mavenLocal package DEV import com.
google
.
cloud
.storage.StorageOptions-1.113.15.jar
浏览 17
提问于2021-04-17
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Aizel Network宣布获得35万美元Google Cloud支持以及额外的技术和业务资源
使用Google Cloud Vision和Python进行强大的图像分析
Shopify和Google Cloud联手消除在线购物搜索的放弃
NEAR Protocol 与 Google Cloud 达成合作,将支持开发人员访问 Web3 启动平台 Pagoda
真正支持所有.NET工作负载的平台:Pivotal Cloud Foundry
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券