腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Dataproc
群集
的
数据
融合
资源
调配
失败
google-cloud-dataproc
、
google-cloud-data-fusion
我已经创建了一个简单
的
管道,它从SQL Server表中读取
数据
,然后写入到BigQuery表中。然后,我将其配置为使用Spark并部署和运行。它从提供
dataproc
集群开始,我可以看到它相对较快地创建了3个VM,一个master和两个worker。不过,在
dataproc
UI和Data Fusion UI中,主要
的
集群创建作业仍然是"provisioning“。大约17分钟后,它
失败
了。 我在一个企业实例和一个基本实例中都尝试过。06-21 10:59:42,087 -
浏览 26
提问于2019-06-21
得票数 3
回答已采纳
1
回答
GCP
数据
传输在执行管道时速度太慢
google-cloud-platform
、
google-cloud-data-fusion
、
cdap
我知道
数据
扩散是CDAP上
的
托管服务,但与CDAP OSS (在Google Market place中)相比,当前
的
6.1.1企业版太慢了。
调配
dataproc
节点大约需要3分钟(无论计算配置文件是什么),启动和运行模式大约需要1.5分钟,然后
数据
将开始流经节点。有什么方法可以优化这一点并提高速度吗?
浏览 18
提问于2020-03-06
得票数 1
回答已采纳
1
回答
如何检查kubernetes集群是否有
资源
来部署我所有的软件
kubernetes
我有每个软件
的
配置信息,比如每个软件
的
pods数量、cpu和RAM
的
请求和限制。如何检查我
的
群集
是否有足够
的
资源
来
调配
所有软件,甚至在实际部署软件之前
浏览 0
提问于2019-07-09
得票数 0
1
回答
我对GCP
的
数据
融合
的
内部工作流程很好奇
apache-spark
、
google-cloud-platform
、
google-cloud-data-fusion
我在开发人员和企业模式下使用了Google Cloud platform
的
DataFusion产品。 对于开发人员模式,没有
数据
过程设置(主节点、工作节点)。对于企业模式,有一个
dataproc
设置值。(主节点、工作节点) 我好奇
的
是企业模式
的
情况。 我能够设置Master节点和Worker节点
的
值。详述 Enterprise - Master.- Master Cores: 2vcpu - Mas
浏览 14
提问于2020-10-26
得票数 0
回答已采纳
1
回答
私有云
数据
融合
能连接到互联网吗?
google-cloud-platform
、
google-cloud-data-fusion
我们
的
应用程序由通过“云运行”部署
的
spring应用服务器和“云sql postgres”
数据
库组成。我们希望定期向这个
数据
库提供“云
数据
融合
”(CDF)。CDF应该从AWS S3中获取
数据
并将其推入我们
的
数据
库。为此目的,我们设计并验证了一条管道,但我们面临着一个网络悖论: 要么CDF是公
浏览 7
提问于2020-12-28
得票数 0
1
回答
Google到Server(基于centos 7)连接错误?
sql-server
、
pyspark
、
database-connection
、
sqoop
、
google-cloud-dataproc
我陷入了一个已经浪费了3天时间
的
问题。我有一个
dataproc
集群1.5,我还在运行centos 7 OS
的
google上安装了SQL Server。但是,我无法通过
dataproc
集群中
的
pyspark连接Server。您可以在附件中找到错误快照。SQL服务器上禁用SSL加密。我可以通过sqlcmd(安装在
dataproc
集群上)访问SQL服务器,也可以从
dataproc
集群通过PYMSSQL库访问SQL服务器。但不是用火花放电。在尝试从Sqoop访问MSSQL时也会
浏览 1
提问于2021-02-18
得票数 3
回答已采纳
1
回答
Dataproc
中
的
Yarn队列示例(Spark v2)
apache-spark
、
hadoop-yarn
、
google-cloud-dataproc
有没有人能够在
Dataproc
的
Spark 2.x上添加比默认队列更多
的
队列?创建
群集
时
失败
的
尝试:此外,在上述任一配置前缀上设置yarn.scheduler.fair.allow-undeclared-pools=tru
浏览 0
提问于2017-12-09
得票数 2
回答已采纳
1
回答
云
数据
融合
与
Dataproc
google-cloud-platform
、
etl
、
google-cloud-dataproc
、
google-cloud-data-fusion
云
数据
融合
提供了使用图形管道UI表示创建ETL作业
的
能力,而
Dataproc
则允许我们运行以前创建
的
Spark/Hadoop/Hive作业。由于我在这两种服务方面的经验有限,我发现云
数据
融合
在这两种服务中更容易使用和管理。我想知道在
Dataproc
中创建和运行作业比云
数据
融合
更可取
的
用例。
浏览 0
提问于2022-05-09
得票数 3
回答已采纳
2
回答
Data Fusion管道使用来自云NAT
的
外部IP,而不是将外部IP分配给
Dataproc
群集
节点
google-cloud-data-fusion
我正在尝试从限制外部IP访问
的
客户端提取
数据
。我已经使用允许
的
IP配置并测试了云NAT。但是,当我部署我
的
Pipeline时,Data Fusion创建了
Dataproc
集群,并将其他临时外部IP分配给节点。我不想分配这些IP,这样节点就可以使用云NAt上定义
的
IP。我尝试过通过Data Fusion运行时参数将--no-address传递给
Dataproc
,但这不是正确
的
方式。此外,我还查找了一些在我
的
Data Fusion实例上配
浏览 0
提问于2019-06-13
得票数 1
1
回答
在kubernetes中更新多个pod中
的
多个静态文件
kubernetes
在kubernetes中更新许多pod中
的
许多静态文件(css、js、图像)
的
最佳实践是什么?谢谢!
浏览 1
提问于2021-06-10
得票数 1
1
回答
如何配置云
数据
融合
管道以在现有Hadoop集群上运行
google-cloud-data-fusion
云
数据
融合
为每次管道运行创建一个新
的
Dataproc
集群。我已经有了一个运行24x7
的
Dataproc
集群设置,我希望使用该集群来运行管道。
浏览 1
提问于2019-07-03
得票数 4
回答已采纳
1
回答
调度启动/停止
DataProc
集群
google-cloud-platform
、
google-compute-engine
、
google-cloud-dataproc
从提供
的
数据
处理文档中可以看出: 在从提交
群集
创建请求时开始
的
指定期间之后。这样,我就可以避免额外
的
成本,而不必手动停止(或者更确切地
浏览 2
提问于2021-09-07
得票数 2
回答已采纳
1
回答
不同帐户中
的
Data Fusion
Dataproc
计算教授
google-cloud-dataproc
、
google-cloud-data-fusion
、
cdap
我正在尝试通过部署Data Fusion实例
的
另一个项目中
的
Data Proc集群来执行管道,但我遇到了一些问题。
数据
过程实例似乎已正确创建,但作业启动
失败
。有没有办法解决这个问题?这里是错误
的
堆栈跟踪谢谢
浏览 10
提问于2020-07-29
得票数 1
回答已采纳
2
回答
云
数据
融合
-现有的
Dataproc
选项缺失
hadoop
、
google-cloud-platform
、
google-cloud-dataproc
、
google-cloud-data-fusion
、
cdap
根据,有一个选项可以使用6.2版本及以上版本
的
现有
Dataproc
集群。我们做错什么了?为什么没有显示所描述
的
选项?我们必须做一些额外
的
配置吗?更新1 更新2 当我们尝试使用远程Hadoop 时,我们在/log/Program.log文件中得到了以下错
浏览 0
提问于2021-06-03
得票数 2
1
回答
我没有找到NodeInitializationAction
的
证据,因为
Dataproc
已经运行。
java
、
google-cloud-dataproc
("wide-isotope-147019");cluster.setClusterName("cat"); 就证据而言,我应该期待什么?(编辑:我在/etc
浏览 2
提问于2016-12-22
得票数 4
回答已采纳
1
回答
使用kerberized集群时,8088上
的
资源
管理器UI不工作
apache-spark
、
hadoop
、
kerberos
、
google-cloud-dataproc
嗨,我已经使用下面提到
的
gcloud命令创建了一个
dataproc
集群- gcloud
dataproc
clusters create spark-kerberos --region=us-central1-image-version 1.4-debian10 --scopes 'https://www.googleapis.com/auth/cloud-platform' --properties "
dataproc
:kerberos.beta.au
浏览 0
提问于2020-11-21
得票数 2
1
回答
如何在
数据
流程中更新集群状态
google-cloud-dataproc
在为spark创建了一个包含2个工作节点
的
集群后,我更改了我
的
初始化脚本。然后我稍微修改了一下脚本,尝试用另外两个工作节点来更新集群。脚本
失败
是因为我只是在apt-get install之前忘记了apt-get update,所以
dataproc
报告错误,并且集群
的
状态更改为ERROR。当我再次尝试将大小减少到2个节点时,它不再工作,并显示以下消息 ERROR: (gcloud.
dataproc
.clusters.update) Cluster 'cluster-1'
浏览 2
提问于2016-08-06
得票数 1
1
回答
GKE自动缩放
kubernetes
、
google-kubernetes-engine
、
autoscaling
我
的
集群中有三个节点池,每个池都启用了从1到100个节点
的
自动伸缩。最小节点数为1。我遇到了一些关于自动缩放
的
奇怪
的
事情。 缩减适用于所有池。向上扩展似乎是创建一个新
的
节点池,而不是扩展相应
的
节点池,但由于该节点池缺少标签,我们不需要任何东西,因此不会进行任何调度,最终会被销毁。我发誓我缺少一些信息来使它能够扩展正确
的
节点池,有什么建议要看什么和在哪里更改?我不使用/不使用GCE自动伸缩
浏览 5
提问于2021-09-29
得票数 0
1
回答
无法使用服务帐户创建
Dataproc
群集
google-cloud-platform
、
google-cloud-dataproc
我是Google云和评估
Dataproc
集群
的
新手,其核心需求之一是动态创建集群并处理作业。对于各种文档读取和,我尝试创建一个服务帐户并添加以"
Dataproc
“开头
的
角色。gcloud beta
dataproc
clusters create jill-cluster \ --subnet default不幸
的
是,我也无法从伐木中获得足够
的
线索。 我想我在最初
的
问
浏览 4
提问于2020-05-07
得票数 2
回答已采纳
1
回答
已部署
的
作业因图像错误而停止工作?
google-cloud-data-fusion
在过去
的
几个小时里,我再也无法执行已部署
的
数据
融合
管道作业--它们几乎是瞬间以错误状态结束。我可以在预览模式下运行作业,但是当尝试运行已部署
的
作业时,这个错误会出现在日志中:我尝试过使用现有实例和新实例,所有已部署
的
作业(包括示例作业)都会出现此错误。 有什么想法
浏览 0
提问于2019-04-18
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
盘点SDDC核心构造块——VMware vSAN 的架构及存储策略
GPFS 分布式文件系统在云计算环境中的实践
租用美国服务器有哪些优势
自学14天后,我毁掉了自己的数据工程师面试
HYPERMAX 主机 I/O 限制与自动资源调配组
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券