我刚开始使用flink,并试图在EMR集群上部署jar。我使用了3个节点集群(1个主服务器和2个从节点)进行默认配置。我没有做任何配置更改,并坚持默认配置。在我的主节点上运行以下命令:
flink run -m yarn-cluster -yn 2 -c Main /home/hadoop/myjar-0.1.jar
我得到了以下错误:
INFO org.apache.flink.yarn.YarnClusterDescriptor- Deployment took more than 60 seconds. Please check if the requested resources a
我有一个一个节点的Kubernetes集群,度量服务器报告的内存使用情况似乎与使用free命令显示的内存使用情况不同。
# kubectl top nodes
NAME CPU(cores) CPU% MEMORY(bytes) MEMORY%
<node_ip> 1631m 10% 13477Mi 43%
# free -m
total used free shared buff/cache available
Mem:
我有25个蜂巢脚本,每个有200个蜂巢查询。我在我的aws集群中使用spark命令运行每个hql。我正在运行所有的火花-sql命令并行使用&操作符。我能够在tez上成功地使用单元运行相同的hql。我也在尝试使用spark来提高性能。但是,使用spark,只有2-3个脚本执行得很好;其余的sql由于对等错误设置的连接而失败。我相信,这是由于资源不足,在纱线集群的火花。
当我观察到纱线控制台时,我可以看到它正在利用集群的全部内存,尽管我在命令中指定了executor和驱动程序内存。
能帮我找出这个问题的确切原因吗?
下面是我的EMR集群配置:
Data Nodes : 6
RAM per