所有工作人员都在使用2核和4GB内存。我可以使用.spark://ip:7077 --deploy-mode cluster --conf spark.driver.cores=2 --conf spark.driver.memory=4g启动作业服务器，但是每当我试图启动一个具有两个以上核心的服务器时，驱动程序的状态就会陷入“提交”状态，并且没有工人接受该任务。spark-shell --master spark://ip:7077 --conf spark.driver.core
浏览 0提问于2016-05-16得票数 0
回答已采纳
如何更改的执行器内存(和其他信任)？
特别是，我想给平底鞋火花壳，类似-火花-核心-max=12，当我启动它，以便我的工作在火花外壳将使用这些配置设置。
浏览 4提问于2014-04-09得票数 37
回答已采纳
我想我理解交互、登录和批处理shell之间的区别。 查看以下链接以获得更多帮助：登录壳和非登录壳的区别？2.1:外壳的类型:交互式和登录外壳 (从用户指南到Z-Shell)
我的问题是，如果我在交互式、登录或批处理shell上，如何使用命令/条件进行测试？
浏览 0提问于2011-12-13得票数 211
回答已采纳
1回答
我有一台带SSD的Windows 10笔记本电脑，16 an内存和一个i7处理器。
目前有10个“”进程正在运行，它们都是0%的CPU。谢谢!
浏览 0提问于2017-04-09得票数 3
火花壳开始使用：我希望纱线分配约400 go的内存，以火花外壳，但当我去RM时，它显示了大约804GB的“内存使用”。这是一个关于火花内存开销和纱线内存分配机制的问题，请检查：
规则1.纱线总是将内存要求舍入到纱线的倍数。调度器。最小分配-mb，默认为1024或1GB。也就是说，在我的配置中，即使火花壳只要求384
浏览 2提问于2017-05-21得票数 2
我在一个hadoop集群上使用hadoop 2.7.2、HBASE1.4.9、SPAC2.2.0、Scala2.11.8和java1.8，该集群由一个主服务器和两个从服务器组成。但是，当我试图像他那样通过添加类似于参数的罐子来运行火花壳时，我有一个错误： import<console>:14: error: not found: value spark
浏览 6提问于2019-11-05得票数 1
回答已采纳
1回答
我正在使用shapely做GIS，但在将每个邮政编码的几何图形加载到内存中时，我遇到了内存错误，因为几何图形是如此参差不齐和复杂。我想通过减少边界点的数量来使形状在内存中变得更小，而不是太多地扭曲形状。使用凸壳似乎是一个潜在的答案，因为可以简单地丢弃边界上的许多点。我想知道是否已经有什么东西可以解决这个问题了。
浏览 2提问于2014-04-03得票数 7
回答已采纳
1回答
盒子里的壳牌能提供双重加密吗？
、、、、
一个形壳盒通过标准web浏览器通过HTTPS提供对服务器的SSH访问。SSH和HTTPS都加密通信量有效负载。
浏览 0提问于2019-06-26得票数 -1
回答已采纳
我已经开发了一个应用程序与颤振和Sqlite，我不能让android自动备份工作。我已经明确地将android:allowBackup="true“放在AndroidManifest.xml中。我第一次执行命令时：我得到了：为一个请求的包运行增量备份。带有结果的包@pm@ with :带结果的成功包:传输被拒绝的包，因为它在备份结束时无法处理它:成功
我
浏览 3提问于2020-06-17得票数 2
我在我的RHEL服务器上安装了一个现有的PHP5。它是通过yum管理的，所以安全更新会像往常一样应用。修改我的yum管理的php安装和编译只是为了获得整洁的功能似乎是过度的。感谢cyberx86 (从下面的评论)的建议，使埃佩尔和抓取的php-整洁包那里。步骤：
壳# rpm -Uvh http://download.fedora.redhat.com/pub/epel/5/i38
浏览 0提问于2011-12-21得票数 1
我想通过mysql工作台或本地计算机与mysql客户机连接到部署在计算引擎上的mysql服务器。我该怎么做呢？我尝试过 .I可以从其他vm连接，但不能从本地计算机连接。我无法连接从云壳和应用引擎以及。
浏览 3提问于2018-03-23得票数 0
回答已采纳
1回答
我一直试着在梅索斯上学习火花，但是火花壳一直在无视报价。这是我的设置：命令：mesos-master --work_dir=/tmp/abc --hostname=<public IP>
val f = sc.textFile ("/tmp/ok.txt");。。我不断地在火花
浏览 1提问于2017-05-21得票数 0
回答已采纳
不知道为什么不起作用，我试图将整个目录从本地驱动器上传到sftp，但是它没有上传文件夹，而是创建了一个类似于".\20200131\doc1.txt“的文件。我已经干了好几个小时了，我想我错过了什么 localpath = r"c:\test\" for root,dirs,_ in os.walk(r"c:\test"):
浏览 3提问于2020-02-18得票数 1
回答已采纳
以下是我的星星团的心声：
如何启动火花壳spark-shell \ --master spark://ip:7077 \ --executor-memoryspark.akka.frameSize=2000 \ --conf spark.driver.maxResultSi
浏览 7提问于2015-12-20得票数 3
1回答
我已经设置了hdfs和vertica。20/04/27 01:55:50 INFO S2V: Load by name.
浏览 4提问于2020-04-26得票数 1
回答已采纳
1回答
但是我不知道如何处理这个问题，在火花壳运行时是否使用了一个构建工具？我所需要做的就是安装一个scala库，并让它在scala的星星之壳版本中运行，我不知道如何做到这一点，因为我不知道EMR实例如何安装scala和spark。
浏览 2提问于2016-04-08得票数 2
回答已采纳
我有一个带有两个虚拟机的集群，它们都有8GB的内存和2个核心。我已经部署了一个包含一个主节点和两个从节点的集群。节点日志似乎是正确的，工作人员被正确地注册到主服务器：
kubectl exec spark-worker1(List(1,2,4,4)).count作为作业从容器中启动火花壳来执行一个基本的火花作业。如果我在从节点中使用火花壳</e
浏览 2提问于2018-08-29得票数 0
回答已采纳
我按照指南在Alluxio上部署火花。当我试图从冲积层加载数据以运行rdd操作时，
ccc.count
16/07/24 23:27:16 INFO logger.type: getFileStatus(alluxio://localhost:19998/findbugs.xml)
16/07/24 23:27:16 ERROR logger.type: Frame size (273247862) larger than max
浏览 3提问于2016-07-24得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
