我正在我的Linux操作系统上构建一个星星之火集群。但是,当我使用./sbin/start-all.sh启动它时,从从节点中发生了以下错误。
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Exception in thread "main" java.lang.IllegalStateException: Memory is below 1MB, or missing an M/G at the end of the memory specification
我正在运行一个Spark应用程序,我总是得到内存不足的异常。
Exception in thread "main" java.lang.OutOfMemoryError: unable to create new native thread
我在linux上的节点集群中在local5下运行我的程序,但是它仍然给了我这个error..can,有人告诉我如何在我的Spark应用程序中纠正这个问题。
我是在极度绝望的状态下写作的..。
我有两个用户:
1本地用户,在Linux中创建。工作100%良好,字数工作完美。Kerberized集群有效票。
1 Active Directory用户,可以登录,但吡火花指令(相同字数)失败。和上面的相同的kdc票。
线程"main“中的异常: basedir必须是绝对的:?/. in 2/本地在org.apache.ivy.util.Checks.checkAbsolute(Checks.java:48) at org.apache.ivy.plugins.repository.file.FileRepository.setB
我在我的开发机器上写了一个spark程序,这是一台mac。hadoop的版本是2.6,spark的版本是1.6.2。hadoop集群有3个节点,当然都在linux机器上。我在idea IDE中以spark独立模式运行spark程序,它工作成功。但现在,我将其更改为yarn客户端模式,它不能成功工作,并给出如下消息:
...
2017-02-23 11:01:33,725-[HL] INFO main org.apache.hadoop.yarn.client.RMProxy - Connecting to ResourceManager at /0.0.0.0:8032
2017-02-23
IBM installer for Apache Spark,在我的例子中是IBM_Spark_DK_2.1.0.0_Linux_s390x.bin,它提供了以下选项来执行安装程序(我缩短了选项列表,使其更具可读性):
Usage: IBM_Spark_DK_2.1.0.0_Linux_s390x [-f <path_to_installer_properties_file> | -options]
where options include:
-i [swing | console | silent]
specify the user inter
我得到了下面的错误。Spark_local_dir已设置,并具有足够的空间和inode。
java.io.IOException: No space left on device
at java.io.FileOutputStream.writeBytes(Native Method)
at java.io.FileOutputStream.write(FileOutputStream.java:326)
at org.apache.spark.storage.TimeTrackingOutputStream.write(TimeTrackin
我要破例了,org.apache.spark.SparkException: A master URL must be set in your configuration
我使用spark2-submit和选项deploy-mode = cluster和master = yarn。据我所知,我不应该得到这样的例外,以纱线为主人。
提交脚本
export JAVA_HOME=/usr/java/jdk1.8.0_131/
spark2-submit --class com.example.myapp.ClusterEntry \
--name "Hello World"
在启动了一个spark-ec2集群之后,我从/root启动了sparkR
$ ./spark/bin/sparkR
生成的消息中有几行包括:
16/11/20 10:13:51 WARN SparkConf:
SPARK_WORKER_INSTANCES was detected (set to '1').
This is deprecated in Spark 1.0+.
Please instead use:
- ./spark-submit with --num-executors to specify the number of executors
- Or s
我需要将spark应用程序/作业提交到远程spark集群。我的机器上当前有spark,主节点的IP地址是yarn-client。顺便说一句,我的机器不在集群中。我使用此命令提交作业
./spark-submit --class SparkTest --deploy-mode client /home/vm/app.jar
我已经将我主人的地址硬编码到我的应用程序的表单中
val spark_master = spark://IP:7077
但是我得到的只是一个错误
16/06/06 03:04:34 INFO AppClient$ClientEndpoint: Connecting to m