在Spark 1.5中,可以通过以下两种方式将sys props传递给Spark:
--conf
参数将sys props传递给Spark。如果属性值中包含空格,可以使用引号将整个属性值括起来,例如:./bin/spark-submit --class <main-class> --conf "spark.driver.extraJavaOptions=-Dproperty=value with space" <application-jar>这里的spark.driver.extraJavaOptions
是一个示例属性,你可以根据具体需求替换为你想要传递的属性名。set
方法将属性值作为字符串传递,例如:import org.apache.spark.SparkConf
val conf = new SparkConf()
conf.set("spark.driver.extraJavaOptions", "-Dproperty=value with space")同样,这里的spark.driver.extraJavaOptions
是一个示例属性,你可以根据具体需求替换为你想要传递的属性名。需要注意的是,以上方法都是将sys props传递给Spark的方式,具体的属性名和属性值需要根据你的需求进行替换。另外,关于Spark的更多信息和使用方法,你可以参考腾讯云的Spark产品文档:腾讯云Spark产品介绍。
领取专属 10元无门槛券
手把手带您无忧上云