我有一个ECS任务配置为运行spark-submit to EMR Cluster。spark-submit配置为Yarn Cluster模式。:2685) at com.databricks.spark.redshift.Utils我怀疑这是因为没有设置"spark.yarn.jars“,所以它将我的远程服务器的$SPARK_HOME库推倒了,并且它缺少com
我每天运行一项作业,使用Databricks Pyspark将数据写入BigQuery。最近对Databricks ()的配置进行了更新,这导致作业失败。我遵循了所有的步骤,在医生。读取数据再次工作,但写入会引发以下错误:java.lang.RuntimeException: java.lang.ClassNotFoundException: Class com.google.cloud.hadoop.fs.gcs.GoogleHadoopFSnot found
我也尝