由于我使用的是具有多个处理器的一台机器,所以在创建local[8]时,我在主URL字段中提到了SparkContext但是每当我提到多个处理器时,作业就会被随机地卡住(暂停/停止)。但是,当我只使用local来代替local[8]时,任务就会无缝地运行,而不会被困住。val sc = new SparkContext(&qu
在我的Spark应用程序中,我尝试从RDBMS读取多个表,执行一些数据处理,然后将多个表写入另一个RDBMS,如下所示(在Scala中):myDF3.write.mode("append").jdbc(myurl2, outtable3, new java.util.Properties)
我知道从一个表中读取数据可以使用分区进行并行如何并行读取多个表(mytable1、myta