我有spark scala应用程序。我正在尝试使用它内部的Futures来并行化几个独立的操作集。我在期货中调用它们,它们返回给我未来类型的DataFrame,我如何在最后合并它们,并在任何未来类型无法计算的情况下抛出错误。下面是我的代码。当我尝试在onComplete块中应用数据帧的联合时,它显示以下错误
value union is not a member of scala.concurrent.Future[(scal
我正在尝试将csv文件读取到R中的数据框中。我已经设法在定义的文件夹中循环,读取csv文件并分配它们,以便创建一个带有名称的数据帧。但是,如果数据帧已经存在,我似乎不能追加数据。如果数据帧已经存在,我希望将新数据附加到底部,而不仅仅是替换整个数据帧。for (i in 1:length(testPath)) {
我有一个包含字符串列的数据框,我想在其中创建多个列。
我想从它创建多个列。在输出中,我需要多个列- col1 to colN,值作为每列的行。以下是输出-我如何在spark中做到这一点?Scala或Python都适合我。下面的代码创建输入数据帧-
scala> val df = spark.sql(s&q