当我执行增量合并逻辑时,有没有一种方法可以设置标志列(I插入,U更新)。我很想知道在每日增量合并逻辑中插入了多少条记录,更新了多少条记录。我的示例数据帧: df_latest = spark.createDataFrame( ('Java', "20000"), # create your data here, be consistent90000'),
('Python', '
我正在尝试用可能在count_2列中的数据替换count_1列中的所有空数据。下面是给定输入的预期输出。我如何在Spark Scala中做到这一点?输入数据帧 name count_1 count_2Python null 20000R nullnull
Swift 50000 65000 输出数据帧 nam