我试图过滤流数据,并根据id列的值将数据保存到不同的表中。表,如果值为偶数,则希望将记录保存到testTable_even。这里棘手的部分是我的两个表有不同的列。尝试了多种方法,认为Scala函数具有返回类型Eitherobj1,obj2,但我无法成功,任何指针都会非常感谢。import org.apache.spark.SparkConf
im
我们有包含(大约)20M行和50,000列的数据(静态)。这是一个稀疏数据,我们需要快速读取单个单元格值或给定列(该列的所有行)。输入是一个流数据,我们希望根据来自数据库的值(上面提到的值)聚合输入(最后一个x分钟)。 我们需要一些关于如何实现最低延迟的建议:1.We store the values in the ApacheSpark in
如何联合包含不同列数的两个数据帧A和B,并为数据帧A和B中不常见的列获取空值?我可以看到spark的unionAll不支持此操作,并抛出以下错误
org.apache.spark.sql.AnalysisException: Union can only be performedon tables with the same number of columns, but the left table has 11 c