本文中所使用的都是scala语言,对此感兴趣的同学可以看一下网上的教程,不过挺简单的,慢慢熟悉就好:https://www.runoob.com/scala/scala-tutorial.html
DataFrame...这是scala中隐式语法,感兴趣的同学可以参考:https://www.cnblogs.com/xia520pi/p/8745923.html,如果比较难理解的话,那就记得每次都导入这个就好了,或者一旦发现代码中有如下的红色错误的话...最后,我们还可以将一个Scala的列表转化为DF:
val arr = List((1,3),(2,4),(3,5))
val df1 = arr.toDF("first","second")
df1....) = {
import spark.implicits._
import org.apache.spark.sql.types._
import org.apache.spark.sql.Row...,
StructField("string_column", StringType, nullable = true),
StructField("date_column", DateType