本文中所使用的都是scala语言,对此感兴趣的同学可以看一下网上的教程,不过挺简单的,慢慢熟悉就好:https://www.runoob.com/scala/scala-tutorial.html
DataFrame...使用toDF方法,我们可以将本地序列(Seq), 列表或者RDD转为DataFrame。...同样,我们可以将一个RDD转化为DF:
val rdd = spark.sparkContext.parallelize(List(1,2,3,4,5))
val df = rdd.map(x=>(x,...最后,我们还可以将一个Scala的列表转化为DF:
val arr = List((1,3),(2,4),(3,5))
val df1 = arr.toDF("first","second")
df1....3、通过文件直接创建DataFrame对象
我们介绍几种常见的通过文件创建DataFrame。包括通过JSON、CSV文件、MySQl和Hive表。