我正在使用Spark1.3.0版本,并在Scala中使用带有SparkSQL的数据格式。在1.2.0版本中,有一个名为"saveAsText“的方法。// sc is an existing SparkContext.// this isused to implicitly convert an RDD to a DataFrame.
import sqlCo
下面是spark-shell脚本,我使用它将csv数据转换为parquet:val sqlContext = new org.apache.spark.sql.SQLContext(sc);
val df = sqlContext.read.format("com.databricks.spark.csv").option("header","true"