我试图加载第一个培训文件,但遇到了一个奇怪的错误:
java.io.IOException: Could not read footer: java.lang.RuntimeException: file:/Users/jake/Development/titanicExample/src/main/resources/data/titanic/train.csv is not a Parquet file. expected magic number at
我想将一个分隔符为"|“的文本文件加载到spark中的Dataframe中。一种方法是创建RDD并使用toDF创建数据帧。然而,我想知道我是否可以直接创建DF。到目前为止,我使用的是以下命令
val productsDF = sqlContext.read.text("/user/danishdshadab786/paper2/products/")