我想从我的csv文件中获取标题(列名),并希望与我现有的标题相匹配。我使用的代码如下: val cc = sparksession.read.csv(filepath).take(1) 它给了我这样的价值: Array([id,name,salary]) 我又创建了一个静态模式,它给了我这样的价值: val ss=Array("id","name","salary&
我正在尝试将一个本地csv文件加载到SparkR中,该文件在列名中包含点。在读取文件后,我尝试更改名称并替换为“。带"_“。我仍然不能在创建的SDF上执行任何操作。下面是可重现的代码:write.csv(iris,"iris.csv",row.names=F)
#reading it back using
Spark语句可以指定文件路径和格式。列名可以使用标头吗?~ > cat test.csv1,2,3scala> spark.sql("SELECT * FROM csv.`test.csv`").show()
19/06/12 23:44:40 WARN ObjectStore: Failed to get data
Spark 1.5和Scala 2.10.6 我有一个使用“π”作为分隔符的数据文件。我很难通过解析来创建一个数据帧。是否可以使用多个分隔符来创建数据框?代码可以处理单个断开的管道,但不能处理多个分隔符。我的代码: val customSchema_1 = StructType(Array( StructFieldStructField("CODE", St