当我从Spark2.0REPL(火花-shell)运行下面的Scala代码时,它会按我的意愿运行,用一个简单的正则表达式拆分字符串。但是,如果我只在Spark2.1中使用一个文字反斜杠,我就会从JVM的regex引擎"Dangling meta character '?' near index 0"中得到错误。我知道这意味着问号没有正确地转义,但是它闻起来好像反斜杠本身必须对第一个Scala和SQL进行转义。
我猜想这对于将控制字符(如换行符)插入
我使用brew安装apache-spark安装了spark本身,它似乎已经安装了apache 2.2.0
但当我运行火星雨时,它就会喷出。/Users/me/anaconda/bin/pyspark: line 24: /Users/bruceho/spark-1.6/spark-1.6.2-bin-hadoop2.6/bin/load-spark-env.sh: No such file
我想在spark中读取CSV,并将它转换为DataFrame,然后用df.registerTempTable("table_name")存储在HDFS中。10] at org.apache.spark.sql.parquet.ParquetRelation2$MetadataCache$$anonfun$refresh$6.apply(newParquet.scala