在Scala、Haskell等FP语言中,使用了纯函数,使编译器能够优化代码。pure function callval c = method3(x,y)
由于method1和method2是纯函数像Haskell这样的语言在其中有一些构造(比如IO ),它告诉函数是纯的还是执行一些IO操作。但是Scala编译器如何检测函数是纯函数呢?
我试图使用Zeppelin (scala)来分析(实际上是可视化的)来自大型文本文件(超过50 GB)的一些数据。web中的示例使用csv文件,每个列的头和数据类型都是已知的。在我的例子中,我有带有“”分隔符的纯数据行。如何像下面的代码那样将数据放入DataFrame中?Record(id.toInt, name)
myFile1.toDF() // DataFrame will have columns