我有一节课:
case class IDADiscretizer(
nAttrs: Int,
nBins: Int = 5,
s: Int = 5) extends Serializable {
private[this] val log = LoggerFactory.getLogger(this.getClass)
private[this] val V = Vector.tabulate(nAttrs)(i => new IntervalHeapWrapper(nBins, i))
private[this] val randomReservoir = S
我已经安装了pyspark,但没有单独安装任何hadoop或spark版本。
显然,在Windows下,pyspark需要访问Hadoop的winutils.exe来做一些事情(例如,将文件写入磁盘)。当pyspark想要访问winutilis.exe时,它会在HADOOP_HOME环境变量(用户变量)指定的文件夹的bin目录中查找它。因此,我将winutils.exe复制到pyspark (.\site-packages\pyspark\bin)的bin目录中,并将HADOOP_HOME指定为.\site-packages\pyspark\。这解决了获取错误消息的问题:Failed to l