鉴于Groovy具有与Scala相同的大部分功能,我们是否可以编写Groovy程序来导入并在Groovy中进行科学计算。据说Apache Spark是用Scala编写的,spark为用Java或Scala编写客户端代码提供了完全相同的库。例如:
在Groovy (或Java)中
org.apache.spark.mllib.linalg.Matrix mat =
new org.apache.spark.mllib.linalg.DenseMatrix(2,2, [1,2,3,4] as double[])
在Scala中:
val mat: mat:org.apache.spark.m
我在KMeans.train()内部遇到一个异常,如下所示:
java.lang.IllegalArgumentException: requirement failed
at scala.Predef$.require(Predef.scala:212)
at org.apache.spark.mllib.util.MLUtils$.fastSquaredDistance(MLUtils.scala:487)
at org.apache.spark.mllib.clustering.KMeans$.fastSquaredDistance(KMeans.scala:589)
a
我正在尝试从(大型)文本文档集合()上运行一个KMeans在MLLib上。文档通过Lucene分析器发送,稀疏向量由HashingTF.transform()函数创建。无论我使用的并行化程度如何(通过合并函数),KMeans.train总是在下面返回一个OutOfMemory异常。对如何解决这个问题有什么想法吗?
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at scala.reflect.ManifestFactory$$anon$12.newArray(Manifest.sca
在Ubuntu14.04中运行make-distribution.sh时,MLlib中的Spark1.3.1安装失败
Java -version:java version "1.7.0_80" Java(TM) SE Runtime Environment (build 1.7.0_80-b15) Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)
Scala -version:Scala code runner version 2.10.4 -- Copyright 2002-2013, LA
我正在使用决策树算法,我得到了以下错误。我有500多个特性。这有问题吗?任何帮助都是最好的!
java.lang.UnknownError: no bin was found for continuous variable.
at org.apache.spark.mllib.tree.DecisionTree$.findBin$1(DecisionTree.scala:492)
at org.apache.spark.mllib.tree.DecisionTree$.org$apache$spark$mllib$tree$DecisionTree$$findBinsForLe
我正在尝试使用MlLib进行结肠过滤。
在ApacheSpark1.0.0中运行Scala程序时,会遇到以下错误。
14/07/15 16:16:31 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
14/07/15 16:16:31 WARN LoadSnappy: Snappy native library not loaded
14/07/15 16:16:31 IN
16/01/13 15:34:07 INFO DAGScheduler: Job 3 finished: first at RowMatrix.scala:65, took 0.013421 s
Exception in thread "main" java.lang.IllegalArgumentException: Argument with more than 65535 cols: 262144
at org.apache.spark.mllib.linalg.distributed.RowMatrix.checkNumColumns(RowMatrix.sca
当我尝试Apache来解决多类分类问题时,我得到了以下错误。有谁能解释一下是否有一种方法可以使用Apache Spark MLlib进行支持向量机多类分类?
Exception in thread "main" org.apache.spark.SparkException: Input validation failed.
at org.apache.spark.mllib.regression.GeneralizedLinearAlgorithm.run(GeneralizedLinearAlgorithm.scala:251)
at org.apache.
在齐柏林飞艇中运行星火平分kmmeans算法。
//I transform my data using the TF-IDF algorithm
val idf = new IDF(minFreq).fit(data)
val hashIDF_features = idf.transform(dbTF)
//and parse the transformed data to the clustering algorithm.
val bkm = new BisectingKMeans().setK(100).setMaxIterations(2)
val model = bkm
我正在关注关于LDA示例的教程视频,我得到了以下问题:
<console>:37: error: overloaded method value run with alternatives:
(documents: org.apache.spark.api.java.JavaPairRDD[java.lang.Long,org.apache.spark.mllib.linalg.Vector])org.apache.spark.mllib.clustering.LDAModel <and>
(documents: org.apache.spark.rdd.RDD
我试图运行MLLIB的随机森林模型,并获得一些超出界限的异常:
15/09/15 01:53:56 INFO scheduler.DAGScheduler: ResultStage 5 (collect at DecisionTree.scala:977) finished in 0.147 s
15/09/15 01:53:56 INFO scheduler.DAGScheduler: Job 5 finished: collect at DecisionTree.scala:977, took 0.161129 s
15/09/15 01:53:57 INFO rdd.MapPartiti
我在Mac上本地使用Spark。我的版本是2.2.1,我正在尝试使用这个链接使用朴素贝叶斯复制分类示例- https://spark.apache.org/docs/2.2.1/ml-classification-regression.html#naive-bayes 为此,我无法加载示例数据 import org.apache.spark.ml.classification.NaiveBayes
import org.apache.spark.ml.evaluation.MulticlassClassificationEvaluator
// Load the data stored i
我正在尝试从Java中的Apache示例mlib推荐器构建一个示例推荐程序,但是当我构建它时(在IDEA intellij中),输出日志显示
线程"main“java.lang.AbstractMethodError中的异常
at org.apache.spark.Logging$class.log(Logging.scala:52)
at org.apache.spark.mllib.recommendation.ALS.log(ALS.scala:94)
at org.apache.spark.Logging$class.logInfo(Logging.scala:59)
at
我在shell中使用了随机森林的星星之火实现,这个导入运行良好:
import org.apache.spark.mllib.tree.RandomForest
但是,当我试图将它编译成一个独立的文件时,它会失败。确切的错误是:
5: object RandomForest is not a member of package org.apache.spark.mllib.tree
我也在我的sbt文件中包含了mllib,所以有人能告诉我这个错误是从哪里产生的吗?我的代码:
import org.apache.spark.SparkContext
import org.apache.spark
我正在尝试运行来自的示例pyspark PCA代码
我在DataFrame上加载了5,000,000条记录,23,000个特征。运行PCA代码后,我得到了以下错误
Py4JJavaError: An error occurred while calling o908.fit.
: java.lang.OutOfMemoryError
at java.io.ByteArrayOutputStream.hugeCapacity(ByteArrayOutputStream.java:123)
at java.io.ByteArrayOutputStream.grow(ByteArra
我用的是电火花
我读取了一个libsvm文件,转换它,然后再保存它。
我将每个数据行保存为具有稀疏数据的对象。
我尝试使用MLUtils.saveaslibsvm,而不是使用MLUtils.loadlibsvm读取文件,并得到以下错误
ValueError:无法将字符串转换为浮动:[
在org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:193) at org.apache.spark.api.python.PythonRunner$$anon$1.(PythonRDD.scala:234) at org