1回答
我被指派使用Python语言使用Apache Spark运行一些代码并显示结果，我使用以下步骤安装了Apache Spark服务器：https://phoenixnap.com/kb/install-spark-on-windows我认为问题是应该添加一些与Mlib库相关的东西，这样代码才能正确运行。有人知道应该向spark添加哪些文件才能运行与MLib相关的代码吗？我使用的是Windows 10和spark-3
浏览 27提问于2020-12-02得票数 0
回答已采纳
当我检查Spark MLib时，它包含了有限的分类算法。是否可以将Weka jar文件添加到spark，并在Spark workers上使用其分类算法。
浏览 0提问于2019-12-13得票数 0
我有一个使用spark mlib构建的线性回归模型。现在，我想导出模型并通过web服务使用模型。我正在调查PMML无法找到合适的源代码，因为我如何使用它。我是否需要安装任何特定的PMML库，或者如何安装。有没有人能帮帮我或者给我指出正确的来源？
浏览 0提问于2017-04-27得票数 0
{GraphLoader, VertexId}
val sc = spark.sparkContext
val graph1 = GraphLoader.edgeListFile(spark.sparkContext" %% "spark-cor
浏览 23提问于2019-02-05得票数 0
{Level, Logger}import org.apache.spark.ml.feature.LabeledPoint def main(args: Array[String])
浏览 0提问于2021-01-10得票数 1
回答已采纳
我在Windows 7上安装了Apache Spark，并成功地运行了Scala和Python控制台。我的问题是，如果只是想直接从Scala、Java或Python安装中使用Mlib (机器学习库)，而不使用Spark控制台，那么是否有必要使用控制台。
浏览 0提问于2015-08-14得票数 1
我的spark版本是spark 1.4.0-bin-hadoop2.6.tar或spark 1.5.1-bin-hadoop2.6.tar，这是直接从官方网站下载的，这就是说我不是从源代码构建的。
浏览 6提问于2015-10-27得票数 0
回答已采纳
1回答
工作流
、
我正在尝试在一个庞大的数据集中使用Spark的MLib，而这个数据集是我们目前保存在时间序列数据库中的。假设我们的时间序列数据库中有数据A、B、C、D和E，我想先加载A、B、C，然后进行一些转换，然后将转换后的数据传递到Spark中。有什么建议吗？
浏览 2提问于2016-04-16得票数 1
回答已采纳
3回答
我无法为scala项目在Intellij中导入spark mllib库。我得到了一个决议例外。下面是我的sbt.build
libraryDependencies+= "org.apache.spark" %% "spark-core" % "2.2.1"
浏览 0提问于2018-07-16得票数 0
我使用spark库MultiLayerPerceptron来实现。这个模型给了我一个向量，它是一个权重数组。我知道有一些算法可以从权重推导出相对重要性，但是MLib实现给出了一个大的一维数组，并且没有告诉任何与每个输入对应的权重。有人知道如何获得每个输入节点对应的权重吗？
浏览 5提问于2016-01-13得票数 4
1回答
如何将dataFrameToAdd添加到dataFrameMain中，条件是dataFrameToAdd.lable != dataFrameMain.label，距离res小于0.0002？- latDFval res = math.sqrt(dx*dx + dy*dy)
import org.apache.spark.sql.functions.udf我应该应用转置函数还是包含Mlib矩阵数据结构？
浏览 5提问于2016-03-11得票数 1
回答已采纳
spark版本是2.3.1。
Spark-Mlib库提供了一个BinaryClassificationEvaluator ()类来评估算法，也可以用于网格搜索。
浏览 0提问于2018-10-25得票数 1
我使用Spark中的MLIB库对大小为8G、700万行的数据运行了SVM算法。我在单个节点上以独立模式运行Spark。
我使用/usr/bin/time -v来捕获有关作业的数据。
浏览 0提问于2016-04-30得票数 1
2回答
当我添加它为sbt假设它是一个Scala库，并试图解析它如何将NiFi receiver及其所有依赖项添加到项目SBT文件中？提前谢谢。以下是我的sbt文件内容：
name := "NiFi Spark Test&q
浏览 1提问于2015-11-30得票数 4
如何将JVM选项-Xss512m添加到spark-submit？换句话说，我必须在哪里使用spark.executor.extraJavaOptions和spark.driver.extraJavaOptions
浏览 0提问于2018-04-17得票数 2
1回答
我是spark的新手，正在寻找一些指导:)我看到了其他的SO问题，似乎Ooyala的Spark Job Server解决了我的问题。
浏览 2提问于2015-06-19得票数 1
我想建立一个应用程序，这将运行在本地支持实时数据处理，并需要使用python构建。 需要实时提供的输入，并且是google电子表格的形式(多个用户同时提供数据)。 此外，需要将代码的实时输出写回其相邻列中的电子表格。 也请帮帮我。 谢谢
浏览 17提问于2020-11-05得票数 0
3回答
我正在做一个简单的项目，在apache spark中使用K-Means聚类，我做了一些预处理步骤，如标记化，停止单词删除，和hashingTF。这些是由spark own Tokenization()、StopWordRemover()和HasingTF()执行的。但我想在应用k均值聚类之前执行词干分析。我尝试过openNLP中的一些NLP库。但我不知道如何在spark DataFrame中实现它。有人能教我怎么做吗？
浏览 2提问于2017-05-08得票数 1
我是Spark的新手，我正在尝试在每个输入行中插入一个列，其中包含它所来自的文件名。我见过其他人问类似的问题，但他们所有的答案都使用wholeTextFile，但我正在尝试对较大的CSV文件(使用Spark-CSV库读取)、JSON文件和Parquet文件(不仅仅是小的文本文件)这样做我可以使用spark-shell来获取文件名列表：val names = df.select(inputFi
浏览 0提问于2015-10-23得票数 14
3回答
我对使用Pig加载HCatalog感到很舒服，并且想知道是否有可能使用Spark来代替Pig。不幸的是，我对Spark还很陌生。
你能提供一些关于如何开始的材料吗？有没有什么Spark库可以使用？
浏览 0提问于2014-08-14得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
