腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(114)
视频
沙龙
1
回答
ParamGridBuilder in
PySpark
不适用于LinearRegressionSGD
machine-learning
、
pyspark
、
linear-regression
、
apache-spark-mllib
、
apache-spark-ml
来自星火的文件:paramGrid = ParamGridBuilder()\.addGrid(lr.elasticNetParam, [0.0, 0.5, 1.0])\但是,将
LinearRegression
浏览 2
提问于2017-10-28
得票数 0
回答已采纳
2
回答
LabeledPoint
在
pyspark
.mllib中的类型转换误差,用于
pyspark
.
ml
中的线性回归模型
pyspark
、
linear-regression
我有以下使用
pyspark
.
ml
包进行线性回归的代码。:U‘IllegalArgumentException:列特性必须是org.apache.spark.
ml
.linalg.VectorUDT@3bfc3ba7类型,但实际上是org.apache.spark.
ml
.linalg.VectorUDT
pyspark
.
ml
中有
LabeledPoint
在
pyspark
.mllib中的替代品吗?from
pyspark
import Spar
浏览 5
提问于2017-02-14
得票数 8
回答已采纳
2
回答
LinearRegression
不支持
pyspark
ML
LabeledPoint
python
、
apache-spark
、
pyspark
、
apache-spark-mllib
、
apache-spark-ml
我正在用
pyspark
学习Spark 3.0.1,并且已经为简单的OLS回归设置了一些数据 data = results.select('OrderMonthYear', 'SaleAmount').rdd.map(lambda row:
LabeledPoint
(row[1], [row[0]])).toDF() 浮点数是我的功能列(int),SaleAmount是响应( OrderMonthYear
LabeledPoint
方法是从
pyspark
.mllib.regression导
浏览 69
提问于2020-12-22
得票数 2
回答已采纳
1
回答
我怎样才能引进弹性网,拉索和岭回归在火花公子?
machine-learning
、
pyspark
、
linear-regression
、
apache-spark-ml
、
lasso-regression
然而,我不知道如何导入Elastic,Lasso和Ridge回归,在
Pyspark
,不能谷歌正确的答案。我只知道在
Pyspark
中使用线性回归。
浏览 1
提问于2020-06-01
得票数 1
1
回答
如何在
PySpark
中运行线性回归并将截距限制为零?
apache-spark
、
pyspark
、
linear-regression
、
intercept
我需要将其转换为
PySpark
。 我希望在
PySpark
中运行线性回归,并指定截距应为0。vectorAssembler.transform(data_input) lr=
LinearRegression
浏览 34
提问于2020-01-08
得票数 0
1
回答
pyspark
运行数据帧的线性回归
python
、
dataframe
、
pyspark
、
linear-regression
import
pyspark
.mllibfrom
pyspark
.mllib.regression import
LabeledPoint
from
pyspark
.sql.functions import *from
pyspark
.
ml
.linalg import Vectors#from
pyspark
.<e
浏览 6
提问于2018-03-01
得票数 1
回答已采纳
2
回答
无法将<class‘
pyspark
.
ml
.linalgs.parseVector’>类型转换为向量
apache-spark
、
pyspark
、
apache-spark-sql
、
apache-spark-mllib
、
apache-spark-ml
row.clicked>>> row.features>>> type(row.features) <class '
pyspark
.
ml
.linalg.SparseVector如果没有传递"isinstance(row.features,Vector)“,我就无法使用映射函数生成
LabeledPoint
。如果有人能解决这个问题,我将非常感激。
浏览 2
提问于2016-12-10
得票数 6
回答已采纳
1
回答
在Python语言中从Spark DataFrame创建labeledPoints
python
、
pandas
、
apache-spark
、
apache-spark-mllib
、
apache-spark-ml
我应该使用python中的哪个.map()函数从spark数据帧创建一组labeledPoints?如果标签/结果不是第一列,但我可以引用它的列名'status‘,那么表示法是什么?def parsePoint(line): dataframe = pd.DataFrame(pd.get_dummies(listmp[1:]).sum()).transpose() dataframe.insert(0, 's
浏览 3
提问于2015-09-14
得票数 14
回答已采纳
1
回答
L1正则化在火花MLlib中的应用
apache-spark
、
machine-learning
、
apache-spark-mllib
、
apache-spark-ml
默认情况下使用:L2正则化
浏览 0
提问于2016-06-05
得票数 3
回答已采纳
1
回答
使用火花放电从火花源labeledPoints创建labeledPoints
pyspark
、
rdd
、
apache-spark-mllib
、
random-forest
在尝试训练随机森林回归模型时,我发现它只接受
LabeledPoint
类型。 有谁知道如何把我的火花DataFrame转换成
LabeledPoint
吗?
浏览 0
提问于2018-06-29
得票数 4
回答已采纳
2
回答
火花随机森林交叉验证误差
python
、
apache-spark
、
pyspark
、
apache-spark-mllib
from
pyspark
.
ml
import Pipelinefrom
pyspark
.
ml
.tuningimport CrossValidator, ParamGridBuilder from
pyspark
.
ml
.evaluation import MulticlassClassificationEvaluator_creat
浏览 4
提问于2016-06-26
得票数 5
回答已采纳
1
回答
将
ML
VectorUDT特性从.mllib转换为.
ml
类型进行线性回归
python
、
apache-spark
、
pyspark
(lambda r:
LabeledPoint
(r[1], [r[0]])) \display(data) print "Test Data : ", testData.count() from
pyspark
.
ml
.regressionimpo
浏览 3
提问于2017-06-14
得票数 5
回答已采纳
3
回答
从numpy矩阵创建Spark数据帧
numpy
、
apache-spark
、
pyspark
、
apache-spark-sql
、
apache-spark-mllib
我试过了:import numpy as npfrom
pyspark
.mllib.regressionimport
LabeledPoint
df = np.concatenate([np.random.randint(0,2, size=(1000)), np.random.randn(1000), 3*np.random.randn(1000)+2, 6*np.random.ra
浏览 0
提问于2017-07-13
得票数 17
回答已采纳
1
回答
如何在Spark MLLib中进行多目标线性回归?
apache-spark
Spark
ML
LinearRegression
似乎是对单一标签的倒退。
LabeledPoint
(label: Double, features: Array[Double]) 然而,对于我的问题,我需要预测
浏览 0
提问于2017-05-25
得票数 1
1
回答
来自mllib的梯度增强树中的类型错误
pyspark
、
apache-spark-mllib
我尝试在一些混合类型的数据上运行梯度增强树算法: [('feature1', 'bigint'), ('label', 'double')] 我尝试了以下几种方法 from
pyspark
.mllib.treeimport GradientBoostedTrees, GradientBoostedTreesModel from
pyspark
.
ml
.feature import
浏览 17
提问于2020-10-28
得票数 0
回答已采纳
1
回答
用MLLib实现线性回归模型的误差保存
python-3.x
、
pyspark
、
apache-spark-mllib
试图将线性回归模型保存到磁盘时,我收到了以下错误:"TypeError: save()接受2个位置参数,但给出了3个位置参数“ 从
pyspark
.sql导入SQLContextsc= SparkContext() lr =
LinearRegression
(featuresCol
浏览 2
提问于2019-10-07
得票数 0
1
回答
如何在火花放电中不使用参数生成器执行交叉验证?
pyspark
、
apache-spark-mllib
from
pyspark
.
ml
.tuning import CrossValidator, ParamGridBuilderlr =
LinearRegression
(regParam=0.1,elasticNet=0.2
浏览 1
提问于2018-10-10
得票数 2
1
回答
pyspark
线性回归模型给出错误此列名必须是数字类型,但实际上是字符串类型
python
、
apache-spark
、
pyspark
我在
pyspark
中建立了一个多标称回归模型,在运行我的线性回归模型后,它给出了这个错误:"IllegalArgumentException: U‘’requirement:列标签必须是NumericType#spilt into two partition lr =
LinearRegression
/
ml
/base.pyc in fit(self,dataset,params
浏览 3
提问于2018-03-08
得票数 1
1
回答
Pyspark
pyspark
.rdd.PipelinedRDD不使用模型
apache-spark
、
pyspark
、
apache-spark-sql
我无法将RDD对象传递给
PySpark
logistic回归模型。我用的是火花2.0.1。任何帮助都将不胜感激。>>> from
pyspark
import SparkContext, HiveContext >>> from
pyspark
.mllib.regression import
LabeledPoint
>>> from
pyspark
.mllib.classification import LogisticRegressionWithLB
浏览 1
提问于2017-06-07
得票数 2
1
回答
Spark.
ml
回归不计算与科学学习相同的模型。
apache-spark
、
scikit-learn
、
apache-spark-mllib
我在scikit中建立了一个非常简单的logistic回归问题--学习和spark.
ml
,结果不同:他们学习的模型是不同的,但是我不知道为什么(数据相同,模型类型相同,正则化是一样的……)。我应该如何设置scikit或spark.
ml
,以找到与其对应的相同模型?import org.apache.spark.
ml
.classification.LogisticRegression import
浏览 3
提问于2017-03-10
得票数 8
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Spark 2.4重磅发布:优化深度学习框架集成,提供更灵活的流式接收器
Uber机器学习平台Michelangelo是如何使用Spark模型的?
Apache Spark 3.0 预览版正式发布,多项重大功能发布
分布式TensorFlow:使用多台GPU服务器,减少神经网络的实验与训练时间
LinkedIn 开源 GDMix:用于训练人工智能个性化模型的框架
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券