腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Pyspark
更新
特征向量
中
的
值
apache-spark
、
pyspark
、
feature-selection
、
countvectorizer
我正在构建文本分类器,并使用spark countVectorizer创建
特征向量
。 现在,为了在BIDGL库中使用这个Vector,我需要将
特征向量
中
的
所有0转换为1。这是我
的
特征向量
,它是一个稀疏向量: vectorizer_df.select('features').show(2)| features+|(1000,[0,1,2,3,4,...|
浏览 22
提问于2019-02-09
得票数 2
回答已采纳
1
回答
需要通过类似于scipy.linalg.eig
的
特征
值
分解在非对称方阵
的
pyspark
中找到
特征向量
python
、
scipy
、
pyspark
、
apache-spark-mllib
、
eigenvector
我有一个一百万乘以一百万
的
方阵。我想在
pyspark
中找到它
的
特征向量
。我知道computeSVD给了我
特征向量
,但这些是通过奇异
值
分解得到
的
,结果是一个密集
的
矩阵,这是一个本地数据结构。我想要scipy.linalg.eig给出
的
结果。 我看到java中有一个使用ARPACK
的
函数EigenValueDecomposition,spark
的
scala api。它会给出与scipy
中</em
浏览 0
提问于2017-09-21
得票数 2
1
回答
基于
PySpark
的
Spark2.3.0实例
中
的
主成分分析
apache-spark
、
pyspark
、
pca
我有一个火花数据,我想使用运行一个简单
的
PCA例子。我看过并注意到了这一点,因为它们将特性转换为向量:>>> data = [(Vectors.sparse(5, [(1, 1.0>>>from
pyspark
.mllib.linalg import Vectors >>>from
pyspark
.mllib.linalg.distributed import RowMatrix>>
浏览 1
提问于2018-03-21
得票数 0
回答已采纳
1
回答
pyspark
SVD
特征向量
与PCA
特征向量
之间
的
区别是什么?
pyspark
、
pca
、
svd
我正在使用(
pyspark
) mllib (Spark 2.2.0)
中
的
奇异
值
分解和主成分分析函数,如以下链接所述:[(2, 2), (3, 1), (2, 2), (1DenseVector([-0.5883, -0.0])][[-0.70710678 -0.70710678]这里有一个问题: spark
中
的
特征向量
到底是什么根据spark文档,“主成分存储
浏览 1
提问于2019-05-07
得票数 2
1
回答
寻找最有可能
的
项目的最佳方法
machine-learning
、
python
、
pyspark
我正在处理大量
的
论文和作者数据集。我正在努力寻找最有可能引用关于未见数据集(https://www.aminer.org/aminernetwork)
的
一篇新论文
的
top-k作者。我
的
设置是用于并行处理
的
Pyspark
。以下是数据集
的
概述:纸张数据集,中间是事实表,然后是作者表。 我
的
想法是从这两个数据集中创建特征,并找到
特征向量
之间
的
相似之处。我不知道如何定义机器学习
中<
浏览 0
提问于2022-01-21
得票数 0
1
回答
允许空
值
的
PySpark
特征向量
python
、
pyspark
、
null
、
vectorization
、
lightgbm
我想在包含空
值
的
数据集上使用
PySpark
中
的
分类器。空
值
出现在我创建
的
功能
中
,比如成功率。我需要保留空
值
,因为我通过熊猫展示了保留空
值
会导致一个更强
的
模型。因此,我不想将零或中间
值
归责于零。我知道vectors可以用来创建
特征向量
,但是当数据包含空
值
时它就不能工作了。我想知道是否有一种方法可以创建一个包含空
值
的</em
浏览 1
提问于2019-02-20
得票数 4
回答已采纳
3
回答
如何将VectorAssembler输出
的
特性映射回Spark
中
的
列名?
python
、
apache-spark
、
machine-learning
、
pyspark
、
apache-spark-ml
我试图在
PySpark
中
运行一个线性回归,并希望为数据集中
的
每一列创建一个包含汇总统计信息(如系数、P
值
和t
值
)
的
表。然而,为了训练线性回归模型,我必须使用Spark
的
VectorAssembler创建一个
特征向量
,现在对于每一行我都有一个
特征向量
和目标列。当我试图访问星火
的
内置回归汇总统计数据时,它们为每个统计数据提供了一个非常原始
的
数字列表,并且无法知道哪个属性对应于哪个
值
,这
浏览 9
提问于2017-03-21
得票数 27
1
回答
PySpark
中
的
深层决策树
pyspark
我使用
PySpark
进行机器学习,我想训练决策树分类器、随机林和梯度增强树。我想尝试不同
的
最大深度
值
,并选择最好
的
通过网格搜索和交叉验证。限制在30
的
原因是什么?有办法增加吗?我使用它与文本数据,我
的
特征向量
是TF-IDFs,所以我想尝试更高
的
值
,以达到最大深度。星火网站
的
代码示例,并作了一些修改:from
pyspark</
浏览 0
提问于2018-04-11
得票数 1
回答已采纳
2
回答
如何在
pyspark
中
获得模型
的
预测
pyspark
、
k-means
、
prediction
我已经使用
pyspark
开发了一个聚类模型,我只想预测一个向量
的
类别,下面是代码 spark = SparkSession.builder.config("spark.sql.warehouse.dirtransformed = model.transform(df_kmeans).select('LCLid', 'prediction') rows = transformed.collect() 假设我有一个要素V
的
向量,我想预测它属于哪个类我尝试了在此链接http:/
浏览 46
提问于2021-01-27
得票数 0
回答已采纳
1
回答
网络
中
具有加权节点
的
pagerank
python-3.x
、
networkx
、
pagerank
如何使用Networkx在计算
中
除了使用边
的
权重之外,还可以使用节点
的
权重?
浏览 2
提问于2017-12-23
得票数 2
2
回答
C和Python
中
特征向量
例程
的
不同结果
python
、
c
、
numpy
、
eigenvector
、
lapacke
所以我注意到,对于所有1s
的
4x4矩阵,我得到了不同
的
答案。0.500000]V4: [+0.866025 -0.288675 -0.288675 -0.288675]V3: +0.707107 -0.707107 -0.000000 +0.000000 C
中
的
使用这是由
浏览 2
提问于2016-12-28
得票数 4
1
回答
基于SparkML梯度提升分类器
的
训练
apache-spark
、
pyspark
、
apache-spark-ml
)).alias('30day_click_through_rate'), col('did_click').alias('label')我对训练梯度提升分类器
的
语法感到困惑但是,我不知道如何将我
的
4个特性列转换成一个向量。因为VectorIndexer假定所有的特性都在一列
中
。
浏览 1
提问于2016-09-15
得票数 0
回答已采纳
1
回答
如何从Spark
的
长表
中
聚合特性
apache-spark
、
hive
、
pyspark
我想要从存储在蜂巢表
中
的
数据构建一个
pyspark
模型。ID | value1 | 1001 | 1022 | 103ID | value1 | (100, 101, 102)这些
值
都是分类特征。对于这个特殊
的
用例,我可以把它们
浏览 3
提问于2016-12-16
得票数 0
回答已采纳
2
回答
我们需要在Matlab
中
对特征
值
进行归一化吗?
matlab
、
eigenvalue
、
eigenvector
在Matlab中使用eig函数时,似乎该函数已经对特征
值
进行了归一化处理。在使用eig函数之后,我们需要编写一些代码来归一化特征
值
吗?
浏览 7
提问于2017-04-18
得票数 0
1
回答
使用主导特征
值
计算
特征向量
eigenvector
我想问一些关于
特征向量
中心性
的
问题。我必须使用幂迭代来计算特征
值
。v = w/lamda; 当我得到单个特征
值
时,我困惑于使用我得到单个特征
值
来计算
特征向量
分数。例如,在我计算特征
值
的
代码
中
,我得到主导特征
值
= 78.50。有了这个特征
值
分数,我想要计算
特征向量
分数。通常,我们总是使用代码来计算特征
值
和
特征向量
,例如:
浏览 2
提问于2012-12-06
得票数 1
1
回答
R
中
奇异
值
分解
的
再现
r
、
svd
、
decomposition
、
singular
trees", "graph", "minors")我可以使用svd()函数对这个矩阵进行奇异
值
分解*% t(V) 我还可以取U矩阵和V矩阵
的
前两列以及S矩阵
的
前两列和行,得到原始数据
的
最小二乘最佳逼近。这与我在上面提到
的
文件
中
相同程序
的
结果是一致
的</em
浏览 3
提问于2016-09-09
得票数 0
回答已采纳
1
回答
主成分分析为什么我们要求向量
的
最大
值
?
statistics
、
linear-algebra
、
data-analysis
、
statsmodels
我试图理解PCA,但我被困在一个特定
的
部分。当w是单位向量时,arg max ||w|| =1表示找到求和
的
最大
值
。但是我不明白为什么我们想要这样,或者如果我们有一个给定
的
矩阵X,那么这些
值
将如何变化,除非我们试图优化每行要点
的
权重?或者我们这样做只是为了把它变成罗利商
的
形式,这样我们就可以使用特征
值
来找到与矩阵相关
的
最大
特征向量
?(它也是最大
的
向量) 为什么我们首先想要最大
的
向量
浏览 1
提问于2015-07-15
得票数 0
1
回答
用直线图求
特征向量
python
、
numpy
、
scipy
我用numpy
的
linalg.eig来寻找矩阵
的
特征
值
和向量。下面的矩阵有一个形式
的
单
特征向量
(t,0)。但是python给了我不同
的
结果:>>> print np.linalg.eig(a) (array([ 2., 2.]), matrix
浏览 3
提问于2015-09-30
得票数 4
1
回答
在python
中
寻找具有稀疏矩阵特定特征
值
的
特征向量
python
、
numpy
、
scipy
、
sparse-matrix
、
linear-algebra
我有一个很大
的
稀疏矩阵,我想找到它
的
具有特定特征
值
的
特征向量
。在scipy.sparse.linalg.eigs
中
,它表示所需
的
参数k:问题是我不知道有多少个
特征向量
对应于我想要
的
特征
值
。在这种情况下我应该怎
浏览 0
提问于2017-05-22
得票数 2
1
回答
如何从NumPy
特征向量
分量
的
复角度消除不连续性?
python
、
numpy
、
complex-numbers
、
eigenvector
、
phase
我在方阵上使用NumPy
的
linalg.eig。我
的
方阵是一个2D域
的
函数,我正在观察它
的
特征向量
在这个区域上
的
一个参数化圆周上
的
复角。只要我考虑
的
路径是光滑
的
,我期望每个
特征向量
的
分量
的
复角是光滑
的
。然而,在某些情况下,Python
的
情况并非如此(尽管在其他编程语言中也是如此)。对于参数M=0 (显示在其对角线上
的
矩阵
浏览 5
提问于2021-05-21
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
手推人工智能中的特征值和特征向量
矩阵的瑰宝:深入挖掘特征值和特征向量,直观地看抽象概念
如何在 Excel 二维表中横向查找最晚更新的非空值?
VLOOKUP函数中的零值处理
为什么输出中的 F 值和 p 值显示为星号?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券