腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2625)
视频
沙龙
1
回答
如何在
PySpark
中更改
向量
列的d类型?
python
、
pyspark
、
dtype
我有一个
稀疏
的
向量
列,我通过UDF将它转换成
密集
向量
。我想将
向量
值的类型从float32
转
换为
float64 (
PySpark
稠密
向量
标准dtype是float64)。
浏览 4
提问于2022-07-12
得票数 -1
2
回答
在
PySpark
中将
密集
向量
转
换为
稀疏
向量
pyspark
在
PySpark
中有没有从
密集
向量
创建
稀疏
向量
的内置方法?
浏览 2
提问于2017-05-26
得票数 1
0
回答
在
Pyspark
中将
稀疏
向量
转
换为
密集
向量
apache-spark
、
pyspark
、
apache-spark-mllib
、
apache-spark-ml
我有一个
稀疏
向量
,如下所示[SparseVector(13, {0: 1.0,{0: 1.0, 1: 1.0, 3: 1.0, 4: 1.0, 7: 1.0}), SparseVector(13, {1: 1.0, 2: 1.0, 5: 1.0, 11: 1.0})] 我尝试
在
pyspark
2.0.0
中将
其转
换为
密集
向量<
浏览 5
提问于2016-12-26
得票数 6
回答已采纳
2
回答
VectorAssembler只输出到DenseVector?
apache-spark
、
pyspark
我目前正在将一组列转
换为
一列
向量
,然后使用StandardScaler函数将缩放应用于所包含的特性。编辑:我决定只使用一个UDF函数,它将
稀疏
向量
转化为
密集
向量
。有点傻但很管用。
浏览 6
提问于2016-03-07
得票数 9
回答已采纳
1
回答
稀疏
向量
与
密集
向量
PySpark
python
、
apache-spark
、
machine-learning
、
pyspark
、
sparse-matrix
我如何知道是否应该在
PySpark
中使用
稀疏
或
密集
的表示?我理解它们之间的区别(
稀疏
只通过存储非零的索引和值来节省内存),但是从性能上讲,有什么通用的启发式方法来描述什么时候使用
稀疏
向量
而不是
密集
的
向量
呢?是否有一个一般的“截止”维数和0的百分比值,超过这通常是更好地使用
稀疏
向量
?若否,我应如何作出决定?谢谢。
浏览 2
提问于2018-07-17
得票数 4
回答已采纳
1
回答
密集
向量
列到
稀疏
向量
列
apache-spark
、
pyspark
我有一个独特的情况,我需要从DenseVector转到
稀疏
向量
列。我正在尝试实现我在这里找到的SMOTE技术:,但是
在
第44行,由于一个错误,我不得不将它从min_Array[neigh][0] - min_Array[i][0]改为DenseVector(min_Array
浏览 12
提问于2020-02-07
得票数 0
回答已采纳
2
回答
IllegalArgumentException:列的类型必须为struct<type:tinyint,大小为:int、indices:array<int>、values:array<double>>,但实际为双精度。‘
apache-spark
、
pyspark
、
apache-spark-ml
我正在尝试使用两列之间的内置函数来查找菱形统计数据: r = ChiSquareTest.test(df, 'feature1
浏览 1
提问于2020-04-06
得票数 8
回答已采纳
2
回答
稀疏
矩阵与稠密矩阵的
向量
矩阵乘积差
python
、
numpy
、
scipy
、
sparse-matrix
在
一个简单的
向量
矩阵乘法中,当使用scipy.sparse矩阵而不是稠密矩阵时,得到不同的结果/输出格式。例如,我使用以下
密集
矩阵和
向量
:from scipy import sparsemat.T.dot(vec) # array([ 1, 5, 13, 25, 16])我同意,如果
向量
浏览 1
提问于2016-10-29
得票数 0
回答已采纳
2
回答
embedding_column
在
tensorflow中做了什么
tensorflow
、
machine-learning
、
embedding
从文档中看,它似乎是
在
使用嵌入矩阵将像
稀疏
输入
向量
这样的单一编码转
换为
密集
向量
。但这与仅使用完全连接层有何不同?
浏览 0
提问于2018-03-12
得票数 2
1
回答
如何在csr_matrix中获得列的平均值和标准差?
python
、
numpy
、
scipy
、
sparse-matrix
我有一个
稀疏
的988x1
向量
(csr_matrix中的列)是通过scipy.sparse创建的。有没有一种方法可以
在
不将
稀疏
矩阵转
换为
稠密矩阵的情况下获得其均值和标准差?numpy.mean似乎只适用于
密集
向量
。
浏览 0
提问于2013-03-29
得票数 8
回答已采纳
1
回答
比较SparkMlib和Scikit-收集数据帧后学习
apache-spark
、
apache-spark-mllib
我对SparkMlib的使用感到困惑,因为
在
大多数情况下,数据结构仍然是“局部”
密集
/
稀疏
的
向量
/矩阵。收集RDD并将其转
换为
局部
向量
/矩阵
向量
并应用SparkMLib与收集RDD到numpy
向量
并应用Sckit-learn有什么不同?SparkMlib如何获得比Sckit-learn更好的性能?
浏览 0
提问于2016-03-02
得票数 0
1
回答
spark 1.6.1 python 3.5.1构建朴素贝叶斯分类器
python-3.x
、
apache-spark
、
naivebayes
<stdin>", line 1, in <module> File "c:\spark-1.6.1-bin-hadoop2.6\spark-1.6.1-bin-hadoop2.6\python\
pyspark
x = _convert_to_vector(x) File "c:\spark-1.6.1-bin-hadoop2.6\spark-1.6.1-bin-hadoop2.6\python\
pyspark
浏览 9
提问于2016-04-06
得票数 1
2
回答
FlinkML 0.10.1使用
稀疏
向量
进行训练的多元线性回归
vector
、
sparse-matrix
、
logistic-regression
、
apache-flink
、
flinkml
全,java.lang.IllegalArgumentException
浏览 4
提问于2016-02-04
得票数 1
2
回答
将
稀疏
枕木矩阵加载到现有的numpy稠密矩阵中
python
、
numpy
、
scipy
、
numerical-computing
假设我还有一组与numpy矩阵相同维的枕
稀疏
矩阵。有时,我希望将其中一个
稀疏
矩阵转
换为
一个
密集
矩阵,以执行一些
向量
化操作。我是否可以将这些
稀疏
矩阵中的一个加载到A中,而不是每次我想将
稀疏
矩阵转
换为
密集
矩阵时重新分配空间?.toarray()方法可以用于枕
稀疏
矩阵,它似乎没有可选的
密集
数组参数,但可能还有其他方法。
浏览 0
提问于2012-01-27
得票数 1
回答已采纳
2
回答
基于cuSPARSE的
稀疏
加
密集
矩阵运算
matrix
、
cuda
使用cuSPARSE可以添加
稀疏
矩阵和稠密矩阵吗?
在
cuBLAS中,我只是把矩阵当作
向量
来处理,然后使用axpy。cuSPARSE确实有用于
稀疏
/
密集
向量
的axpy,但由于
稀疏
向量
和矩阵具有不同的存储结构,因此不能用于矩阵。
浏览 2
提问于2015-09-21
得票数 1
回答已采纳
1
回答
尝试并行化scikit learn中的参数搜索会导致"SystemError: PyObject_Call中没有错误的空结果“
python
、
scikit-learn
我使用的是scikit Learn14.1中的sklearn.grid_search.RandomizedSearchCV类,运行以下代码时出现错误:X_scaled = min_max_scaler.fit_transform(X.toarray()) parameters = {'kernel':'rbf', 'C':scipy.stats.expon(scale=100)
浏览 0
提问于2014-05-31
得票数 1
1
回答
apache火花理解
密集
向量
vector
、
apache-spark
我的一般理解是,当大多数元素为0时使用
稀疏
向量
,当很少元素为0时使用
密集
向量
。
稀疏
向量
易于压缩。 为什么我们必须将下面的
向量
定义为
密集
向量
?
在
每个
向量
中只有3个元素的情况下,定义稠密
向量
有什么帮助。为什么我们不能把它们当作
向量
呢?
浏览 2
提问于2016-04-10
得票数 0
回答已采纳
1
回答
如何在Scala Spark
中将
稀疏
向量
转
换为
密集
向量
?
scala
、
apache-spark
、
apache-spark-mllib
我有一个
稀疏
向量
:我需要将其转
换为
密集
向量
(应该能够看到所有453个值)。
浏览 1
提问于2016-02-21
得票数 6
回答已采纳
1
回答
Python中的
稀疏
-
密集
乘法
python
、
scipy
、
sparse-matrix
我使用的是Python 3.23,我想把一个
稀疏
的
向量
和一个
密集
的矩阵相乘。首先将
稀疏
向量
展开为
密集
向量
,然后进行乘法,这种想法从任何角度来看都是愚蠢的,除非是mem管理,直到实际展开。另外,有没有人知道让SciPy将一维矩阵保持
在
稀疏
模式的好方法?我唯一使用过的(诚然)是三个
向量
(x,y,值)的经典表示法,所以我不得不使用np.ones(len(...))才能让它正常工作。
浏览 1
提问于2012-11-01
得票数 0
回答已采纳
1
回答
使用ML管道进行字符串匹配时抛出错误,无法执行用户定义的函数($anonfun$1:(vector) => array<vector>)
pyspark
、
string-matching
、
fuzzy-search
我正在尝试对两个数据帧进行字符串匹配。假设dataframe1包含X个句子和dataframe2 Y个句子。我需要检查一下,Dataframe1中的任何句子都与Dataframe2匹配。我正在尝试使用ML管道,如下所示: RegexTokenizer( pattern="", inputCol="name", outputCol="tokens", minTokenLength=1
浏览 2
提问于2019-04-11
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
稀疏特征和密集特征
Chinese Word Vectors:目前最全的中文预训练词向量集合
目前最全的中文预训练词向量集合,NLP“pick”一下?
数学的力量——稀疏矩阵,所有科学都是矩阵乘法
如何使用 Scikit Learn 为机器学习准备文本数据
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券