0回答
我有一个pyspark dataframe child，它的列如下：80 70我正在尝试使用IndexedRowMatrix将其转换为numpy矩阵，如下所示：
mat = IndexedRowMatrix(child.select我希望避免转换为pandas dataframe来获取矩阵。usercache&
浏览 0提问于2017-11-29得票数 2
回答已采纳
1回答
我有一个SparkSQL数据帧和2Dnumpy矩阵。它们具有相同的行数。我打算将numpy矩阵中的每个不同数组作为新列添加到现有的PySpark数据帧中。这样，添加到每一行的列表是不同的。例如，PySpark数据帧如下所示 | Id | Name || 1 | Bob || 3| Mike
浏览 16提问于2019-10-05得票数 0
3回答
我有一个numpy矩阵：我需要从arr创建一个PySpark数据帧。我不能手动输入值，因为arr的长度/值将动态变化，因此我需要将arr转换为数据帧。
我尝试了以下代码，但没有成功。TypeError: Can not infer schema for type: <type 'numpy.ndarray'&g
浏览 47提问于2018-01-11得票数 5
回答已采纳
使用JDBC驱动程序，我能够将存储在MySQL中的数据表拉入spark dataframe。然后，我在数据帧上运行来自pyspark mllib的统计相关函数(经过一些转换)，并能够获得一个相关矩阵(类型为numpy.ndarray)，如下所示：我如何利用这个矩阵并创建一个像下面这样的数据帧，这样我就可以将其输入回MySQL：
浏览 2提问于2017-08-10得票数 0
我有一个2d的numpy数组我如何从矩阵中的每一行都是rdd中的一个条目来创建pyspark？使：其中aaData是numpy 2d数组(矩阵)，rddData是从aaData创建的rdd。
浏览 2提问于2016-03-24得票数 4
回答已采纳
我在互联网上找遍了，却找不到如何简单地将spark中的数据帧转换成矩阵，这样我就可以对其进行矩阵运算。
我如何在Spark 2中简单地实现这一点？
浏览 0提问于2017-02-18得票数 2
2回答
我有一个数据帧df。我已经对数据帧执行了decisionTree分类算法。这两列是执行算法时的标签和特征。该模型被称为dtc。如何在pyspark中创建混淆矩阵？features', labelCol = 'label')predictions = dtcModel.transform(test)
from pyspark.mllib.linalgimport Vect
浏览 0提问于2019-10-16得票数 4
我在一个PySpark数据帧中得到了一个距离矩阵，我试图获取数据的上(或下)三角形，并在另一个数据帧中得到结果。例如，我试图将其转换为：
2，1，2，34、3、2、1
0，1，2，30，0，0，1
我研究过numpy，但从我所读到的来看
浏览 0提问于2018-03-01得票数 0
我想要从一个NxM numpy矩阵中生成一个。此数据应该有N行，但只有1列包含大小(1xM)的数组数据。我想转换下面的矩阵
m = np.array([[1, 2], [11
浏览 0提问于2019-07-01得票数 1
回答已采纳
这段代码从以svmlight格式存储的文件中加载数据帧，我可以使用dump_svmlight_file创建这样的文件，但写入文件感觉并不是很“闪亮”。我已经走了这么远：from rdkit.Chem import AllChemimport numpy的RDD中创建一个DataFrame。我想我还需要添加y值，并以某种方式告诉Random forest实现什么是
浏览 0提问于2021-01-15得票数 1
3回答
这是我第一次使用PySpark (Spark2)，我正在尝试为Logit模型创建一个玩具数据帧。我成功地运行了，并希望将我自己的数据传递给它。我试过了：import numpy as npfrom pyspark.mllib.regressionmydf = spark.createDataFrame(df,[&qu
浏览 0提问于2017-07-13得票数 17
回答已采纳
我正在数据库中学习火花放电。我想要生成一个关联热图。from pyspark.sql import SparkSessionimport pandas as pdfrom ggplot import *from pyspark.ml.stat importmyGraph_vector, vector_col)
浏览 1提问于2019-04-06得票数 9
回答已采纳
1回答
我有一个稀疏矩阵(从python函数接收)，我想将其转换为numpy矩阵。numpy矩阵不适合本地内存，我想把它放到pySpark中的RDD中。我一般不太熟悉Spark，因此我不知道如何将本地spase矩阵加载到RDD中。
浏览 2提问于2015-06-17得票数 1
1回答
我有一个很大的pyspark数据框架，其中列是一些产品，行是其随时间变化的价格。我需要计算所有产品的协方差矩阵，但数据太大，无法转换为pandas数据帧，因此我需要使用pyspark进行计算。我已经有了相关矩阵，所以任何使用标准差对角矩阵的方法都是非常受欢迎的。 Here是我的数据帧中两列的一个示例。
浏览 68提问于2021-06-15得票数 0
问:有没有一种快速的方法将2D Numpy矩阵转换为一组Pandas系列？例如，(100 x5) ndarray，到5个系列，每个系列有100行。背景:我需要使用随机生成的不同类型的数据(浮点数、字符串等)创建一个pandas数据帧。目前，对于float，我创建了一个numpy矩阵，对于strings，我创建了一个字符串数组。然后，我将所有这些内容与axis=1结合起来，形成一个数据帧</e
浏览 29提问于2021-04-29得票数 0
回答已采纳
1回答
我有如下图所示的数据框。我需要创建一个Origin-Destination矩阵，其中行轴i将日期作为列，并且在列轴I上将具有“至市政代码”的值，并且填充矩阵的值将是列"count“的值。如何从pandas数据帧中获取矩阵？我尝试将pandas数据帧转换为numpy数组，但不起作用。date', 'from_municipality_code','to
浏览 57提问于2020-10-22得票数 0
回答已采纳
我在pyspark中有所有这些支持库，并且我能够为parent创建数据帧- def xmlReader(root, row, filename):
return xref
df1.head()
浏览 11提问于2019-03-15得票数 0
我有一个pyspark数据帧，我想把它分成多个相等记录的数据帧。我在AWS EMR上执行此任务，不支持pandas或numpy。
浏览 22提问于2019-12-22得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
对象存储
云直播活动推荐
腾讯云开发者
