1回答
将Numpy数组追加到Pyspark Dataframe中
python、python-3.x、apache-spark、pyspark、apache-spark-sql
我需要在PySpark数据帧中追加一个NumPy数组。array_var38mc = np.isclose(train3.select("var38").rdd.flatMap(lambda x: x).collect(), 117310.979016494) 输出是一个对象numpy.ndarray，如下面的[True, False, True] 接下来，我尝试附加一个Numpy数组，该数组以前是用同一个PySpark.D
浏览 7提问于2020-12-08得票数 0
回答已采纳
1回答
pandas数据帧行使用sklearn进行缩放
python、python-3.x、dataframe、scikit-learn
如何将sklearn缩放器应用于pandas数据帧的所有行。这个问题与相关。如何将sklearn缩放器应用于一行的所有值？
浏览 11提问于2019-11-13得票数 1
回答已采纳
1回答
如何将表达式iloc从pandas转换为Pyspark Dataframe？
python、pandas、pyspark
如何将pandas表达式转换为pyspark，这似乎不起作用，然后将dataframe转换为数组？--+-----+df = df.iloc[-N:, :] #expression in pandas
df = df.collect()[-N:][:] # expression in Pyspark
浏览 11提问于2021-02-14得票数 0
回答已采纳
1回答
使用PySpark并行化自定义函数
python、pyspark
我熟悉使用UDF将自定义函数逐行应用于DataFrame。但是，我想知道如何将自定义函数并行应用于我的DataFrame的不同子集。下面是一个简化的例子：import pandas as pd
浏览 1提问于2018-07-20得票数 2
2回答
如何将pyspark dataframe列转换为numpy数组
python、numpy、apache-spark、pyspark
我正在尝试将一个大约有9000万行的pyspark dataframe列转换成一个numpy数组。 我需要数组作为scipy.optimize.minimize函数的输入。我尝试过转换为Pandas和使用collect()，但这些方法非常耗时。 我是PySpark的新手，如果有更快更好的方法，请帮助我。 谢谢 这就是我的数据帧的样子。
浏览 138提问于2019-09-30得票数 3
回答已采纳
2回答
如何将numpy数组转换为pyspark dataframe？
python、pyspark、pyspark-dataframes
我想把我的results1 numpy数组转换成一个数据帧。我想将上面的代码转换为pyspark RDD，其中包含标记为"limit“(元组中的第一个值)和"probability”(元组中的第二个值)的列。from pyspark.sql import SparkSession
sc=spark.sparkContext
浏览 45提问于2020-10-28得票数 0
2回答
如何在火花放电中将密集向量的关系式转换成DataFrame？
apache-spark、pyspark、apache-spark-mllib、apache-spark-ml、apache-spark-2.0
0.0, 0.0]), DenseVector([0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0])] raise TypeError("not supported type: %s" % type(obj))from p
浏览 3提问于2016-12-26得票数 11
回答已采纳
3回答
是否将numpy数组转换为dataframe列？
python、pandas、numpy、dataframe
如何将numpy数组转换为dataframe列。假设我已经创建了一个空的dataframe，df，并且我循环通过代码来创建5个numpy数组。在for循环的每次迭代中，我希望将在该迭代中创建的numpy数组转换为dataframe中的一列。为了清楚起见，我不想在每次循环迭代时都创建一个新的数据帧，我只想在现有的列中添加一列。df = pd.dataframe()
浏览 6提问于2017-06-08得票数 9
2回答
无法从列表中创建dataframe : pyspark
python、apache-spark、pyspark、apache-spark-sql
但是，当我想使用以下命令创建一个DataFrame时：我收到一条错误消息：
如果我手动创建列表，我就没有问题。
浏览 1提问于2016-08-07得票数 7
回答已采纳
4回答
将numpy数组转换为数据帧
python、pandas、dataframe、numpy
我有一个numpy数组，我想把它转换成一个dataframe。import numpy as npnparray = np.array([[1,2,3,4,5],[6,7,8,9,10]])
如何将其转换为数据，其中数据将如下所示
浏览 6提问于2020-12-15得票数 1
回答已采纳
1回答
如何将熊猫系列Numpy对象转换成Numpy矩阵？
numpy、pandas、series
我发现很难将熊猫系列的大小M分别包含大小为N的numpy数组转换为MxN大小的矩阵/numpy数组/dataframeimport pandas as pdd = pd.DataFrame({'grp': np.random.randint(1, 10, 1000), 'x':np.random.r
浏览 4提问于2014-10-23得票数 2
回答已采纳
4回答
PySpark计算相关性
python、apache-spark、pyspark、apache-spark-sql、apache-spark-mllib
我想使用pyspark.mllib.stat.Statistics.corr函数来计算pyspark.sql.dataframe.DataFrame对象的两列之间的相关性。如何将df['some_name']列转换为rdd of Vectors.dense对象？
浏览 12提问于2016-06-03得票数 16
回答已采纳
2回答
Numpy中一个矩阵对N的处理
python、arrays、numpy、matrix
给定大小为(n,)的numpy数组，如何将其转换为大小为(n,1)的numpy数组。原因是我试图将矩阵乘成大小为(n,)和(,n)的numpy数组，以获得(n,n)，但当我这样做时：上面说你做不到。作为一个事实，我知道转置(n,)没有任何作用，所以最好改变(n,)并使它们成为(n,1)，并且一起避免这个问题。
浏览 6提问于2014-03-13得票数 4
回答已采纳
1回答
PySpark性能数据帧/向量与Numpy数组
apache-spark、pyspark、apache-spark-sql、numpy-ndarray、pyspark-dataframes
我的项目包括目前在UDF中执行的numpy数组和numpy矩阵之间的许多操作，您认为如果我们使用PySpark的内部结构，我们的性能会有所提高吗？(matrix --> dataframe，numpy array --> dense vectors)谢谢！
浏览 53提问于2020-09-09得票数 1
2回答
ValueError:无法将字符串转换为浮动：“���”
python、dataframe、csv、data-formats
我有一个(2M，23)维numpy数组X。它有一个d类型的<U26，即26个字符的unicode字符串。., '�', '��', '���']], dtype='<U26')X_f = X.astype(float)导入相关软件包from pyspark</e
浏览 0提问于2019-03-26得票数 8
1回答
如何将多个dataframe列转换为一个numpy数组列
numpy、pyspark、pyspark-dataframes
我有一个数据帧，如下所示 from pyspark import SparkContext, SparkConf,SQLContext
config = SparkConfwithColumnRenamed("_2","word1").withColumnRenamed("_3","word2").withColumnRenamed("_4","word3") 现在我需要将第一列和其余列作为n
浏览 18提问于2019-10-02得票数 0
回答已采纳
2回答
ValueError:无法将字符串转换为浮动：“���”
python、numpy、pyspark、python-unicode
我有一个(2M，23)维numpy数组X。它有一个d类型的<U26，即26个字符的unicode字符串。., '�', '��', '���']], dtype='<U26')X_f = X.astype(float)进口相关包裹from pyspark</e
浏览 0提问于2019-03-19得票数 1
回答已采纳
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号