腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
pandas数据帧行使用sklearn进行缩放
python
、
python-3.x
、
dataframe
、
scikit-learn
如何将
sklearn缩放器应用于pandas数据帧的所有行。这个问题与相关。
如何将
sklearn缩放器应用于一行的所有值?注意:我知道对于特性缩放来说,在
列
中包含特性和按
列
缩放特性是很正常的,就像refenced问题中那样。然而,我想使用sklearn标度器来预处理可视化数据,在我的例子中,按行扩展是合理的。
浏览 11
提问于2019-11-13
得票数 1
回答已采纳
3
回答
是否将
numpy
数组
转
换为
dataframe
列
?
python
、
pandas
、
numpy
、
dataframe
如何将
numpy
数组
转
换为
dataframe
列
。假设我已经创建了一个空的
dataframe
,df,并且我循环通过代码来创建5个
numpy
数组
。在for循环的每次迭代中,我希望将在该迭代中创建的
numpy
数组
转
换为
dataframe
中的一
列
。为了清楚起见,我不想在每次循环迭代时都创建一个新的数据帧,我只想在现有的
列
中添加一
浏览 6
提问于2017-06-08
得票数 9
2
回答
如何将
pyspark
dataframe
列
转
换为
numpy
数组
python
、
numpy
、
apache-spark
、
pyspark
我正在尝试将一个大约有9000万行的
pyspark
dataframe
列
转换成一个
numpy
数组
。 我需要
数组
作为scipy.optimize.minimize函数的输入。我尝试过转
换为
Pandas和使用collect(),但这些方法非常耗时。 我是
PySpark
的新手,如果有更快更好的方法,请帮助我。 谢谢 这就是我的数据帧的样子。
浏览 138
提问于2019-09-30
得票数 3
回答已采纳
1
回答
如何将
多个
dataframe
列
转
换为
一个
numpy
数组
列
numpy
、
pyspark
、
pyspark-dataframes
我有一个数据帧,如下所示 from
pyspark
import SparkContext, SparkConf,SQLContext config = SparkConfwithColumnRenamed("_2","word1").withColumnRenamed("_3","word2").withColumnRenamed("_4","word3") 现在我需要将第一
列
和其
浏览 18
提问于2019-10-02
得票数 0
回答已采纳
4
回答
PySpark
计算相关性
python
、
apache-spark
、
pyspark
、
apache-spark-sql
、
apache-spark-mllib
我想使用
pyspark
.mllib.stat.Statistics.corr函数来计算
pyspark
.sql.
dataframe
.
DataFrame
对象的两
列
之间的相关性。
如何将
df['some_name']
列
转
换为
rdd of Vectors.dense对象?
浏览 12
提问于2016-06-03
得票数 16
回答已采纳
4
回答
将
numpy
数组
转
换为
数据帧
python
、
pandas
、
dataframe
、
numpy
我有一个
numpy
数组
,我想把它转换成一个
dataframe
。import
numpy
as npnparray = np.array([[1,2,3,4,5],[6,7,8,9,10]])
如何将
其转
换为
数据,其中数据将如下所示
浏览 6
提问于2020-12-15
得票数 1
回答已采纳
1
回答
将
Numpy
数组
追加到
Pyspark
Dataframe
中
python
、
python-3.x
、
apache-spark
、
pyspark
、
apache-spark-sql
我需要在
PySpark
数据帧中追加一个
NumPy
数组
。array_var38mc = np.isclose(train3.select("var38").rdd.flatMap(lambda x: x).collect(), 117310.979016494) 输出是一个对象
numpy
.ndarray,如下面的[True, False, True] 接下来,我尝试附加一个
Numpy
数组
,该
数组
以前是用同一个
PySpark
.
D
浏览 7
提问于2020-12-08
得票数 0
回答已采纳
1
回答
如何在python中从多维
数组
中分配多个变量
python
有一个X
DataFrame
。我想这样做a,b,c。
浏览 3
提问于2021-02-07
得票数 2
回答已采纳
3
回答
将两个
numpy
数组
转
换为
dataframe
python
、
arrays
、
pandas
、
numpy
、
dataframe
我想把两个
DataFrame
数组
转换成一个包含两
列
的
numpy
数组
。第一个
numpy
数组
'images‘的形状是102, 1024。第二个
numpy
数组
'label‘的形状为(1020, )images=np.array(images)l=np.array([images,label]) dataset=pd.
DataFrame
(l
浏览 1
提问于2017-09-23
得票数 9
回答已采纳
2
回答
将具有
Numpy
值的熊猫数据转
换为
pysparkSQL.
DataFrame
python
、
pandas
、
numpy
、
pyspark
、
apache-spark-sql
我使用random.int方法创建了一个2
列
熊猫df,以生成第二个应用groupby操作的第二
列
数据。df.col1是一系列列表,df.col2是一系列整数,列表中的元素类型为‘
numpy
.int 64’,与第二
列
的元素相同,这是random.int的结果。当我尝试使用
pyspark
.sql (Df)创建spark.createDataFrame数据时,会得到以下错误: TypeError: not类型:类型‘
numpy
.int 64’。回到df生成阶段,我尝试了不同的方法将元素从<em
浏览 11
提问于2017-07-31
得票数 2
1
回答
通过agg输出列获取Pandas组
pandas
这是我的密码 df或
列
名称栏可以由任意
浏览 7
提问于2022-04-19
得票数 -1
1
回答
Databricks:
如何将
行的值转
换为
数组
类型
python
、
databricks
假设我有下面的数据帧col1 a b c有什么想法吗?
浏览 16
提问于2019-11-07
得票数 0
1
回答
如何将
表达式iloc从pandas转
换为
Pyspark
Dataframe
?
python
、
pandas
、
pyspark
如何将
pandas表达式转
换为
pyspark
,这似乎不起作用,然后将
dataframe
转
换为
数组
?--+-----+df = df.iloc[-N:, :] #expression in pandas df = df.collect()[-N:][:] # expression in
Pyspark
浏览 11
提问于2021-02-14
得票数 0
回答已采纳
1
回答
如何将
int
数组
转换回熊猫时间戳?
python
、
pandas
、
numpy
我能够将pandas timestamp类型的
numpy
数组
列
转
换为
int
数组
:import pandas as pd # [1547184601000000, 5.1],对于这个
数组
a,我想将
浏览 1
提问于2019-08-15
得票数 0
回答已采纳
2
回答
将
Numpy
数组
加载到单个Pandas
DataFrame
列
python
、
arrays
、
pandas
、
numpy
、
apache-spark
我正在使用
PySpark
并尝试使用CSV来存储我的数据。我将我的
Numpy
数组
转
换为
DataFrame
,格式如下: label | 0 1 2 4 ... 768 1 | 0.12 0.23 0.31 0.72 ... 0.91 依此类推,将
数组
中的“行向量”本身的每个值拆分为单独的
列
。该格式与Spark不兼容,它需要
浏览 18
提问于2020-10-01
得票数 1
2
回答
熊猫:在第n行后新造一栏
pandas
、
dataframe
0990703643686265523我想在第三行之后创建一个新
列
。所以数据应该是这样的。提前谢谢。
浏览 2
提问于2022-10-17
得票数 -1
回答已采纳
1
回答
使用
PySpark
并行化自定义函数
python
、
pyspark
我熟悉使用UDF将自定义函数逐行应用于
DataFrame
。但是,我想知道
如何将
自定义函数并行应用于我的
DataFrame
的不同子集。下面是一个简化的例子:import pandas as pd
浏览 1
提问于2018-07-20
得票数 2
3
回答
numpy
型熊猫阵列的元素提取
python
、
arrays
、
pandas
、
numpy
我有一个熊猫
dataframe
df,它的元素是,每个都是一个完整的
numpy
数组
。例如,'x_grid'
列
的第6行>>> print(e) >>> print(ty
浏览 0
提问于2019-04-04
得票数 3
回答已采纳
2
回答
将字符串列表转
换为
数组
类型
arrays
、
apache-spark
、
pyspark
、
apache-spark-sql
、
type-conversion
我有一个带有string数据类型
列
的
dataframe
,但是实际的表示形式是
数组
类型。import
pyspark
item = spark.createDataFrame([Row(item='fish',geography=['item.printSchema())# |-- item: string (nullable = true) # |-- geography: string (null
浏览 7
提问于2022-04-19
得票数 0
回答已采纳
1
回答
如何将
numpy
数组
存储为
PySpark
DataFrame
中的新
列
?
numpy
、
apache-spark
、
pyspark
、
apache-spark-sql
、
numpy-ndarray
我已经从np.select获得了一个
numpy
数组
,我希望将其存储为
PySpark
DataFrame
中的一个新
列
。我怎么能这么做?from
pyspark
.sql import SparkSession我使用np.select的一些条件和选择如下 np.select(conditions, c
浏览 6
提问于2022-05-25
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
肝了3天,整理了90个Pandas案例
Pandas:Series和DataFrame数据选择方法
Python数据分析之pandas(一)
70个NumPy练习:在Python下一举搞定机器学习矩阵运算
70个NumPy分级练习:用Python一举搞定机器学习矩阵运算
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券