腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
to
PySpark
中的字符串方法
python
、
pyspark
我有一个用
pyspark
写的代码。我需要将其
转换
为字符串,然后将其
转换
为日期
类型
,等等。> type(df) > <class '
pyspark
.sql.
dataf
浏览 7
提问于2019-07-07
得票数 0
回答已采纳
1
回答
星星之火1.6:如何将从Scala jar生成的RDD
转换
为吡火花RDD?
java
、
python
、
scala
、
apache-spark
我正在尝试创建一些POC代码,演示如何从
PySpark
调用Scala函数,结果是一个
PySpark
.RDD。sc.parallelize(List.range(1, 10))这就是我在
PySpark
端访问它所做的事情:>>> jrdd = foo.getTestRDD(sc._jsc.sc())>>
浏览 18
提问于2017-05-05
得票数 0
回答已采纳
1
回答
pyspark
.pandas.frame.
DataFrame
与
pyspark
.sql.
dataframe
.
DataFrame
的差异及其
转换
python
、
dataframe
、
pyspark
我找不到关于这一点的任何详细文档,那么
pyspark
.pandas.frame.
DataFrame
和
pyspark
.sql.
dataframe
.
DataFrame
之间有什么区别,在哪里可以找到它们的方法的文档呢另外,如何将其中一个
转换
成另一个,反之亦然?
转换
它们总是无缝的还是某些数据
类型
不被识别?
浏览 6
提问于2022-09-12
得票数 1
回答已采纳
2
回答
如何创建空的考拉df
python
、
spark-koalas
我正在尝试使用以下命令创建空的考拉
DataFrame
但是我得到了以下错误我也尝试了执行命令,但发现了类似的错误 df = ks.
DataFrame
(columns=['col1
浏览 3
提问于2020-08-24
得票数 0
1
回答
pyspark
错误:'
DataFrame
‘对象没有属性'map’
apache-spark
、
spark-dataframe
、
apache-spark-2.0
我正在使用
Pyspark
2.0通过读取csv来创建一个
DataFrame
对象,使用:我使用以下命令找到数据的
类型
type(data)
pyspark
.sql.
dataframe
.
DataFrame
我正在尝试将数据中的一些列
转换
为LabeledPoint,以便应用分类。from
pyspark
.sql.types import *
浏览 4
提问于2016-09-08
得票数 6
1
回答
声明字段
类型
和实际字段
类型
不匹配时生成空值的
PySpark
SQLContext.createDataFrame
apache-spark
、
pyspark
、
apache-spark-sql
在
PySpark
(v1.6.2)中,当使用指定的模式将RDD
转换
为
DataFrame
时,值
类型
与模式中声明的值
类型
不匹配的字段将
转换
为null。from
pyspark
import SparkContextfrom
pyspark
.sql.types import StructTypesqlContext.createDataFrame(rdd, schema
浏览 27
提问于2016-07-27
得票数 0
回答已采纳
1
回答
星火
DataFrame
如何区分不同的VectorUDT对象?
apache-spark
、
dataframe
、
pyspark
、
apache-spark-mllib
、
apache-spark-ml
我正在尝试理解
DataFrame
列
类型
。当然,
DataFrame
不是一个物化的对象,它只是一组Spark的指令,将来要
转换
成代码。但我认为,这个
类型
列表代表了在执行操作时JVM中可能出现的对象
类型
。import
pyspark
import
pyspark
.sql.functions as Fd'> DenseVect
浏览 1
提问于2016-07-31
得票数 7
回答已采纳
1
回答
如何将spark
dataframe
中的String
类型
列
转换
为Pandas
dataframe
中的String
类型
列
pandas
、
apache-spark
、
pyspark
我有一个从熊猫数据帧创建的样本spark数据帧-from
pyspark
.sql.types import StringType spark = SparkSessionfirst and then create pandas
dataframe
from
浏览 3
提问于2020-09-09
得票数 0
1
回答
如何在databricks notebook中将
pyspark
.sql.
dataframe
.
DataFrame
转换
回SQL表
python
、
sql
、
apache-spark
、
pyspark
、
databricks
我通过执行以下行创建了
pyspark
.sql.
dataframe
.
DataFrame
类型
的数据帧:
dataframe
= sqlContext.sql("select * from my_data_table") 如何将其
转换
回可以运行sql查询的sparksql表?
浏览 0
提问于2016-08-20
得票数 10
回答已采纳
1
回答
将向量列添加到吡咯
DataFrame
中
apache-spark
、
dataframe
、
pyspark
、
apache-spark-ml
如何将Vectors.dense列添加到
pyspark
中?import pandas as pdfrom
pyspark
.sql import SQLContext py_df = pd.
DataFrame
.from_dict({"time": [59., 115., 156., 421.], "event": [1
浏览 1
提问于2018-04-14
得票数 1
回答已采纳
1
回答
使用createOrReplaceTempView错误“找不到渲染器”
python
、
pyspark
、
apache-spark-sql
我用过的图书馆:from awsglue.utils import getResolvedOptionsfrom awsglue.dynamicframe import DynamicFramefrom
pyspark
.sql.types import * from <em
浏览 12
提问于2022-09-05
得票数 0
1
回答
spark将日期时间
转换
为时间戳
apache-spark
、
datetime
、
pyspark
、
timestamp
我在
pyspark
dataframe
中有一个列,它的格式是2021-10-28T22:19:03.0030059Z (字符串数据
类型
)。如何在
pyspark
中将其
转换
为时间戳数据
类型
?我正在使用下面的代码片段,但它返回空值,因为它无法
转换
它。有没有人能推荐一下如何
转换
这个?
浏览 173
提问于2021-11-05
得票数 1
2
回答
熊猫数据
转换
为
PySpark
的问题?
python
、
python-2.7
、
pandas
、
pyspark
、
pyspark-sql
所以我试着把熊猫的数据
转换
成一个RDD,如下所示:spDF = sqlContext.createDataFrame(df['A'是否知道如何将特定的熊猫数据栏
转换
为
Pyspark
?更新:new_
dataframe
= df_3.loc[:,'A'] new_
dataframe
.he
浏览 4
提问于2016-03-17
得票数 1
回答已采纳
1
回答
pyspark
.pandas API:构造共生矩阵,.dot()不支持数据作为输入。
python
、
pandas
、
apache-spark
、
pyspark
我试图使用
pyspark
.pandas API在数据库上构造数据的共生矩阵。该代码在熊猫中运行良好,但在使用
pyspark
.pandas时出现了错误。coocc = psdf.T.dot(psdf)我得到了这个错误我查过医生了。
pyspark
.pandas.
DataFrame
.dot() 以串联作为输入。我尝试使用psdf.squeeze()将
dataframe
<em
浏览 8
提问于2022-10-14
得票数 0
回答已采纳
2
回答
如何在火花放电中将密集向量的关系式
转换
成
DataFrame
?
apache-spark
、
pyspark
、
apache-spark-mllib
、
apache-spark-ml
、
apache-spark-2.0
0.0, 0.0, 0.0]), DenseVector([0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0])]from
pyspark
.sql import SQLContext, Row from
pyspark
.ml.feature impo
浏览 3
提问于2016-12-26
得票数 11
回答已采纳
2
回答
PySpark
dataframe
到python不带嵌套字典列表
python
、
pandas
、
dataframe
、
pyspark
|-- confidence: string (nullable = true)我正在尝试将其
转换
为在火星雨中:
转换
为python
dataframe
:python
浏览 4
提问于2022-03-10
得票数 0
2
回答
如何在
Pyspark
中使用Scala类
python
、
scala
、
apache-spark
、
pyspark
、
apache-spark-sql
我已经搜索了一段时间了,如果有任何方法在
Pyspark
中使用一个
Pyspark
类,我还没有找到任何关于这个主题的文档或指南。假设我在Scala中创建了一个简单的类,它使用了一些apache-spark库,如下所示: def exe():
DataFrame
= { df.select(col(c
浏览 3
提问于2016-03-15
得票数 29
回答已采纳
1
回答
如何将
dataframe
列
转换
为字典
python
、
pyspark
:"BTR.DAILY_BTR.ESHOP.JSC_MON","login":"0015471"} sparam = t1.select(col('ADD_PARAMS').cast('string'))它显示
类型
为
dataframe
:
pyspark
.sql.
dataframe
.
浏览 4
提问于2022-04-26
得票数 0
3
回答
pyspark
将
dataframe
列从时间戳
转换
为"YYYY-MM-DD“格式的字符串
apache-spark
、
pyspark
在
pyspark
中,有没有办法将时间戳数据
类型
的
dataframe
列
转换
为格式为'YYYY-MM-DD‘格式的字符串?
浏览 3
提问于2018-02-22
得票数 14
回答已采纳
2
回答
RDD[string]:将
DataFrame
转换
为
pyspark
python
、
apache-spark
、
dataframe
、
pyspark
、
apache-spark-sql
我想将
pyspark
.sql.
dataframe
.
DataFrame
转换
为
pyspark
.rdd.RDD[String]data = df.rddtype (data)新的RDD data包含Rowtype(first)R
浏览 2
提问于2016-02-17
得票数 8
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
为什么需要Pandas的DataFrame类型
Python dataframe更改数据类型
类型转换
遇见YI算法之初识Pyspark(二)
go类型转换断言与转换
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券