我的数据文件与Graph Edges相关。每一行的格式都是(src node & dest )。这是我的模式定义的id。我试着读取行，用分隔符('，')分割它，然后把每个元素转换成一个eschema = StructType([StructField("src", StringType(), True), StructFieldlines = sc.textFile(filename)
lines = lines.map(lambda l : map(<e
浏览 52提问于2019-09-15得票数 0
1回答
我有以下Python / Pyspark代码：df = spark.sql(sql_command) ['id', 'level1', 'level2', 'level3', 'specify_facts']
cSchema = Struc
浏览 0提问于2017-08-09得票数 1
1回答
我想用下面的代码在PySpark中创建一个Dataframefrom pyspark.sql.types import *
temp1 = temp('Description1323', 123)
schema = StructType([StructField("DESCStructField(&quo
浏览 1提问于2018-10-01得票数 2
回答已采纳
我无法将RDD数据转换为pyspark中的Dataframe。from pyspark.sql.types import StructType, StructField, StringTypeorg.apache.spark.SparkException:由于阶段失败而中止作业:阶段5.0中的任务0失败1次，
浏览 5提问于2021-04-02得票数 0
我得到了TypeError: StructType无法接受类型中的object 3000from pyspark.sql.functions import *schema = StructType([StructField
浏览 1提问于2021-06-23得票数 0
我尝试创建并使用日期值填充pyspark dataframe。如何在一个步骤中使用date类型的值填充df列？StructType, StructField, IntegerType, StringType, DateType, BooleanType
DfEmployee = spark.createDataFrame(Data, Columns) 给予 TypeError:字段ValidFrom: Date
浏览 41提问于2021-02-23得票数 1
回答已采纳
如何使用以下模式为单个列DataFrame创建均匀分布的回收箱计数：StructType(List(StructField(a,DecimalType(38,0),true)))from pyspark.sql import Row schema这
浏览 4提问于2021-06-09得票数 1
回答已采纳
可从此处()下载的GLoVe预训练词向量具有以下文件格式：
government 0.38797 -1.0825 0.45025 -0.23341 0.086307 -0.25721 -0.18281，其中每行的第一个标记是单词，其余的N列是单词向量的浮点值。N可以是50、100、200或300，具体取决于所使用的文件。上面的例子是针对N=50的(即50维词向量)。如果我使用sep=' '和header=False将数据文件作为csv加载(文件中没有
浏览 2提问于2017-03-23得票数 4
我很难与PySpark合作。我正在尝试读取csv文件，并做一次热编码(目前)。from pyspark.sql import SQLContextfrom pyspark import SparkContext/sql/types.py", line 1366, in _verify_type
ra
浏览 7提问于2017-10-13得票数 0
回答已采纳
我的rdd是由一个整数列表的并行化完成的，而我在转换为数据帧时遇到了问题。它返回"TypeError: StructType无法接受类型中的对象60651“。_jdf.showString(n, int(truncate), vertical))
~\Anaconda3\envs\pyspark_env\lib\site-packages\py4j\java_gatew
浏览 107提问于2021-06-30得票数 1
回答已采纳
在PySpark (v1.6.2)中，当使用指定的模式将RDD转换为DataFrame时，值类型与模式中声明的值类型不匹配的字段将转换为null。from pyspark import SparkContextfrom pyspark.sql.types import StructType, StructFie
浏览 27提问于2016-07-27得票数 0
回答已采纳
我正在使用pyspark从mutli行json对象中提取数据。我能够在文件中读取，但无法解析几何图形列的内容。当我提取模式时，这就是它的样子
StructType(List(StructField(&
浏览 2提问于2021-11-11得票数 1
我目前正在使用Spark1.4.1，并且不能将带有嵌套dict的dict转换为星火DataFrame。我将嵌套的dict转换为Row，但它似乎不接受我的模式。下面是重现我的错误的代码：sqlContext = SQLContext(sc)
example_dict<class 'pyspark.sql.typ
浏览 4提问于2016-11-26得票数 4
回答已采纳
我有以下序言代码，在我的两个场景之间共享：from pyspark.sql.types import *schema = StructType([StructField("col1", LongType())StructField(&qu
浏览 1提问于2022-01-03得票数 0
回答已采纳
我正在读取CSV文件中的数据，然后创建一个DataFrame。但是，当我试图访问DataFrame中的数据时，就会得到TypeError。fields = [StructField(field_name, StringType(), True) for field_name in schema.split(',')]TypeError: StructType不能接受TypeE
浏览 1提问于2017-12-07得票数 1
在pyspark中创建示例数据 from pyspark.sql.types import StructField dataschema = types.StructType([
types.StructField('col1', types.StringTypespark.sparkContext.parallelize
浏览 1提问于2020-05-04得票数 0
回答已采纳
1回答
在执行PySpark代码时，通过提供所需的模式从现有的DataFrame创建DF时，我无法展示在什么情况下会引发以下异常，此代码在Databricks社区平台中执行。请帮助解决将数据框显示为输出的问题。=header).map(lambda x: x.split(','))
from pyspark.sql.types import StructType, StructField, StringTypecolumns = header.split(',&#
浏览 108提问于2021-10-25得票数 0
回答已采纳
2回答
熊猫星火DataFrame系列
、、、、
我有个潘达斯系列的对象.dt.strftime('%y%m%d')/我想直接从Series对象创建一个Spark，而没有中间的Pandas数据 StructField("date_id", IntegerType:
浏览 3提问于2017-11-13得票数 3
回答已采纳
以该网站为例：
df = spark.createDataFrame(dataset)ValueError回溯(最近一次调用)25打印(数据集)-> 27 df =spark.createDataFrame(数据集)29 /databricks/spark/python/pyspark<
浏览 2提问于2019-05-01得票数 1
2回答
问题说明：from pyspark.sql import Row
from pyspark.sql.types import StructType
浏览 4提问于2020-04-05得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
