我正在尝试从一个列表创建一个简单的DataFrame，并且想要理解其中的逻辑。我在文档中的第一次尝试是sc: pyspark.SparkContext = pyspark.SparkContext(master='local[*]', appName='TestApp')df = spar
浏览 36提问于2021-03-06得票数 0
回答已采纳
0.0, 0.0]), DenseVector([0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0])] File "<stdin>", line 1, in <module>
File "/opt/BIG-DATA/spark-2.0.0-bin-hadoop2.7/python/pysparkimport SparkC
浏览 3提问于2016-12-26得票数 11
回答已采纳
1回答
我有下面的字典列表 [ "type:"check_datatype", "table":"cars","kwargs":{ }]
浏览 4提问于2021-03-30得票数 0
4回答
火花版本: 2.1test_list = [['Hello', 'world'], ['I', 'am', 'fine']]DataFrame[words: array<string>]
浏览 4提问于2017-04-17得票数 31
回答已采纳
我有一个嵌套字典列表，例如ds = [{'a': {'b': {'c': 1}}}]，并希望从它创建一个spark，而则推断嵌套字典的模式。struct (nullable = true)第二个模式可以通过首先将字典转换为JSON，然后像这样的jsonRDD加载它来创建我考虑将字典转换为pyspark.sql.Row()对象，希
浏览 5提问于2015-04-21得票数 8
我有一个火花数据框架，如下所示:每行包含一个列表，我想从中提取一个元素。我非常绿色的火花，所以我把它转换成一个熊猫DataFrame，然后使用地图功能，我提取所需的元素。是否有从每一行访问列表中的值的选项？
谢谢!
浏览 5提问于2021-12-09得票数 1
回答已采纳
我正在使用simple-salesforce包处理从SFDC中提取的数据。我使用Python3编写脚本和Spark1.5.2。我创建了一个包含以下数据的rdd：[('Id', 'a0w1a0000003xAAIStringType,true),StructField(PackSize,StringType
浏览 1提问于2016-01-26得票数 13
我想将两个列表转换为pyspark数据帧，其中列表是各自的列。| a| b|| 1| 2|| 3| 4|+---+---+
有没有一种方便的方法来创建这个结果
浏览 0提问于2018-10-13得票数 3
回答已采纳
我有一个由函数生成的列表。当我在列表中执行print时：我获得：df = sqlContext.createDataFrame(preds_labels, ["prediction", "label"])
不支持的类型:键入“numpy.flo
浏览 1提问于2016-08-07得票数 7
回答已采纳
我需要将JSON的列表转换为pySpark DataFrames。JSON都有相同的架构。问题是JSON中dicts的值条目有不同的数据类型。例如:字段complex是一个Dicts数组，Dict有四个键，但类型不同(整数、字符串、浮点数和嵌套Dict)。参见下面的示例JSON。如果我使用df = spark.createDataFrame(json_list)从jsons中创建我的DataFrame，因为他无法正确地推断模式，所以pyspark“删除”了一些数据。Da
浏览 23提问于2022-03-28得票数 0
回答已采纳
1回答
我希望将存储在pyspark.sql.dataframe.DataFrame "ddf“中的事务按列"key”分组，该列指示事务的来源(在本例中为customer )。分组是一个非常昂贵的过程，因此我想在嵌套模式中将组写入磁盘：
(key, [[c1, c2, c3,...], ...])如何创建嵌套模式并将其写入磁盘？
浏览 6提问于2016-05-14得票数 0
回答已采纳
我正在使用dataframe的pyspark，并希望创建一个嵌套结构，如下所示Column 1 | Column 2 | Column 3
-----------------------
浏览 0提问于2018-09-03得票数 2
回答已采纳
我继承了一个修改pyspark dataframe中一些字符串的程序。其中一个步骤涉及从字符串中的一些单词中删除双/三/等字母，以及一个额外的例外列表，即使它们有重复的字母也会保持不变。目前，这是通过将dataframe转换为具有udf的pandas，然后在读回pyspark之前对生成的pandas dataframe中的字符串应用自定义函数来完成的。连续字符删除函数逐字读取字符串，检查单词是否在例外列表中，如果不在例外列表
浏览 7提问于2021-03-15得票数 0
回答已采纳
我正在尝试将API调用获得的一些数据转换为Pandas.DataFrame()。requests.get(url)for dct in data_as_list:不幸的是，返回的dataframe只包含列名，而根本没有行数据，即使字典中有一些。数据是JSON格式的嵌套字典，看起来像
浏览 3提问于2018-08-06得票数 0
回答已采纳
我正在尝试废弃一个XML文件，并从XML文件上的标签创建一个数据帧。我使用pyspark开发Databricks。<?shorttitle> <shorttitle>shorttitle_4</shorttitle>我的代码似乎从页面中删除了XML并从标记中创建了一个列表，但是当我
浏览 2提问于2018-09-12得票数 2
我正在使用Pyspark2.0通过读取csv来创建一个DataFrame对象，使用：我使用以下命令找到数据的类型type(data)pyspark.sql.dataframe.DataFramefrom
浏览 4提问于2016-09-08得票数 6
1回答
我有一个'type = pyspark.sql.dataframe.DataFrame‘的数据，我想从这个数据df和另一个具有相同类型的数据df1中选择所有列。我从r创建df，这是一个元组列表。AnalysisException: Table或视图未找到: df；第1行pos 43；'UnresolvedRelation * +-‘UnresolvedRelation df，[]，false
我用火花编码，python (pyspark
浏览 4提问于2022-07-08得票数 0
1回答
首先，我要告诉大家，我对火花很陌生。大概我的代码结构就像import sparkSession.implicits._
var tableData = sparkSession.read.jdbc(<JDBC_URL>, <TABLE NAME>, connectionProperties).select("email").where(<CUSTOM CON
浏览 0提问于2017-02-23得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
