如何在循环中创建一个pyspark DataFrame？
在循环中创建一个pyspark DataFrame可以通过以下步骤实现：
- 导入必要的库和模块：
from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType, IntegerType- 创建SparkSession对象：
spark = SparkSession.builder.appName("DataFrameCreation").getOrCreate()- 定义DataFrame的模式（schema）：
schema = StructType([
StructField("name", StringType(), True),
StructField("age", IntegerType(), True)
])- 创建一个空的DataFrame：
df = spark.createDataFrame([], schema)- 在循环中迭代数据并添加到DataFrame中：
for i in range(5):
name = "Person " + str(i)
age = i * 10
row = (name, age)
df = df.union(spark.createDataFrame([row], schema))在上述代码中，我们通过循环迭代创建了5个Person对象的数据，并将每个Person对象的姓名和年龄添加到DataFrame中。
完整的代码示例如下：
from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, StringType, IntegerType
spark = SparkSession.builder.appName("DataFrameCreation").getOrCreate()
schema = StructType([
StructField("name", StringType(), True),
StructField("age", IntegerType(), True)
])
df = spark.createDataFrame([], schema)
for i in range(5):
name = "Person " + str(i)
age = i * 10
row = (name, age)
df = df.union(spark.createDataFrame([row], schema))
df.show()这样，我们就在循环中成功创建了一个pyspark DataFrame。
相关·内容
如何在循环中创建一个pyspark DataFrame？在这个循环中，在每次迭代中，我输出2个值print(a1,a2)。现在，我想将所有这些值存储在一个pyspark数据帧中。
浏览 26提问于2021-01-12得票数 0
我知道我可以用 %pyspark
df = sqlContext.sql('select * from train_table') 我可以使用df.registerTempTable('xxx')使df我想知道有什么方法可以在%pyspark中访问%sql结果吗？
浏览 30提问于2019-02-15得票数 0
我目前正在自学Spark programming，并试图用PySpark重新编写一个现有的Python应用程序。然而，我仍然对如何在PySpark中使用常规Python对象感到困惑。我了解Spark中的分布式数据结构，如RDD、DataFrame、Datasets、vector等。Spark有自己的转换操作和动作操作，如.map()、.reduceByKey()来操作这些对象。但是，如果我在PySpark中创建传统的Python数据对
浏览 34提问于2017-03-01得票数 1
回答已采纳
如何在DataFrame中为流PySpark设置架构。from pyspark.sql import SparkSessionfrom pyspark.sql.functions\ .getOrCreate()
# Create DataFrame representi
浏览 3提问于2016-12-29得票数 3
回答已采纳
我有一个PySpark DataFrame，类似：------------|201 |efgh ||133 |mnop|mylist = ['abcd', 'ijkl', 'efgh', 'efgh', 'abcd', 'ijkl', 'ijkl'
浏览 2提问于2019-08-20得票数 1
回答已采纳
1回答
我已经用python写了一些带有sql上下文的代码，即pyspark，通过将csv转换为pyspark dataframe来对csv执行一些操作(df操作，如预处理、重命名列名、创建新列并将其附加到相同的dataframe中等)。有谁能帮我在pyspark的dataframe上写单元测试用例吗？或者给我一些数据帧上的测试用例的来源？
浏览 1提问于2016-04-14得票数 3
然后，当将pyspark.sql.dataframe.DataFrame作为包导入时，我会得到一个错误。Import "pyspark.sql.dataframe.DataFrame" could not be resolvedPylancereportMissingImports
原因何在？
浏览 3提问于2022-10-26得票数 0
1回答
我想根据DataFrame中一行的第一个字符来分割文件。原始数据有一列，数据包括输入样例文件(Pyspark)：我想要一个DataFrame文件名作为数据的分割。文件名放在DataFrame的column2中
浏览 3提问于2019-10-10得票数 1
回答已采纳
= hiveContext.sql("SELECT * FROM my_table")<class 'pyspark.sql.dataframe.DataFrame有一篇优秀的StackOverflow文章展示了如何在PySpark：中执行PCA
在post的'test‘部分，@逃逸创建一个只有一个列(称为“特性”)的da
浏览 1提问于2016-10-06得票数 4
回答已采纳
我在for循环中创建了四个变量，我试图将这些变量写到pyspark中的dataframe中。然后，我想将这个数据写入一个拼图和csv文件中。有没有一种有效的方法。
浏览 2提问于2019-11-16得票数 0
回答已采纳
给定在PySpark中指定用户定义函数的可用方法：
如何才能在dataframe上创建和运行一个用户定义的函数，该函数无需创建一个新列就不返回任何内容？例如:假设您希望并行地将一个dataframe列加载到某个外部持久性存储中。也就是说，不要将整个数据写入HDFS，而是使用一个字段作为键，另一个字段作为将逐行
浏览 0提问于2019-01-17得票数 0
1回答
有一段时间，我在寻找如何将多个列一次重命名为一个PySpark DF，并遇到了如下情况：def rename_sdf(df, mapper={}, **kwargs_mapper，其中通过赋值语句将方法添加到pyspark.DataFrame类中。问题是，我正在创建一个Github来存储我的所有函数和ETL，我认为如果我能够应用上面显示的逻辑，就可以非常容易地创建一个__init__.py模块，在其中实
浏览 6提问于2020-07-09得票数 1
开始在Databricks上使用PySpark，我看到我可以在pandas的同时导入pyspark.pandas。有什么不同吗？我想这不像koalas，对吧？
浏览 13提问于2022-09-20得票数 0
2回答
我有一个pyspark dataframe，其中一些列具有相同的名称。我想将具有相同名称的所有列合并到一列中。例如，输入dataframe： ? 我如何在pyspark中做到这一点？
浏览 57提问于2021-06-18得票数 2
回答已采纳
是否有必要继续触发ml，或者是否有一个技巧来输入长格式数据以触发ml？假设这一步骤是必要的，它似乎无休止地运行在16节点4 cpu上，每个cpu的内存为30 16，cpu利用率为100% (4)。df_groupby = df.groupby('user_id')aggs只是不同列(如f.sum
浏览 1提问于2021-01-28得票数 1
1回答
该文件有多个列，如emp_name、emp_salary、joining_date等。当我们在dataframe中读取该文件时，我们将所有的列作为字符串。我们如何在使用PySpark的Databricks中做到这一点。
浏览 4提问于2022-07-30得票数 -1
回答已采纳
我想要创建一个示例单列DataFrame，但是下面的代码不起作用：
## ValueError
浏览 10提问于2017-12-06得票数 31
回答已采纳
我对最佳实践以及如何在包中创建spark会话感到有点困惑，其中包可以在databricks或local上使用。但是假设我有一个函数，它接受一些数据列表或字典，预期的输出是包含数据的pyspark dataframe。我认为单个会话应该足够了，因此需要检查会话是否存在，如果不存在，则创建一个会话。但我只是不确定如何在函数中做到这一点？ 这是我的代码，为什么它不在一个jupyter笔记本里面，我不知道这是不是最好的方式，anyways..
浏览 2提问于2020-10-31得票数 0
我有点困惑于不同的演员在这个故事: PySpark，SparkSQL，卡桑德拉和火星雨-卡桑德拉连接器。据我所知，星火已经进化了很多，SparkSQL现在是一个关键组件(有了'dataframes')。显然，没有SparkSQL是绝对没有理由工作的，特别是如果连接到卡桑德拉。org.apache.spark.sql.cassandra.CassandraSQLContextcc.setKeyspace("mykeyspace")
val <em
浏览 7提问于2016-02-28得票数 1
如何在Palantir铸造代码工作簿中创建最起码的PySpark DataFrame？
浏览 2提问于2022-08-23得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
