pyspark dataframe错误：_()缺少1个必需的位置参数：'col‘
pyspark dataframe错误：_()缺少1个必需的位置参数：'col'
这个错误是由于在使用pyspark dataframe时，调用了一个函数_()，但是没有传入必需的位置参数'col'导致的。
解决这个错误的方法是确保在调用_()函数时传入正确的位置参数'col'。根据错误信息，'col'可能是指代列名或者某个列的引用。
以下是一种可能的解决方法：
- 确保你已经正确导入了pyspark模块和相关的函数。
from pyspark.sql import SparkSession
from pyspark.sql.functions import _- 确保你已经创建了SparkSession对象，并加载了需要处理的数据。
spark = SparkSession.builder.appName("example").getOrCreate()
df = spark.read.csv("data.csv", header=True)- 在使用_()函数时，确保传入了正确的位置参数'col'。例如，假设你想对某一列进行操作，可以使用以下代码：
df = df.withColumn("new_col", _(col("old_col")))在这个例子中，_()函数用于对"old_col"列进行操作，并将结果存储在"new_col"列中。
- 如果你需要进一步处理DataFrame，可以继续使用其他pyspark dataframe的函数和操作。
这是一个简单的解决方案示例，具体的解决方法可能因实际情况而异。如果你需要更多关于pyspark dataframe的信息，可以参考腾讯云的相关产品文档和教程：
相关·内容
1回答
pyspark dataframe错误：_()缺少1个必需的位置参数：'col‘
dataframe、pyspark、aggregate、col
有人知道下面的问题是什么吗:代码： def writeDataToDBFS(data: DataFrame, dirName: str): .groupBy(*(ls)).agg(f.count().alias("numCnt")))
writeDataToDBFS(Df, "Df") 错误： _() missing 1 required positional argument: &#x
浏览 3提问于2021-06-28得票数 0
回答已采纳
1回答
如何将熊猫的数据转换成具有rdd属性的火花放电数据？
python、pandas、dataframe、pyspark
现在，我正在为我的课程做一个项目，并发现一个将pandas dataframe转换为pyspark dataframe的问题。我制作了一只名为data_org的熊猫数据图，如下所示。所以我的代码是spark_df = SQLContext.createDataFrame(data_org)
然而，它出了问题TypeError: createDataFrame()缺少</
浏览 0提问于2018-03-29得票数 1
回答已采纳
1回答
使用两个日期列作为范围匹配日期
pyspark
我正在尝试使用pyspark在databricks中创建一个列。我需要检查是否在其他两个日期列之间找到了日期列，如果它是1，则不是0。我想把这个称为基本事实，因为它会告诉我在日期上它是在两个日期列之间找到的。这就是我到目前为止所知道的： df = (df .withColumn("Ground_truth_IE"，when(col("ReadingDateTime").between(col("EventStartDateTime") &
浏览 14提问于2020-10-22得票数 0
回答已采纳
1回答
TypeError:第一个()缺少一个必需的位置参数: DecisionTree.trainClassifier中的“偏移”
pyspark、decision-tree、azure-databricks
我在Azure上用pyspark编写了简单的代码(遵循这个链接-)x='x'data = pd.DataFrame({'a':[1,2,3,41,2,6,2,3,56,1,2,5,1,2,45,1,3,2DecisionTree.trainClassifier(data, numClasses=2, categoricalFeaturesInfo={},impurity='gini', maxDepth=5, maxBins=32
浏览 0提问于2019-04-02得票数 1
1回答
将参数传递给pandas.DataFrame.transform中的函数
python、pandas、dataframe、function、transform
我编写了一个示例，希望在mask_first中将mask_first作为参数传递给pandas.DataFrame.transform。for a in [1,2,3,4,5] for i in range(25)]d = {'col1': a, 'col2': b}def mask_first(df, mask_s
浏览 3提问于2022-02-14得票数 0
回答已采纳
1回答
注解折线图
python、matplotlib
我在注释我的折线图时遇到了麻烦。这是我尝试过的：
frame = pd.DataFrame([int(one.values), int(two.values),int(three.values),int(four.values),int(five.values),int(six.values),int(seven.values),int(eight.values),int(nine.values)],columns=['col'])ax = frame.unstack().plot(marker=&#x
浏览 18提问于2019-05-20得票数 0
回答已采纳
1回答
基于pyspark中其他列的过滤值创建列
pyspark、data-cleaning
我尝试创建一个名为k的新变量，它的值取决于metric是I还是M，否则我想返回一个空值。谢谢你的答复:) ["2", "Mohit", "DU", "I", "4", "2"],["6&quo
浏览 0提问于2022-11-28得票数 0
回答已采纳
1回答
我如何在PySpark中使用星火的PySpark？
apache-spark、pyspark
根据文档，它似乎在sqlContext类中，因此我自然地尝试了这样的方法：但这导致了这个错误：AttributeError: 'SparkSession' object has no attribute 'registerDataFrameAsTable' from pyspark.sqlimport SQLContext
df = SQLContext.re
浏览 0提问于2018-09-25得票数 1
2回答
如何在大熊猫数据栏中应用Lemmatization
python、pandas、dataframe、lemmatization
如果我有以下数据：df = pd.DataFrame(data=d)
col1 col21 swimming 4
我使用的是WordNetLemmatiz
浏览 16提问于2022-02-11得票数 2
回答已采纳
1回答
使用Python或pyspark读取基于位置的CSV文件
python、apache-spark、pyspark
我是Python和它的库pyspark的新手，我需要做一些POC，我需要读取来自上游的CSV文件，我收到的CSV文件没有任何分隔符，它将是一个基于位置的文件。我们可以在Oracle控制文件中这样做，在那里我们可以定义每一列的位置，并检索与在pyspark中相同的值。
我正在使用Apache Spark来处理我的Pyspark或python代码。来自TXT文件<em
浏览 16提问于2019-11-12得票数 1
2回答
用不同的列合并两个星火数据格式，以获得所有列
python、apache-spark、pyspark
1/2021 7/1/2021 Cars 200 COL2021 Cars 200 COL应该包含来自这两个数据的</e
浏览 3提问于2021-08-19得票数 0
回答已采纳
2回答
如何筛选出包含符号的所有行“
python、pyspark
我想过滤掉所有包含符号“在列”"Col1“中的行。11" A123456 A343535 ACol1 Col2252653 A为此，我决定过滤掉所有非数字值：
df.filter(when(is_
浏览 0提问于2019-07-08得票数 1
回答已采纳
1回答
如何使用XMLRPC在Odoo中写入字段？
python、xml、rpc、xml-rpc、odoo-11
我想用write方法重写account_invoice中的一行发票。', Invoice) 错误: rgs，**kwargs)\nTypeError: write()缺少1个必需的位置参数：‘val’\n‘，'message'："write()缺少1个必需的位置参数：’val‘“，'arguments'："wri
浏览 35提问于2021-10-18得票数 0
1回答
错误"TypeError: insert()缺少一个必需的位置参数：'value'“
python、pandas
我正在尝试在以下数据帧中插入一行：earnings_dates_returns = pd.DataFrame(columns=['Stock_name','Announcement_dateStock_name': 'Apple', 'Announcement_date': '2010-01-01'}) TypeError
浏览 1提问于2019-10-23得票数 4
回答已采纳
2回答
to_sql()缺少一个必需的位置参数：“con”
python、python-3.x、pandas、pandasql
我正在尝试将数据加载到sql中，但是我得到了如下错误:-我的计划如下：- data = pd.read_csv(final_path, parse_dates=True, index_col=0)
浏览 1提问于2020-06-13得票数 0
2回答
如果NaNs数等于阈值参数，则删除列。
python、pandas
def drop_cols_na(df, threshold):
硬编码相对简单，但我想创建一个快速程序，根据我选择的输入参数更改何时删除列的阈值。例如:如果nan的数量等于50%、60%，则删除列，等等。
我找到了几个值得效仿的例子。必须在不进行更改的情况下运行的行是df=drop_cols_na(df)，它自然返回一个<
浏览 3提问于2021-05-26得票数 0
回答已采纳
1回答
使用getattr从同一个类中的另一个方法调用方法
python-3.x、methods、getattr
self.the_data_reader()def read_opnosis(self): self.summaries_df=pd.DataFrame(columns=['name','summary']) da
浏览 3提问于2022-05-16得票数 0
回答已采纳
1回答
如何将groupby.first()与transform函数一起使用
python、pandas
我想使用groupby.first()函数来查找组的第一个非空值，并将该值转换为组中的每一行。b','b','c','c','c','c','c'],df=pd.DataFrame(raw_data)
df['col3
浏览 15提问于2019-08-23得票数 5
回答已采纳
1回答
, "time": 1561877014},]df['content'] = pd.to_numeric(df['content'], errors=&#x
浏览 33提问于2020-03-05得票数 2
回答已采纳
1回答
解析电火花中的地址函数
python、apache-spark、pyspark、user-defined-functions、geocoding
我想在PySpark中的dataframe中添加一个列，其中包含通过libpostal库解析的地址。import pyspark.sql.functions as sfdf = spark.read.parquet(path_hdfsdf = df.select("id", "name" ,"street", "cty")\
.wi
浏览 1提问于2021-04-19得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
