在pyspark中使用dataframe show方法时出错
可能是由于以下原因之一：
- 数据量过大：如果DataFrame中包含大量的数据，show方法可能会导致内存溢出或超时错误。解决方法可以是使用limit方法限制显示的行数，或者使用其他方法如head方法来查看部分数据。
- 列名或数据类型错误：show方法在显示DataFrame时需要正确的列名和数据类型。如果列名错误或者数据类型不匹配，show方法可能会抛出异常。确保列名和数据类型正确无误，可以通过使用printSchema方法来查看DataFrame的结构。
- 网络连接问题：show方法在显示DataFrame时需要与Spark集群进行通信。如果存在网络连接问题，show方法可能会失败。确保网络连接正常，并且Spark集群可用。
- 其他错误：如果以上原因都不是问题所在，可能是由于其他未知的错误导致的。可以查看错误信息以获取更多的上下文信息，并尝试搜索相关错误信息以找到解决方法。
总结起来，解决在pyspark中使用dataframe show方法出错的问题，可以从以下几个方面入手：检查数据量是否过大，确保列名和数据类型正确，检查网络连接是否正常，查看错误信息以获取更多上下文信息，并尝试搜索相关错误信息以找到解决方法。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark：https://cloud.tencent.com/product/spark
- 腾讯云数据仓库（TencentDB for TDSQL）：https://cloud.tencent.com/product/tdsql
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云数据库MongoDB：https://cloud.tencent.com/product/mongodb
- 腾讯云云数据库Redis：https://cloud.tencent.com/product/redis
- 腾讯云云数据库MySQL版：https://cloud.tencent.com/product/cdb_mysql
- 腾讯云云数据库PostgreSQL版：https://cloud.tencent.com/product/cdb_postgresql
- 腾讯云云数据库MariaDB版：https://cloud.tencent.com/product/cdb_mariadb
- 腾讯云云数据库SQL Server版：https://cloud.tencent.com/product/cdb_sqlserver
- 腾讯云云数据库Oracle版：https://cloud.tencent.com/product/cdb_oracle
- 腾讯云云数据库TDSQL-C（MySQL兼容版）：https://cloud.tencent.com/product/tdsqlc
- 腾讯云云数据库TDSQL-P（PostgreSQL兼容版）：https://cloud.tencent.com/product/tdsqlp
- 腾讯云云数据库TDSQL-M（MariaDB兼容版）：https://cloud.tencent.com/product/tdsqlm
- 腾讯云云数据库TDSQL-S（SQL Server兼容版）：https://cloud.tencent.com/product/tdsqls
- 腾讯云云数据库TDSQL-O（Oracle兼容版）：https://cloud.tencent.com/product/tdsqlo
相关·内容
1回答
PySpark数据显示错误的值
、、、、
我刚刚从Pandas转到了PySpark dataframe，发现在PySpark dataframe中打印出相同的列会给出错误的值。下面是一个例子:使用Pandas：
df_pandas=pd.read_csv("crime.csv", low_memory=False)
print(df_pandas["CRIMEID"].head(5))
Output:
1321797
1344185
1181882
1182632
1195867
而使用PySpark数据帧：
df_spark = sqlContext.read.format('csv'
浏览 1提问于2018-02-27得票数 0
回答已采纳
到目前为止，Spark还没有为流数据创建DataFrame，但是当我进行异常检测时，使用DataFrame进行数据分析更方便、更快。我已经做了这一部分，但是当我尝试用流式数据进行实时异常检测时，问题就出现了。我尝试了几种方法，但仍然无法将DStream转换为DataFrame，也无法将DStream中的RDD转换为DataFrame。
下面是我最新版本的代码的一部分：
import sys
import re
from pyspark import SparkContext
from pyspark.sql.context import SQLContext
from pyspark.sql
浏览 2提问于2016-02-06得票数 10
回答已采纳
我正在尝试从一个简单的Pandas DataFrame构建一个火花DataFrame。这是我遵循的步骤。
import pandas as pd
pandas_df = pd.DataFrame({"Letters":["X", "Y", "Z"]})
spark_df = sqlContext.createDataFrame(pandas_df)
spark_df.printSchema()
直到这一点，一切都好。产出如下：
根部
-字符串(nullable = true)
当我试图打印DataFrame时，问题就来了：
浏览 0提问于2019-02-14得票数 12
回答已采纳
当我添加多个列时，它会抛出错误，我们正在尝试Spark DataFrame selectExpr及其为一列工作。
第一个是有效的，第二个是抛出错误。
代码示例：
df1.selectExpr("coalesce(gtr_pd_am,0 )").show(2)
df1.selectExpr("coalesce(gtr_pd_am,0),coalesce(prev_gtr_pd_am,0)").show()
错误日志：
>>> df1.selectExpr("coalesce(gtr_pd_am,0),coalesce(prev_gtr
浏览 3提问于2018-08-20得票数 0
回答已采纳
2回答
我在java中有一个类，它构建了一些复杂的星火DataFrame。
package companyX;
class DFBuilder {
public DataFrame build() {
...
return dataframe;
}
}
我将这个类添加到pyspark/木星类路径中，这样它就可以被py4j调用。现在，当我称之为它时，我得到了奇怪的类型：
b = sc._jvm.companyX.DFBuilder()
print(type(b.build()))
#prints: py4j.java_gateway.JavaObject
VS
浏览 0提问于2018-03-14得票数 1
回答已采纳
2回答
我想把mysql和pyspark连接起来。我正在使用jupyter笔记本来运行pyspark。然而，当我这样做的时候，
dataframe_mysql = sqlContext.read.format("jdbc").options(
url="jdbc:mysql://localhost:3306/playground",
driver = "com.mysql.jdbc.Driver",
dbtable = "play1",
user="root",
password=&
浏览 29提问于2018-08-21得票数 6
当我迭代地将500多个列添加到我的pyspark中时，我遇到了堆栈溢出错误。所以我包括了检查点。检查站帮不上忙。因此，我创建了下面的玩具应用程序来测试我的检查点是否正常工作。在这个例子中，我所做的就是一次又一次地复制原始列来迭代地创建列。我坚持，检查点和计数每10个迭代。我注意到我的dataframe.rdd.isCheckpointed()总是返回False。我可以验证检查点文件夹确实是在磁盘上创建和填充的。我在用哥库德的dataproc
这是我的代码：
from pyspark import SparkContext, SparkConf
from pyspark import Stora
浏览 1提问于2017-11-16得票数 1
回答已采纳
我有一个dataframe，我想检查它的列中是否至少包含一个关键字：
from pyspark.sql import types as T
import pyspark.sql.functions as fn
key_labels = ["COMMISSION", "COM", "PRET", "LOAN"]
def containsAny(string, array):
if len(string) == 0:
return False
else:
return (any(wor
浏览 2提问于2020-05-06得票数 2
回答已采纳
1回答
我试图从VerticaDb中获得数据，但是我有错误，称为类，而不是找到异常。
错误：Py4JJavaError:调用o165.load时出错。：com.vertica.spark.datasource.VerticaSource.：java.lang.ClassNotFoundException:未能找到数据源：
我的密码在这里：
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext, SparkSession
from pyspark import sql
# Create the sp
浏览 7提问于2022-10-13得票数 0
我可以在Azure Databricks中使用PySpark执行一个简单的SQL语句，但是我想执行一个存储过程。下面是我尝试过的PySpark代码。
#initialize pyspark
import findspark
findspark.init('C:\Spark\spark-2.4.5-bin-hadoop2.7')
#import required modules
from pyspark import SparkConf, SparkContext
from pyspark.sql import SparkSession
from pyspark.sql impo
浏览 5提问于2020-02-23得票数 5
调用下面的对象时出错是在不丢失空值的情况下分解dataframe中的数组，但在调用列时我得到错误，说对象没有属性‘_ code.This _ object _id’。需要帮助，在其他方式调用列，可以工作。
from pyspark.sql import SparkSession
from pyspark.sql import DataFrame
from pyspark.sql import Row
from pyspark.sql.types import ArrayType
from pyspark.sql.functions import *
from functools import
浏览 2提问于2018-07-05得票数 2
我在Windows 10上使用Spark 2.4和Ignite 2.8 当我把pyspark dataframe放到点火表中时，它保存得很好。 但是，当我将这些数据从Ignite读回Pyspark时，dataframe又回到了系统默认编码(CP1251)。我不明白如何用正确的编码重新获得正确的数据。 以下是示例代码： import pandas as pd
import pyspark
import os
# Starting local SPARK
os.environ['PYSPARK_SUBMIT_ARGS'] = " --driver-memory 18g
浏览 13提问于2020-04-09得票数 0
回答已采纳
3回答
在EMR上，我很难使用Hue/Zeppelin中的pySpark访问Glue数据目录中的表。我试过emr-5.13.0和emr-5.12.1。
我试着遵循，但是当试图导入GlueContext时，会出错，并声明为No module named awsglue.context.
另一个注意事项是，在执行spark.sql("SHOW TABLES").show()时，它对于Hue/Zeppelin来说是空的，但是当使用主节点上的pyspark时，我能够从Glue数据目录中看到和查询该表。
任何帮助都是非常感谢的，谢谢！
浏览 1提问于2018-04-16得票数 2
回答已采纳
1回答
是否有可能发送一个火花数据作为一个论据给熊猫UDF和得到一个熊猫的数据作为回报。下面是我正在使用的示例代码集，并且在调用函数时出错：
import pandas as pd
from pyspark.sql import SparkSession
from pyspark.sql.functions import pandas_udf
spark = SparkSession \
.builder \
.appName("PrimeBatch") \
.master("local[*]") \
.getOrCreate()
浏览 4提问于2020-11-26得票数 1
回答已采纳
我有一个电火花数据，我想删除任何一行至少有一个NA。
我知道如何只对一列(下面的代码)这样做。
如何对dataframe的所有列执行相同的操作？
可复制示例
# Import modules
from pyspark.sql import SparkSession
from pyspark import SparkContext
from pyspark.sql.functions import col
from pyspark.sql import Row
# Defining SparkContext
SparkContext.getOrCreate()
# Defining Spa
浏览 14提问于2022-10-05得票数 1
回答已采纳
尝试使用.lower函数将pyspark dataframe单列中的值转换为小写，以便进行文本清理
import pyspark.sql.functions as f
f.lower(f.col(col("subject")).show()
获取：
SyntaxError: unexpected EOF while parsing
浏览 0提问于2019-02-21得票数 0
所以我在Kafka主题中有一些数据，我把这些流数据放到一个DataFrame中。我想要显示DataFrame中的数据：
import os
from kafka import KafkaProducer
from pyspark.sql import SparkSession, DataFrame
import time
from datetime import datetime, timedelta
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages org.apache.spark:spark-sql-kafka-0-1
浏览 3提问于2017-07-14得票数 5
回答已采纳
3回答
PYSPARK版本2.3.2
我有以下模式的pyspark中的dataframe (df)：
>>> df.printSchema
<bound method DataFrame.printSchema of
DataFrame[id: string,
F: string,
D: string,
T: string,
S: string,
P: string]>
我有以下简化的UDF：
rep = UserDefinedFunction(lambda x:
浏览 3提问于2019-08-24得票数 0
回答已采纳
我目前正在对kaggle数据集在Pyspark.Based中实现Gradientboost分类模型，我当前在拟合管道后的最后一列是
我现在正在尝试使用PARAMGRIDBUILD进行参数调整。下面是我的参数网格构建代码
param_grid=ParamGridBuilder.addGrid(gradboost.maxDepth,[2,3,4]).addGrid(gradboost.minInfoGain,[0.0, 0.1, 0.2, 0.3]).addGrid(gradboost.stepSize,[0.05, 0.1, 0.2, 0.4]).build()
我得到了下面的错误
*
浏览 3提问于2018-05-09得票数 1
2回答
df = sqlContext.createDataFrame(pd.DataFrame([('id1', ['a','b','c']),
('id2', ['a','b','d']),
('id3', ['c','e','f&#
浏览 69提问于2021-06-19得票数 2
回答已采纳
我似乎遵循了文档化的方式来显示从带有模式的RDD转换而来的DF。但很明显，我遗漏了一些很小但很重要的一点。然后如下：
# Original schema + Index for zipWithIndex with variations on this
schema = StructType(result_df.schema.fields[:] + [StructField("index", LongType(), True)])
rdd = result_df.rdd.zipWithIndex()
df = spark.createDataFrame(rdd, schema)
浏览 0提问于2019-08-12得票数 2
回答已采纳
我想对排序后的Pyspark数据帧进行基于时间的训练测试拆分。假设前300行将在训练集中，下200行将在测试拆分中。 我可以用以下命令选择前300行： train = df.show(300) 但是如何从Pyspark dataframe中选择最后200行呢？
浏览 14提问于2019-03-13得票数 1
1回答
我正在尝试度量将dataframe从scala复制到python并返回到大型管道中的性能影响。为此，我创建了一个相当人工的变压器：
from pyspark.ml.pipeline import Transformer
from pyspark.ml.param.shared import HasInputCol, HasOutputCol, Param
from pyspark.ml.util import keyword_only
from pyspark.sql.functions import udf
from pyspark.sql.types import FloatType
i
浏览 1提问于2016-06-21得票数 3
回答已采纳
1回答
>我已经使用Pyspark从HDFS复制了内容，而我已经使用JDBC将其转换为dataframe表。
`# -*- coding: utf-8 -*-
import dataiku
from dataiku import spark as dkuspark
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.conf import SparkConf
from pyspark.sql import SQLContext,HiveContext,SparkSession
from
浏览 3提问于2020-10-20得票数 0
我在使用pyspark.pandas计算日期时出错。有没有办法用pyspark.padnas计算日期？
import pyspark.pandas
from datetime import timedelta
df = pd.DataFrame({'year': [2015, 2016],
'month': [2, 3],
'day': [4, 5]})
df = pd.to_datetime(df)
df + timedelta(days=3)
# this yiel
浏览 2提问于2021-12-03得票数 0
当我尝试使用pyspark dataframe或sql时，我遇到了一件奇怪的事情。当它在ipython笔记本或python控制台中工作时，当我在pyspark shell中运行它时，我得到了"javax.jdo.JDOFatalInternalException: Error creating transactional factory“错误。 简而言之，如果我在iPython笔记本或简单的python终端中运行以下命令，一切都会正常工作： import findspark
findspark.init("C:\Spark\spark-2.3.3-bin-hadoop2.7&
浏览 35提问于2019-05-13得票数 0
回答已采纳
1回答
我是新来的数据科学，我是使用星火与PySpark的API。我想要创建一个DataFrame文件的.CSV文件。当我这样做时，这些列被移动到一个列中，如下所示。
我用来创建CSV文件的DataFrame的注释是
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("MyFirstCSVLoad").getOrCreate()
df = spark.read.csv("order.csv")
df.Show()
有人能帮我解决这个问题吗。
与CSV文件的链
浏览 3提问于2021-07-04得票数 0
回答已采纳
我试图在pyspark中创建空的dataframe，在pyspark中，我从外部JSON文件传递scehma，但是Json不允许我指定struct类型，所以我提到它是string。json文件： "OptionalEvents" : {
"Event1":
"StructType([StructField('id',StringType(), True),StructField('time',StringType(), True),StructField('ts',StringTyp
浏览 39提问于2021-08-23得票数 1
回答已采纳
我有一个很大的pyspark.sql.dataframe.DataFrame，我想保留(所以filter)保存在location列中的所有行，其中的URL包含预先确定的字符串，例如'google.com‘。
我试过了：
import pyspark.sql.functions as sf
df.filter(sf.col('location').contains('google.com')).show(5)
但是这抛出了一个
TypeError: _TypeError: 'Column' object is not callable
浏览 2提问于2017-01-27得票数 66
回答已采纳
我对火种很陌生
希望从由Row创建的DataFrame中访问列。
请参阅下面我的.py文件中的代码
它抛出错误AttributeError：'DataFrame‘对象没有属性'product’
import findspark
findspark.init("/opt/spark")
from pyspark.sql import SparkSession
from pyspark.sql import Row
from pyspark.sql import SQLContext
productRevenue = Row("product
浏览 2提问于2020-04-13得票数 0
回答已采纳
我定义了一个pandas udf函数，并希望将除pandas.Series或pandas.DataFrame之外的其他参数传递给udf函数。我想使用partial函数来做这件事，但它出错了。我的代码如下： from functools import partial
from pyspark import SparkConf, SparkContext
from pyspark.sql import SparkSession
from pyspark.sql.functions import pandas_udf, PandasUDFType
conf = SparkConf().setM
浏览 15提问于2019-12-18得票数 0
回答已采纳
3回答
我来自R和到PySpark，因为它的出色的火花处理，我正在努力从一个上下文映射到另一个特定的概念。
尤其是，假设我拥有如下数据集
x | y
--+--
a | 5
a | 8
a | 7
b | 1
我希望添加一个列，其中包含每个x值的行数，如下所示：
x | y | n
--+---+---
a | 5 | 3
a | 8 | 3
a | 7 | 3
b | 1 | 1
在dplyr中，我只想说：
import(tidyverse)
df <- read_csv("...")
df %>%
group_by(x) %>%
mutate(n
浏览 0提问于2018-02-14得票数 37
回答已采纳
我尝试在给定的DataFrame上应用GMM聚类算法(与https://spark.apache.org/docs/latest/ml-clustering.html中一样)，如下所示： vector.show(1) ID |功能 33.0 |0.01.0 27043.0，.... type(vector) pyspark.sql.dataframe.DataFrame type(vector.select('features')) pyspark.sql.dataframe.DataFrame vector.printSchema() 根部 |-- id:双精度(nulla
浏览 32提问于2019-05-31得票数 2
2回答
使用read_csv()函数，我读取了一个iso-8859-1文件，如下所示：
df = pd.read_csv('path/file', \
sep = '|',names =['A','B'], encoding='iso-8859-1')
然后，我想使用MLLib的word2vect。但是，它只接受作为参数RDDs。所以我试着把熊猫的数据转换成一个RDD，如下所示：
from pyspark.sql import SQLContext
spDF = sqlContext.
浏览 4提问于2016-03-17得票数 1
回答已采纳
如果我有一个包含arrays的Spark，我可以通过DataFrame在这些数组上使用Python List方法吗？如何将Spark DataFrame array<double>转换为Python列表？
下面是一个示例，其中包含一些UDF。我不确定为什么使用最大值可以，但是使用len就不行了。最后，我想用原始数组列中的采样值创建一个新列。这也会得到一个关于期望两个参数的错误，如果你能帮助的话也会得到加分！
我有以下Spark DataFrame
from pyspark.sql.functions import udf
from pyspark.sql import Row
fr
浏览 1提问于2016-10-28得票数 4
回答已采纳
我使用HiveContext (而不是SQLContext)在pyspark中创建了一个名为df的数据帧。
但是我发现在调用df.cache()之后，我将无法调用df.show()。例如：
>>> df.show(2)
+--------+-------------+--------+--------------+--------+-------+---------+--------+--------+-------------+--------+-----+
| bits| dst_ip|dst_port|flow_direction|in_iface|i
浏览 0提问于2016-05-16得票数 2
当将Kafka消息转换为dataframe时，在将包作为参数传递时会出现错误。
from pyspark.sql import SparkSession, Row
from pyspark.context import SparkContext
from kafka import KafkaConsumer
import os
os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars spark-sql-kafka-0-10_2.11-2.0.2.jar,spark-streaming-kafka-0-8-assembly_2.11-2.
浏览 5提问于2020-06-12得票数 1
1回答
左反团员
、、、
我有一个dataframe，它有两个列a和b，其中b列中的值是a列中值的a子集。例如：
df
+---+---+
| a| b|
+---+---+
| 1| 2|
| 1| 3|
| 2| 1|
| 3| 2|
+---+---+
我想生成一个包含a和anti_b列的数据格式，其中anti_b列中的值是来自a列的任何值，这样a!=anti_b和行(a,anti_b)就不会出现在原始的数据格式中。因此，在上面的数据中，结果应该是：
anti df
+---+------+
| a|anti_b|
+---+------+
| 3| 1|
| 2| 3|
浏览 2提问于2019-11-18得票数 0
在PySpark (v1.6.2)中，当使用指定的模式将RDD转换为DataFrame时，值类型与模式中声明的值类型不匹配的字段将转换为null。
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.types import StructType, StructField, DoubleType
sc = SparkContext()
sqlContext = SQLContext(sc)
schema = StructType([
StructField("
浏览 27提问于2016-07-27得票数 0
回答已采纳
1回答
当我尝试通过show()和display( dataframe )显示来自pyspark dataframe的date列时，这些数据列的格式是不同的。现在，我们如何得出数据帧中存在哪种日期格式？ 显示: 2018-02-15T06:47:19.000+0000 演出时间: 2018-02-15 06:47:19 ?
浏览 15提问于2021-04-23得票数 2
我正在使用PySpark读取csv文件。下面是我的简单代码。
from pyspark.sql.session import SparkSession
def predict_metrics():
session = SparkSession.builder.master('local').appName("PredictFacebookMetrics").getOrCreate()
dataframe = session.read().format('com.databricks.spark.csv') \
.
浏览 4提问于2017-11-27得票数 5
回答已采纳
我有一个用Python编写的Spark作业，它在检查数据中的错误时会产生奇怪的行为。简化后的版本如下：
from pyspark.sql import SparkSession
from pyspark.sql.types import StringType, StructType, StructField, DoubleType
from pyspark.sql.functions import col, lit
spark = SparkSession.builder.master("local[3]").appName("pyspark-unittest"
浏览 0提问于2018-05-01得票数 5
回答已采纳
1回答
我使用的是PySpark版本3.0.1。我正在将csv文件读取为具有2个日期列的PySpark数据帧。但是，当我尝试打印模式时，两列都被填充为字符串类型。 ? ? 上面附加的屏幕截图是Dataframe和Dataframe模式。 如何使用pyspark将date列中的行值转换为时间戳格式？ 我已经尝试了很多东西，但所有的代码都需要当前的格式，但如何转换为正确的时间戳，如果我不知道什么格式的csv文件。 我也尝试过下面的代码，但这是在创建一个空值的新列 df1 = df.withColumn('datetime', col('joining_date&#
浏览 16提问于2020-12-30得票数 2
我正在使用spark 2.3，并且已经编写了一个dataframe来使用pyspark中的dataframe writer类方法创建hive分区表。
newdf.coalesce(1).write.format('orc').partitionBy('veh_country').mode("overwrite").saveAsTable('emp.partition_Load_table')
下面是我的表结构和分区信息。
hive> desc emp.partition_Load_table;
OK
veh_code
浏览 0提问于2018-11-19得票数 4
在连接两个数据帧时，我在pyspark中遇到了问题。第一个dataframe是一个单列的dataframe "zipcd"，第二个是四个列的dataframe。 每当我试图连接两个dataframe时，问题就会出现，因为Pyspark在我的新dataframe中返回我，关于zipcd的一列，它的所有值都是相同的(第一行在所有行中都是重复的，它不是这样的)。 例如： Zip.select("Zip").show()
+------------+
| Zip|
+------------+
| 6.0651002E8|
| 6.0623002E8|
浏览 30提问于2021-07-01得票数 1
2回答
问题说明：
在下面的代码中，示例(1)工作良好，但(2)抛出错误。我检查了函数参数在它们的定义中，它们都说是initcap(col)和upper(col)，我认为这意味着它们将接受一个列对象，那么为什么执行上有区别呢？添加col() upper()运行时没有出错。
生成数据的代码：
from pyspark.sql import Row
from pyspark.sql.types import StructType , StructField , StringType
from pyspark.sql.functions import col , upper , initcap
myRow
浏览 4提问于2020-04-05得票数 0
回答已采纳
我有一个PySpark dataframe (比如df)，它有两个列( Name和Score)。以下是dataframe的示例：
+------+-----+
| Name|Score|
+------+-----+
| name1|11.23|
| name2|14.57|
| name3| 2.21|
| name4| 8.76|
| name5|18.71|
+------+-----+
我有一个numpy数组(比如bin_array)，它的值接近于名为Score of PySpark dataframe的列中的数值。
下面是前面提到的numpy数组：
bin_array = np.a
浏览 4提问于2019-10-11得票数 3
回答已采纳
当我使用pyspark持久化数据集时，我遇到了堆叠溢出错误。我将整个dataframe转换为双类型，然后坚持计算统计数据，我读到检查点是堆栈溢出的解决方案。但是，在dataproc中实现它有困难。
我正在使用pyspark，当我检查dataframe并使用df.isCheckpointed()进行检查时，它返回false。但是，当我调试它时，df.rdd.is_checkpointed说是真的。这个包裹有什么问题吗?我做错什么了吗？
我认为localCheckpoint更适合我的目的(，因为我的问题只是DAG的深度太深了，但是我找不到任何用例。)另外，如果我只是检查点，RDD表示它是校
浏览 0提问于2018-07-31得票数 0
2回答
在PySpark中分解
、、、
我想将包含单词列表的DataFrame转换为DataFrame，每个单词都在自己的行中。
如何在DataFrame中的列上分解？
下面是我尝试过的一个示例，您可以取消注释每一行代码，并获得以下注释中列出的错误。我在Python2.7和Spark 1.6.1中使用PySpark。
from pyspark.sql.functions import split, explode
DF = sqlContext.createDataFrame([('cat \n\n elephant rat \n rat cat', )], ['word'])
print '
浏览 2提问于2016-07-06得票数 30
回答已采纳
1回答
我正在使用一个自定义函数作为reduce操作的一部分。对于下面的例子，我得到了下面的消息TypeError: reduce() takes no keyword arguments -我相信这是由于我在函数exposed_colum中使用字典mapping的方式-你能帮我修复这个函数吗？
from pyspark.sql import DataFrame, Row
from pyspark.sql.functions import col
from pyspark.sql import SparkSession
from functools import reduce
def proces
浏览 18提问于2020-02-05得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
