Spark py4j.protocol.Py4JJavaError:调用o718.showString时出错

文章/答案/技术大牛

发布

0回答

python、pyspark、spark-dataframe

我是spark的新手。我正在Spark(pySPark)上运行python API，以便在cloudera集群上构建模型。step3_final.show(6) File &

浏览 6提问于2017-01-03得票数 7

1回答

在(Py)火花中读取JDBC源时不支持的数组错误？

python、apache-spark、pyspark、apache-spark-sql、pyspark-sql

以下是我的代码： .appName("Connect to: "org.postgresql.Driver"df = spark.read.jdbctable_name").rdd.flatMap(lambda x: x

浏览 0提问于2018-05-30得票数 2

回答已采纳

1回答

Apache序列化问题

apache-spark、google-cloud-platform、serialization、pyspark、apache-hudi

当我试图更新数据时，它显示了下面的错误 py4j.protocol.Py4JJavaError:调用o84. while时出错。：：org.apache.hudi.exception.HoodieException:帽衫只支持org.apache.spark.serializer.KryoSerializer作为spark.serializer也尝试了sc.setSystemProperty("spark.serializer"，&

浏览 15提问于2022-03-21得票数 0

1回答

将sqoop压缩的snappy数据文件读入数据帧中

python、apache-spark、compression、sqoop、snappy

我使用Cloudera VM 5.8读取sqoop导入的Avro文件时出错，使用snappy编解码器压缩sc=SparkContext(conf= conf) sqlc = SQLContext(sc)df = sqlc.read.format("com

浏览 2提问于2017-06-26得票数 0

1回答

用电火花将DataFrame写入TextFile

dataframe、text、pyspark

在deco(*a，**kw) 62 Py4JJavaError中尝试：-> 63返回f(*a，**kw) 64，除py4j.protocol.Py4JJavaError作为e外：->63返回f(*a，**kw)64，py4j.protocol.Py4JJavaError作为e： /databricks/spark/python/lib/py4j-0.10.7-src.zip/py4j/protocol.pyin get_return_value(应答、gate

浏览 3提问于2020-02-05得票数 1

1回答

拼花文件上的外部表。.count()工作，.show()失败

apache-spark、hive、pyspark、hql、hiveql

string PARTITIONED BY (dt string) LOCATION '{1}'df = spark.table如果我跑了df.show() py4j.protocol.Py4JJavaError:调用o95.showString时出错

浏览 1提问于2019-07-04得票数 1

回答已采纳

2回答

PySpark Kafka py4j.protocol.Py4JJavaError:调用o28.load时发生错误

apache-spark、pyspark、apache-kafka

当将Kafka消息转换为dataframe时，在将包作为参数传递时会出现错误。() .read \ .option("kafka.bootstrap.serverssubscribe", "Jim_Topic") \df.selectExpr("CAST(key AS STRING)", "CAST(va

浏览 5提问于2020-06-12得票数 1

2回答

火种源和凤凰桌

pyspark、classnotfoundexception、phoenix

df_metadata = sqlCtx.read.format("org.apache.phoenix.spark").option("zkUrl", "xxx").load("lib.name_of_table")以及错误： py4j.protocol.Py4JJavaError:调用o103.load时出错。：java.lang.ClassNotFoundExc

浏览 13提问于2017-01-30得票数 1

回答已采纳

2回答

用PySpark读取拼花文件

pyspark、parquet

SQLContext(sc) 我得到了以下错误在deco(*a，**kw) 62 Py4JJavaError中，py4j.protocol.Py4JJavaError回溯(最近一次调用最后一次调用) /usr/local/spark/python/pyspark/sql/utils.py：-> 63返回f(*a，**kw) 64，除了<e

浏览 0提问于2018-03-06得票数 1

2回答

Pyspark + Redis远程服务器

pyspark、redis、pyspark-sql、pyspark-dataframes、redis-server

我配置了一个具有redis和maven的服务器，然后执行以下sparkSession操作.sql.builder.appName('try_one_core').config("spark.redis.port.save()时.w

浏览 3提问于2020-02-19得票数 1

回答已采纳

1回答

故障加载PySpark ALS模型

java、apache-spark、pyspark

best_model.save("modelSaveOut")当我尝试使用ALS.load加载模型时，我得到以下信息： py4j.protocol.Py4JJavaError:调用o26.load时出错。：：org.apache.spark.ml.rec

浏览 0提问于2019-03-27得票数 3

回答已采纳

1回答

火花-没有定义模式，也没有在下面找到Parquet数据文件或摘要文件

python、jdbc、apache-spark

首先我开始然后写这段代码当我只写dbtable= "test_db“时，错误是相同的.发生此错误后， py4j.protocol.Py4

浏览 3提问于2015-08-24得票数 1

回答已采纳

1回答

当列名为空时，如何使用pyspark筛选器？

pyspark、pyspark-sql

当我试图使用.filter进行比较时，我得到了一个错误。我不想重新定义模式，删除空白，因为我有一个巨大的表，几乎所有的表都有相同的名称空间。是否有一种快速使用名称为空的筛选器的方法？dfjoin.where (‘入站Delivery=0090043373’).show() 在deco(*a，**kw) 62中回溯(最近一次调用) ~\Desktop\spark\spark-2.4.3-bin-hadoop2.7\python\pyspark\sql\utils.py 62试：-> 63返回f(*a，**kw)

浏览 0提问于2019-06-12得票数 1

1回答

在独立集群中设置spark.ext.h2o.backend.cluster.mode=external时出错

apache-spark、h2o、sparkling-water

pyspark.sql import SparkSessionimport h2ospark主火花://本地:7077--py-文件sparkling-water-3.36.1.3-1-3.2/py/h2o_pysparkling_3.2-3.36.1.3-1-3.2.zip --conf "spark.ext.h2o.backend.cluster.mode=external“-

浏览 4提问于2022-08-08得票数 0

1回答

用于excel文件的google集群中的NoSuchMethodError

pyspark、google-cloud-dataproc

当在dataproc集群中使用Excel文件时，会得到错误的java.lang.NoSuchMethodError。 .config(conf=configuration).getOrCreate()return spar

浏览 9提问于2022-09-29得票数 2

1回答

Spark2-提交失败，返回pyspark

apache-spark、pyspark

我正在将应用程序从spark 1.6升级到Spark 2，但在Cloudera环境中使用pyspark的Spark2-submit失败。为此，我刚刚从spark-submit更新了spark2-submit，但它失败了，无法创建Spark上下文，并给出了下面的错误。/SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/lib/spark2/python/lib

浏览 1提问于2019-05-01得票数 0

1回答

在Parquet中编写数据格式

python、dataframe、pyspark、parquet

执行之后，它创建一个名为output_spark.parquet的文件夹。它还引发一个错误，即找不到该文件。如果我创建了一个文件，然后运行代码，它会说该文件已经存在。这是我所犯的错误。py4j.protocol.Py4JJavaError:调用o34.parquet时出错。from pyspark.sql import SparkSession .builder \ .appName("Python Spa

浏览 2提问于2021-03-03得票数 0

回答已采纳

1回答

H2o MOJO模型在pyspark中的加载问题

pyspark、h2o、mojo

我在尝试使用pyspark加载MOJO时出现以下错误。convertInvalidNumbersToNa = True)模型= H2OMOJOModel.createFromMojo(in_dir + '/sparkle_comm.zip'，设置) 错误: py4j.protocol.Py4JJavaError:调用z:py_sparkling.ml.models.H2OMOJOModel.createFromMojo.时出错：java.io.IOException: MOJ

浏览 6提问于2020-07-31得票数 0

1回答

PySpark -使用PySpark连接到HBASE -包导入失败

apache-spark、pyspark、hbase

当使用PySpark连接到HBASE时，我面临一个问题，因为它失败了，出现了一个错误，如下所示：它需要使用提示符访问PySpa

浏览 0提问于2019-04-07得票数 0

1回答

卡夫卡结构化流java.lang.NoClassDefFoundError

apache-spark、pyspark、apache-kafka、spark-structured-streaming

py4j.protocol.Py4JJavaError:调用o31.load时出错。(KafkaSourceProvider.scala:376) at org.apache.spark.sql.kafka010.KafkaSourceProvider$.(KafkaSourceProvider.scala) 火花提交- org.apache.spark:spark-sql-kafka-0-10_2.11:2.2.0 C:\Users\ran

浏览 3提问于2017-09-12得票数 3

点击加载更多