Spark (PySpark)文件已存在异常

文章/答案/技术大牛

发布

0回答

apache-spark、pyspark、pyspark-sql

我正在尝试将数据框另存为文本文件，但是，我得到了一个文件已存在异常。我尝试将模式添加到代码中，但无济于事。此外，该文件实际上并不存在。有人知道我该如何解决这个问题吗？我正在使用PySparkdistFile = sc.textFile("/Users/jeremy/Downloads/sample2.nq") mapper = distFile.maptriples"]

浏览 11提问于2017-12-01得票数 4

3回答

使用IPython时出现PySpark异常

apache-spark、ipython、pyspark

在安装之后，当我运行"ipython --profile=pyspark“时，它抛出了以下异常 6 sys.path.insert(0, os.path.join(spark_home, 'pythonException: Java gateway process e

浏览 0提问于2016-04-14得票数 0

1回答

Pyspark Delta湖泊捕获表不是delta表例外

exception、pyspark、databricks、filenotfoundexception、delta-lake

try:except Exception as ex:它的例外是'/abc‘不是增量表我想在找不到文件时执行特定的操作。有没有一个类已经可以单独捕获它了，比如FileNoTFoundException --它在这里似乎不起作用。

浏览 3提问于2021-04-21得票数 0

7回答

如何在没有异常的情况下使用pyspark检查文件/文件夹

pyspark、azure-databricks

在从databricks中读取文件之前，我试图检查它是否存在，以避免出现异常。我尝试了下面的代码片段，但是当文件不存在时，我得到了异常。from pyspark.sql import *SparkSession.builder.config(conf=SparkConf()) df = sqlContext.read.format('com.databr

浏览 0提问于2019-04-09得票数 9

回答已采纳

1回答

如何在使用PyArrow时捕获Python UDF异常

python、pyspark、user-defined-functions、pyarrow

当启用PyArrow时，由执行器引发的Pandas UDF异常变得不可能被捕获:请参见下面的示例。这是预期的行为吗？from pyspark.sql import SparkSession spark<

浏览 0提问于2019-08-22得票数 4

1回答

初始化异常: Java网关进程在发送其端口号之前退出

python、apache-spark、pyspark

代码如下 import findsparkimport pysparkfrom pyspark.sql import SparkSession spark = SparkSession.builder.appName('Basics').getOrCreate() 获取错误异常: Java网关进程在发送其端口号之前退出免责声明

浏览 16提问于2020-07-06得票数 0

回答已采纳

1回答

PySpark安全列类型转换

apache-spark、pyspark

如果我将一个列强制转换为不同的类型，那么任何无法强制转换的数据都会被静默转换为NULL：+------++------+| null| | null

浏览 4提问于2017-09-29得票数 0

1回答

在Jupyter Notebook中导入Spark

python、apache-spark、ipython、jupyter-notebook

我跟踪这个，发现它使用了一个名为sc的变量，我认为它就是Spark库。我尝试使用安装Spark，但我不确定它是否安装正确。现在，当我尝试在笔记本中导入PySpark时，它无法识别。

浏览 3提问于2017-05-26得票数 0

1回答

无法从cmd表单spark目录运行pyspark

python、hadoop、apache-spark、pyspark

我已经在我的windows10系统中安装了spark 1.6(为hadoop2.6预先构建的)版本，并且我已经正确地设置了环境变量。当我运行pyspark时，我得到了这个。但是我可以从spark目录运行"python“命令，并返回正确的版本。有人能帮我解决这个问题吗？

浏览 2提问于2017-11-23得票数 1

2回答

电火花外壳中的外部包(jars) --如何

apache-spark、pyspark

我想通过spark-sql-kafka库从卡夫卡中通过火花阅读，如下所述：。 - [Structur

浏览 0提问于2019-12-11得票数 0

6回答

使用python 3.5.1导入pyspark错误Pyspark

python、apache-spark、pyspark、apache-spark-sql、python-3.5

Traceback (most recent call last): import pyspark File "/home/himaprasoon/apps/spar

浏览 4提问于2016-04-25得票数 1

1回答

本地spark安装未按预期工作

python、apache-spark、pyspark、amazon-dynamodb

但是，我一直在尝试使用EMR提供的jar文件emr-ddb-hadoop.jar连接到DynamoDB。我已安装所有AWS依赖项，并可在本地使用。但是，我不断地得到以下异常。/spark" 'PYSPARK_SUBMIT_ARGS'] = '--jars /usr/local/Cellar/hadoop/2.8.0/libexec/share"

浏览 0提问于2017-09-23得票数 0

1回答

在火花/木星中设置spark.local.dir

apache-spark、pyspark、jupyter、livy

我正在使用木星笔记本中的Pyspark，并试图为S3编写一个大型的拼花数据集。如何设置这个参数？我发现的大多数解决方案都建议在使用火花提交时设置它。然而，我没有使用星火提交和运行它作为一个脚本从木星。编辑:我正在使用Spark魔术处理EMR后端，我认为需要在配置JSON中设置spark.local.dir，但我不知道如何在配置JSON中指定它。

浏览 2提问于2018-06-29得票数 4

4回答

pyspark: pip安装找不到版本

pip、pyspark

我正在尝试使用pip install安装pyspark，如下所示。但是我得到了以下错误。(python_virenv)edamame$ pip install pyspark Could not find a version that satisfiesthe requirement pyspark (from versions: )有谁知道吗？

浏览 7提问于2016-07-16得票数 6

1回答

在Windows上从木星笔记本启动PySpark时的错误消息

apache-spark、pyspark、jupyter-notebook、jupyter

同样的方法在木星上运行Apache星火，但现在它抛出异常：Java网关进程在向驱动程序发送其端口号之前退出。print(filename) exec(compile(spark_release_file) and "Spark 1.5" in o

浏览 1提问于2017-01-29得票数 0

1回答

尝试加载cassandra时pyspark出现错误

python、apache-spark、cassandra、pyspark、spark-cassandra-connector

我正在使用pyspark测试一些示例代码。下面是我正在运行的pyspark shell命令 ./bin/pyspark --conf spark.cassandra.connection.host=172.28.0.162 --conf spark.cassandra.input.split.size_in_mb=32 --packages com.datastax.spark:spark-cassandra-connector_2.10:1.4.0

浏览 2提问于2015-12-27得票数 1

1回答

在本地机器上安装火花- .getOrCreate火花会话未完成

python、java、apache-spark、pyspark、anaconda

我已装好并安装：SPARK_HOME=C:\spark\spark-3.0.3-bin-hadoop2.7HADOOP_HOME= C:\spark\spark-3.0.3-bin-hadoop2.7JAVA_HOMEja

浏览 3提问于2022-02-24得票数 1

1回答

使用spark读取雪花表时遇到classnotfound异常

apache-spark、pyspark、snowflake-cloud-data-platform、snowflake-task

pyspark --jars spark-snowflake_2.11-2.8.0-spark_2.4.jar,jackson-dataformat-xml-2.10.3.jar>>> sc = SparkContext("local", "Simple App") >>> spark所需的jar<e

浏览 39提问于2020-07-17得票数 0

回答已采纳

1回答

从本地连接到客户端cassandra

amazon-web-services、apache-spark、cassandra、pyspark

我正在尝试从cassandra获取已安装在AWS ec2中的数据。当我通过pyspark运行以下命令时，我能够从AWS读取，但是当我通过spark-submit提交相同的python文件时，我从本地获取rdd。你能给我推荐一下我缺少配置的地方吗？from pyspark import SparkConf, SparkContext conf = SparkConf().setAppName(&qu

浏览 0提问于2017-04-14得票数 2

2回答

从dataframe写入新文件时出现文件已存在错误

apache-spark、emr

在EMR Spark上，通过数据帧向S3写入RDD[String]。SaveMode.Overwrite)保存模式为Overwrite，并且s3n://my-bucket/some/new/path尚不存在(ResultTask.scala:87) at org.apache.spark.scheduler.Task.run(Ta

浏览 49提问于2018-03-05得票数 12

回答已采纳

点击加载更多