使用Spark 2.4与Spark 3读取多个JSON文件

文章/答案/技术大牛

发布

1回答

apache-spark、pyspark、azure-databricks

我不得不从Azure数据湖中读取一堆JSON文件。我使用Databricks，当我使用Spark 2.4.5的集群时，我能够读取所有的文件，但当我使用Spark 3.0.1时，返回的数据帧是空的。我正在使用以下命令， dfa = spark.read.json("dbfs:/mnt/abc/bronze/xyz&#

浏览 32提问于2021-05-14得票数 0

1回答

Smark3.0读取json文件的速度比Spark2.4慢得多

scala、apache-spark、java-11、spark3

我有大量的json文件，星火可以在36秒内读取，但Spark3.0几乎需要33分钟才能读取同样的文件。从更仔细的分析来看，Spark3.0选择的DAG与Spark2.0不同。有人知道这是怎么回事吗？Spark3.0是否有任何配置问题。火花2.4 scala> spark.time(spark.read.json("/da

浏览 2提问于2020-06-27得票数 6

回答已采纳

1回答

阅读Azure HDI4.0中的Avro

azure、apache-spark、avro、spark-avro

我试图读取一个阿夫罗文件使用木星笔记本在Azure HDInsight 4.0与Spark2.4。我无法正确地提供.jar文件{ "conf": {"spark.jars.packages": "com.databricks:spark-avro_2.11:4.0.

浏览 3提问于2019-10-25得票数 3

回答已采纳

1回答

S3环境下电子病历集群中的问题解读

java、amazon-web-services、apache-spark、amazon-s3、amazon-emr

代码中有一行内容如下： JsonReader jsonReader = new JsonReader(new FileReader("s3://naturgy-sabt-dev/QUERY/input.json在执行aws s3 cp s3://naturgy-sabt-dev/QUERY/input.json .时，我正在正确地接收.json文件。设置IAM策略，以便绑定的EMR

浏览 0提问于2019-12-11得票数 0

回答已采纳

1回答

从文件读取数据时触发"modifiedBefore“选项

apache-spark、apache-spark-sql、spark-streaming

我使用Spark-2.4从hadoop读取文件。要求读取修改时间早于某个提供的值的文件。我偶然看到spark文档中提到了modifiedBefore选项，请参考下面的spark文档Modification Time Path Filters，但我不确定它是否在Spark2.4中可用，如果没有

浏览 11提问于2021-03-17得票数 0

回答已采纳

1回答

在scala中读取文件时获取不兼容的jackson版本

json、scala、apache-spark、jackson

我正在尝试使用下面的代码使用scala读取一个简单的json文件然而，我在读它的时候出错了由: com.fasterxml.jackson.databind.JsonMappingException:不兼容杰克逊版本: 2.11.2引起的 "org.apache.spark<

浏览 5提问于2022-08-24得票数 0

1回答

使用Spark* 2.4识别空JSON文件*

json、scala、apache-spark、apache-spark-sql

我希望避免处理空的JSON文件。我得到的一些空JSON文件只包含左方括号和右方括号，比如：[]。仅包含该文件的文件应理解为空文件。使用Spark 2.2，下面的行将返回true：但在Spark 2.4中，它返回false。当使用Spark 2.4<

浏览 3提问于2019-11-05得票数 0

回答已采纳

1回答

Spark -如何从S3读取多个带有文件名的Json文件

python、apache-spark、pyspark、apache-spark-sql、databricks

我在S3中有很多以行分隔的json文件，我想读取spark中的所有这些文件，然后读取json中的每一行，并以文件名作为列输出该行的Dict/Row。我该如何用python高效地做这件事呢？每个json大约有200MB。s3密钥/访问密钥：sc._jsc.hadoopConfiguration().set("fs.s3n.awsSecretAccessK

浏览 9提问于2020-05-05得票数 1

回答已采纳

2回答

从hdfs将avro文件加载到pyspark数据格式中

python、apache-spark、pyspark、apache-spark-sql、avro

下一步是使用databricks加载程序将一个avro文件转换为某个(只有python库可以找到)。现在让我解释一下我是如何做到的，这样您就可以看到我可能失败的地方了：我的目标是将json数据从本地目录推送到HDFS，这样我就可以使用pySpark由于json对HDFS的压缩很差，所以我还使用以下flume.conf将每个文件转换为avro： a

浏览 1提问于2018-09-03得票数 1

3回答

如何在pyspark中找到数据帧的大小

pyspark、apache-spark-sql

scala> val df = spark.range(10) scala> print(spark.sessionState.executePlan(df.queryExecution.logical

浏览 0提问于2020-06-03得票数 2

2回答

如何在Spark2.4中读取闪烁2-shell中的Avro文件？

apache-spark、apache-spark-sql

我们在Spark2.4中在spark2-shell中读取avro文件时遇到了问题，任何指针都会有很大帮助。我们使用以下方法读取Spark2.4 2.3中的avro文件，但这种支持在Spark2.4中已被删除： spark2-shell --jars /tmp/spark/spark-avro_2.1

浏览 4提问于2020-01-24得票数 2

回答已采纳

5回答

如何在Windows上访问星火中的本地文件？

windows、scala、apache-spark

我在Windows上使用Windows。我知道在*nix中，访问本地文件代码如下所示：但是如何访问Windows上的本地文件呢？我尝试了以下方法：v

浏览 6提问于2015-05-29得票数 6

回答已采纳

2回答

使用pyspark从s3读取/加载avro文件

apache-spark、pyspark、aws-glue、apache-zeppelin

使用AWS glue developer endpoint Spark Version - 2.4 Python Version- 3尝试读取avro文件时出现以下错误信息：Failed to find data so

浏览 0提问于2020-09-18得票数 2

2回答

spark.sql.files.maxPartitionBytes不限制写入分区的最大大小

apache-spark、apache-spark-sql、aws-glue

我正在尝试将拼板数据从另一个s3桶复制到我的s3桶中。我希望将每个分区的大小限制为128 MB。我认为默认情况下，spark.sql.files.maxPartitionBytes应该设置为128 MB，但是当我在复制后查看s3中的分区文件时，我会看到大约226 MB的单个分区文件。这是配置键的定义：读取文件时要打包到单个分区的最大字节数。此配置仅在使用Parquet、JSON和ORC等基于文件的

浏览 54提问于2020-06-30得票数 1

1回答

使用pyspark从S3读取csv作为spark数据帧(Spark2.4)

amazon-web-services、csv、amazon-s3、pyspark、pyspark-dataframes

我想从s3 (s3://test-bucket/testkey.csv)读取一个csv文件，作为使用pyspark的spark数据帧。我的集群运行在spark 2.4上。并且csv文件不会作为粘合表被爬行。你可以粘贴你的pyspark代码，这是基于spark会话，并转换为csv到spark数据帧在这里？在此先致谢并致以最良好的问候

浏览 16提问于2019-10-07得票数 3

1回答

星火作业中的hadoop bz2库在多核上运行时失败

apache-spark、bzip2

目前，我在Spark和读取bz2文件方面遇到了问题。我使用的是Spark1.2.0(为Hadoop2.4预先构建的，但这些文件目前只在本地读取)。对于测试，有~1500个文件，每个文件大小约50 are。org.apache.hadoop.io.compress.bzip2.CBZip2InputStream.bsGetBit(CBZip2InputStream.java:626) 当我预先解压缩这些文件</

浏览 1提问于2015-02-01得票数 4

1回答

AWS Glue无法读取JSON* Snappy文件*

python、amazon-web-services、apache-spark、aws-glue

我在PySpark中读取AWS Glue作业的数据时遇到问题：火花遗物DataFrame # import f

浏览 1提问于2020-06-11得票数 4

回答已采纳

1回答

JSON格式星火DataFrame列上的隐式模式发现

scala、apache-spark

我正在用Scala编写一个ETL (2.4)作业，在;上读取带有glob模式的-separated CSV文件。其目标是从该列自动推断模式，以便可以为S3中Parquet文件上的写接收器构造模式。 from_json(col("custom"), jsonSche

浏览 0提问于2019-02-14得票数 9

2回答

如何使火花会话递归读取所有文件？

regex、scala、apache-spark、recursion

显示存储JSON文件的目录：try/├── 11thOct└── Oct任务是使用SparkSession读取所有日志。有一种优雅的方法来读取目录中的所有文件，然后递归地读取子目录中的。我尝试过的几个命令都容易导致无意中的排斥。spark.read.json</

浏览 5提问于2019-12-30得票数 12

回答已采纳

1回答

使org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException)：不能在市面上租赁

scala、apache-spark、hadoop、hdfs

尝试从HDFS目录处理每个JSON文件并写入HDFS目录。这里我使用Scala并行集合par。我正在尝试下面的代码来读取JSON文件。= path of hdfs directory val dataFrame = spark.read.json(readJSON.toSeq.toDS) dataFrame.coal

浏览 9提问于2020-12-22得票数 1

点击加载更多