在Spark中读取大型gz文件
，可以使用Spark的文本文件读取功能，并结合gzip解压缩功能进行处理。
具体步骤如下：
- 创建SparkSession对象，作为与Spark交互的入口点。
- 使用SparkSession的read.text()方法读取gz文件，该方法会将文件按行读取为一个DataFrame。
- 对于gz文件，需要使用Spark的gzip解压缩功能，可以通过设置SparkSession的option("compression", "gzip")来实现。
- 对于大型gz文件，可以通过设置SparkSession的option("inferSchema", "true")来自动推断数据类型，或者手动指定数据模式。
- 使用DataFrame的相关操作进行数据处理和分析，如过滤、转换、聚合等。
- 如果需要将处理结果保存为文件，可以使用DataFrame的write方法，并设置保存路径和格式。
示例代码如下（以Scala语言为例）：
import org.apache.spark.sql.SparkSession
// 创建SparkSession对象
val spark = SparkSession.builder()
.appName("Read GZ File in Spark")
.getOrCreate()
// 读取gz文件
val df = spark.read
.option("compression", "gzip")
.text("path/to/gz/file.gz")
// 对数据进行处理和分析
// ...
// 保存处理结果为文件
df.write
.format("parquet")
.save("path/to/save/result")在这个例子中，我们使用了Spark的文本文件读取功能，通过设置compression选项为gzip，实现对gz文件的解压缩读取。然后可以根据具体需求对数据进行处理和分析，最后将处理结果保存为parquet格式的文件。
腾讯云相关产品推荐：
- 腾讯云对象存储（COS）：提供高可靠、低成本的云端存储服务，适用于存储和管理大规模非结构化数据。产品介绍链接：https://cloud.tencent.com/product/cos
- 腾讯云大数据Spark：提供强大的分布式计算框架，支持处理大规模数据集。产品介绍链接：https://cloud.tencent.com/product/emr
- 腾讯云数据仓库（CDW）：提供高性能、弹性扩展的数据仓库服务，适用于存储和分析大规模结构化数据。产品介绍链接：https://cloud.tencent.com/product/cdw
相关·内容
1回答
我想通过以下PySpark命令将gzip文件保存为Databricks中的配置单元表： df = spark.read.csv(".../Papers.txt.gz", sep="\t")
df.write.saveAsTable("...") gzip文件Papers.txt.gz解压后重约60 it (这是一个很大的.txt文件，实际上取自here)，而Spark集群相当大(850 it，112个内核)。 问题是，这需要很长时间才能保存为表(超过20分钟)，这使得我担心会导致集群崩溃而中止操作。 这个请求看起来很标准，但是，这里有什么我应该
浏览 17提问于2021-10-26得票数 1
回答已采纳
1回答
我想使用sparklyr包打开gz文件，因为我在R上使用Spark。我知道我可以使用read.delim2(gzfile("filename.csv.gz"), sep = ",", header = FALSE)打开gz文件，我也可以使用spark_read_csv打开csv文件，但当我尝试在Spark中打开gz文件时，两者都不起作用。请帮帮我！
浏览 18提问于2019-01-23得票数 2
回答已采纳
我有一组日志文件，我想要读到一个RDD。这些日志文件都是压缩的gzip文件，文件名是日期标记。
我一直在使用sc.wholeTextFiles()读取文件，似乎遇到了Java堆内存问题。为了隔离这个问题，我决定将其作为测试用例在单个机器上的单个文件上运行。
我从这里得到了文件：
以下是文件的大小，包括压缩版本和未压缩版本：
myuser@fembuntu$ ls -ltr pagecounts-20090505-180000*
-rw-rw-r-- 1 myuser myuser 65170192 Sep 20 2009 pagecounts-20090505-180000.gz
-
浏览 6提问于2016-01-22得票数 4
回答已采纳
2回答
我有一个目录，其中有多个文件夹，每个文件夹包含多个具有相同压缩文件名的.gz文件"spark.log“。我如何一次解压缩所有这些文件并将它们重命名为gz文件？
我的数据是这样的
文件夹列表
A
B
C
D
在其中的每一个文件中，
A
spark.log.gz
spark.log.1.gz
spark.log.2.gz
spark.log.3.gz
B
spark.log.gz
spark.log.1.gz
spark.log.2.gz
spark.log.3.gz
C
spark.log.gz
spark.log.1.gz
spark.log.2.gz
spark.log.3.gz
D
浏览 0提问于2022-10-07得票数 3
回答已采纳
我有delflate.gz格式的源文件压缩。当将数据加载到Spark时，它在ArrayOutofBound异常下失败。
val cf = spark.read.option("header", "false").option("delimiter", "\u0001").option("codec", "deflate").csv("path/xxx.deflate.gz")
cf.show()
错误：
org.apache.spark.SparkException:由于阶段失败而
浏览 4提问于2017-08-17得票数 0
1回答
我的文件夹myfolder.tar.gz中有多个CSV文件。我以这种方式创建了它:首先将所有文件放在文件夹名myfolder中，然后准备一个tar文件夹。然后准备这个tar文件夹的.gz。
假设我们有5份文件。
abc_1.csv
abc_2.csv
abc_3.csv
def_1.csv
def_2.csv
我希望使用Pyspark数据帧过滤特定文件名模式中的读取文件。就像我们想一起读取所有的abc文件一样。
这不应该给我们def的结果，反之亦然。目前，我可以通过使用spark.read.csv()函数一起读取所有的CSV文件。此外，当我使用以下pathGlobalFilter参数将文件保存
浏览 1提问于2021-02-04得票数 1
回答已采纳
1回答
我有一个包含多个表的大型数据集。每个表被分成数百个csv.gz文件，我需要通过PySpark将它们导入到Spark中。有关于如何将"csv.gz“文件导入到Spark的想法吗？SparkSQL的SparkContext或SparkSession是否提供了导入此类文件的功能？
浏览 22提问于2017-07-06得票数 1
3回答
因此，我查看了一堆关于Pyspark、Jupyter和设置内存/核心/执行器(以及相关内存)的帖子。
但我好像被困住了-
问题1：我没有看到我的机器使用内核或内存。为什么？我是否可以对编译器/内核/内存做一些调整，以优化读取文件的速度？问题2:还有什么方法可以让我看到一个进度条，显示导入了多少文件ahs (火花监视器似乎做不到)。
我正在导入一个33.5gb的文件到火星雨。
机器有112 gb或RAM 8核/16个虚拟核。
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.appNam
浏览 0提问于2020-08-13得票数 11
回答已采纳
2回答
使用Spark 1.6.2，从普通文件系统读取gzip压缩的JSON文件：
val df = sqlContext
.read
.json("file:///data/blablacar/transactions.json.gz")
.count()
将在单个worker上使用单个任务。
但是如果我保存了这个文件：
sc.textFile("file:///data/blablacar/transactions.json.gz")
.saveAsTextFile("file:///user/blablacar/transa
浏览 1提问于2018-01-18得票数 0
我有一个.gz格式的压缩文件，是否可以使用spark DF/DS直接读取该文件？
详细信息:文件是以制表符分隔的csv格式。
浏览 1提问于2018-03-26得票数 11
回答已采纳
我有一个s3存储桶，里面有将近100k个gzipped的JSON文件。
这些文件被称为[timestamp].json，而不是更合理的[timestamp].json.gz。
我有其他使用它们的进程，所以重命名不是一个选项，复制它们甚至更不理想。
我正在使用spark.read.json([pattern])来读取这些文件。如果我将文件名重命名为包含.gz，则可以正常工作，但扩展名仅为.json，因此无法读取它们。
有没有办法告诉spark这些文件是用gzipped压缩的？
浏览 1提问于2018-09-10得票数 9
我正在尝试使用Spark (在EMR上是2.1 )处理~500M的gz文件，我没有办法改变格式或将它们分割成更小的尺寸。
其中一个执行程序失败，出现以下问题：
java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE
at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:869)
at org.apache.spark.storage.DiskStore$$anonfun$getBytes$2.apply(DiskStore.scala:103)
浏览 10提问于2017-05-21得票数 2
我有一个存储.gz文件(json格式)的S3存储桶。每小时将有更多的文件发送到此存储桶。我想使用Glue增量地(每天)从S3存储桶中读取数据，将.gz转换为拼接，然后写回另一个S3存储桶。 我想我可以使用Glue书签来完成增量文件的读取/转换/写入。然而，我发现如果我读取spark dataframe中的.gz文件，书签就不起作用了。换句话说，我的下面的胶水作业不会以增量方式读取文件。它读取该存储桶中的所有文件。我确实在胶水作业中启用了Bookmark。 我错过了什么吗？是否需要通过glue动态数据帧而不是spark数据帧读取文件？ 我实际上不知道如何通过glue动态数据帧正确读取.gz文件
浏览 24提问于2020-12-30得票数 1
2回答
我使用Spark2.1.0、Hadoop2.7.3、Hive2.1.1、Sqoop1.4.6和Ganglia 3.7.2 (从s3加载数据)在EMR ( 5.5.1 )上运行吡火花作业。有多个桶包含输入文件，所以我有一个函数，它使用boto遍历它们，并根据某种模式过滤掉它们。
集群大小：主=> r4.xlarge，Worker => 3 x r4.4xlarge
问题：函数getFilePaths返回一个s3路径列表，该列表直接提供给spark方法。
使用Dataframe
file_list = getFilePaths() # ['s3://some_bucket/lo
浏览 1提问于2018-06-13得票数 1
PySpark中是否有从.tsv.gz中读取.tsv.gz的方法？
from pyspark.sql import SparkSession
def create_spark_session():
return SparkSession.builder.appName("wikipediaClickstream").getOrCreate()
spark = create_spark_session()
url = "https://dumps.wikimedia.org/other/clickstream/2017-11/clickstream-jawik
浏览 7提问于2021-09-25得票数 1
回答已采纳
1回答
我从S3读取拼图文件时出错，原因是"final_height“列在同一个分区中获得字符串和双类型。有关信息，在拼花文件中有超过20列。我所犯的错误是：
ERROR 1: Failed merging schema of file ".../part1.gz.parquet":
ERROR 2: Caused by: org.apache.spark.SparkException:
Failed to merge fields 'final_height' and 'final_height'. Failed to merge incom
浏览 8提问于2020-04-02得票数 6
2回答
我在一个文件夹中有很多需要处理的子目录。我决定用find linux实用程序来查找所有的文件，比如
find . -name *.gz -exec zcat {} \;
现在我必须将stdout数据作为输入提供给spark脚本，如下所示
find . -name *.gz -exec zcat {} \; | ./run_pyspark.py
spark是否可以读取stdin数据(就像在简单的python中一样)。请至少给出一些例子或方法？
浏览 3提问于2017-02-13得票数 2
我有一个脚本来分析BSON转储，但是它只适用于未压缩的文件。在读取gz bson文件时，我得到了一个空的RDD。
pyspark_location = 'lib/pymongo_spark.py'
HDFS_HOME = 'hdfs://1.1.1.1/'
INPUT_FILE = 'big_bson.gz'
class BsonEncoder(JSONEncoder):
def default(self, obj):
if isinstance(obj, ObjectId):
return s
浏览 2提问于2016-04-27得票数 0
我正在尝试使用以下代码在dataframe/rdd中读取spark/scala中.gz文件的内容
val conf = new SparkConf()
val sc = new SparkContext(conf)
val data = sc.wholeTextFiles("path to gz file")
data.collect().foreach(println);
.gz文件大小为28mb，当我使用以下命令提交spark时
spark-submit --class sample--master local[*] target\spark.jar
这
浏览 1提问于2017-06-17得票数 0
有没有办法用Spark直接读取.Z (大写)文件扩展名？
我知道带有spark的Scala可以直接读取gzip文件(.gz)，但当我尝试将压缩的Z文件(.Z)加载到Dataframe中时，它不起作用。
浏览 0提问于2020-05-06得票数 2
我的公司正在尝试将服务从AWS迁移到GCP。我们面临着一些问题。AWS Kinesis收集的数据是.gz文件。我们使用GCP的云存储将这些文件传输到GCP平台，并使用Dataproc对这些数据进行处理。所有这些数据都可以在AWS中正确处理，但无法由同一Spark作业正确读取。 参见末尾抛出的异常。 我尝试在GCP Cloud Shell中解压其中一个文件，比如ABC.gz。解压缩后的文件仍然以.gz：ABC.gz结尾。我认为这是根本原因，因为Spark可能试图解压解压后的文件。 如果我们通过删除.gz后缀来重命名这些文件，那么Spark就可以正常运行。但是，重命名过程太耗时，需要几个小时以上
浏览 39提问于2020-01-20得票数 1
回答已采纳
我想连接Apache和Apache (我有Spark 3.1.2)，并使用Apache查询Superset的SQL中的数据。
在spark的主服务器上，我使用这个命令spark-submit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2启动了节俭服务器。
然后，我使用SQLAlchemy URI hive://hive@spark:10000/在Superset中添加了Spark集群作为数据库。我可以在Superset上访问星火集群。
我可以使用这个SQL将JSON数据作为表加载
CREATE table IF
浏览 5提问于2021-10-09得票数 3
我试图用pySpark加载.gz文件，但是得到了这个错误。我的python代码是：
schema_daily = StructType([
StructField("id", StringType(), True),
StructField("date", DataType(), True),
StructField("element", StringType(), True),
StructField("value", DoubleType(), True),
StructField(&#
浏览 0提问于2019-08-16得票数 0
在引用之后，我可以读取驻留在*.tar.gz文件中的多个*.txt文件。但是现在，我需要在一个HDF5文件中读取*.tar.gz文件。示例文件可以下载，这是从生成的。有人能告诉我如何修改下面的代码才能将HDF5文件读入RDD吗？谢谢!
package a.b.c
import org.apache.spark._
import org.apache.spark.sql.{SQLContext, DataFrame}
import org.apache.spark.ml.tuning.CrossValidatorModel
import org.apache.spark.ml.regressi
浏览 4提问于2016-11-16得票数 1
2回答
我通常使用.gz读写Spark中的文件，该文件的数量应该与RDD分区的数量相同。也就是说，一个巨大的.gz文件将读取到单个分区。然而，如果我读到一个.bz2，我还会得到一个巨大的分区吗？或者星火支持将一个.bz2自动拆分成多个分区？
此外，当Hadoop从一个bz2文件中读取时，我如何知道它将是多少个分区。谢谢!
浏览 3提问于2016-05-25得票数 7
回答已采纳
我正在尝试读取EMR上的SPARK中的文件，我在不同的系统(Illumina ICA)中为该文件提供了临时凭据。 当尝试使用spark.read.csv和S3 URI读取文件时，它给出了错误： Py4JJavaError: An error occurred while calling o65.csv.
: java.io.IOException: com.amazon.ws.emr.hadoop.fs.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: The AWS Access Key Id you provided do
浏览 39提问于2021-04-07得票数 1
3回答
我有.gz压缩格式的行数据。我不得不用pyspark来读它，下面是代码片段
rdd = sc.textFile("data/label.gz").map(func)
但我无法成功读取上述文件。如何读取gz压缩文件？我发现了一个类似的问题，但我当前版本的spark与该问题中的版本不同。我希望在hadoop中应该有一些内置的函数。
浏览 0提问于2017-03-13得票数 12
回答已采纳
我在S3桶中有多个文件，必须解压缩这些文件，并将所有文件合并到一个带有单个头的文件中。所有文件都包含相同的标题。
数据文件如下所示。
存储系统: S3桶。
part-0000-XXXX.csv.gz
part_0001-YYYY.csv.gz
part-0002-ZZZZ.csv.gz
.
.
.
.
part-0010_KKKK.csv.gz.
我想要一个CSV文件从所有的文件，如上面所示。请帮助我如何解压缩和合并所有的文件。
在解压缩并将所有文件合并到一个CSV中之后，我可以使用该文件与以前的文件进行数据比较。
我使用的是spark 2.3.0和Scala2.11
非常感谢
浏览 1提问于2018-09-26得票数 1
回答已采纳
2回答
使用下面的代码，我可以压缩并保存为.gz文件
import spark.implicits._
val someDF = Seq(
(8, "bat"),
(64, "mouse"),
(-27, "horse")
).toDF("number", "word")
someDF.coalesce(1)
.write.format("com.databricks.spark.csv")
.option("header", "true")
浏览 7提问于2020-09-11得票数 2
2回答
我正在尝试从几个压缩成tar的json文件创建一个Spark。例如，我有3个文件
file1.json
file2.json
file3.json
这些都包含在archive.tar.gz中。
我想从json文件中创建一个dataframe。问题是Spark没有正确读取json文件。使用sqlContext.read.json("archive.tar.gz")或sc.textFile("archive.tar.gz")创建RDD会导致错误/额外的输出。
是否有办法处理星火中包含多个文件的gzipped档案？
更新
使用的答案中给出的方法，我能够让事情运行，但这
浏览 3提问于2016-07-28得票数 9
回答已采纳
我有一个天蓝色的存储帐户(Storagegen2)，需要复制像config.yaml、文本文件、gz文件这样的文件，以便在代码中引用它们。我已经尝试了中列出的步骤，但是它所做的是挂载一个文件系统。如果您引用它用于ex：yaml_file_test = mssparkutils.fs.head("synfs:/79/myMount/Test2/config.yaml",100)，它将返回一个星星之火数据，而不是一个文件。
yaml文件包含许多要通过项目使用的局部变量。
我想要实现的是，如下所示。
with open('synfs:/80/myMount/Test2/con
浏览 13提问于2022-08-01得票数 0
1回答
我遵循这个来封装模糊-c-意思是lib在星火集群上运行，我在码头上使用了bitnami/ image映像。我使用python映像构建了python 3.7的venv，并安装了fuzzy方法库。然后，我使用venv来压缩environment.tar.gz文件中的venv。
我有一个app.py文件：
from pyspark.sql import SparkSession
def main(spark):
import fcmeans
print('-')
if __name__ == "__main__":
print('
浏览 48提问于2022-08-05得票数 0
回答已采纳
1回答
我试着使用火花操作符和dataproc在GKE上运行我的spark作业，但是在这两种情况下，hadoop适配器都能够列出文件，但是在尝试从GCS读取文件时被困在睡眠重试循环中。
服务帐户具有完全访问权限，我能够使用同一个服务帐户在同一个executor容器上使用gsutil获取文件。这似乎排除了网络或权限问题。使用火花操作符版本v2.4.0-v1beta1-latest
日志：
2019-07-12 11:33:12 INFO HadoopRDD:54 - Input split: gs://app-logs/2019/07/04/08/ip-10-1-34-63-app-json.log-
浏览 3提问于2019-07-12得票数 2
我正在尝试使用spark读取一个gzip (.gz扩展名) avro文件，但是我得到了下面的错误。我从文档中看到，spark应该能够在没有任何额外转换的情况下读取.gz文件(可能是针对csv/文本文件)。 我尝试运行下面的命令，但它给出了错误： df= spark.read.format("com.databricks.spark.avro").load("/user/data/test1.avro.gz") 错误： Traceback (most recent call last):
File "<stdin>", line
浏览 44提问于2021-01-26得票数 0
我在同一个桶中存储了存储在S3上两个位置上的拼花文件：
path1: s3n://bucket/a/
path2: s3n://bucket/b/
数据具有相同的结构。我希望从第一个位置读取文件，并使用spark将它们聚合到第二个位置。下面是代码片段：
val df1 = sql.read.parquet(path1)
val df2 = sql.read.parquet(path2)
val df = df1.unionAll(df2)
df.write.mode(SaveMode.Overwrite).parquet(path1)
当我运行这段代码时，我会得到以下异常：
java.io
浏览 0提问于2016-05-16得票数 0
回答已采纳
文件名不是以.gz结尾的，我无法将它们改回，因为它们是与其他程序共享的。
file1.log.gz.processed只是一个csv文件。但我如何在pyspark中阅读它，最好是在pyspark.sql中？
我试图指定格式和压缩，但找不到正确的键/值。例如，
sqlContext.load(fn, format='gz')
没有起作用。虽然Spark可以处理gz文件，但它似乎是通过文件名来确定编解码器。例如，
sc.textFile(fn)
如果文件以.gz结尾，将会起作用，但在我的例子中不是。
如何指示Spark使用正确的编解码器？谢谢!
浏览 0提问于2015-12-07得票数 4
2回答
我有一个scala程序，它使用"s3n://bucket/filepath/*. json“这样的文件模式来指定文件，使用DataFrameReader将json文件读入DataFrameReader。现在，我需要将".json“和".json.gz”(gzip)文件读入dataframe。
由于当前的方法使用通配符，如下所示：
session.read().json("s3n://bucket/filepath/*.json")
我想同时阅读json和json-gzip文件，但是我还没有找到通配符模式表达式的文档。我很想写一个更复杂的通配符，但是缺乏通
浏览 0提问于2021-01-22得票数 1
我有一个文件夹，其中包含许多小的.gz文件(压缩的csv文本文件)。我需要在我的Spark作业中读取它们，但问题是我需要根据文件名中的信息进行一些处理。因此，我没有使用：
JavaRDD<<String>String> input = sc.textFile(...)
因为据我所知，我不能以这种方式访问文件名。相反，我使用：
JavaPairRDD<<String>String,String> files_and_content = sc.wholeTextFiles(...);
因为这样我就得到了一对文件名和内容。然而，这样看来，输入阅读器无法
浏览 2提问于2014-06-25得票数 6
回答已采纳
1回答
我在S3中有多个文件。
s3 = boto3.client("s3")
paginator = s3.get_paginator("list_objects_v2")
for page in paginator.paginate(Bucket='cw-milenko-tests', Prefix='Json_gzips'):
contents = page["Contents"]
for c in contents:
if (c['Key']).startswith(
浏览 1提问于2020-07-13得票数 1
回答已采纳
我从其中下载了一个url (它是JSON格式的)，使用Databricks：
url="https://tortuga-prod-eu.s3-eu-west-1.amazonaws.com/%2FNinetyDays/amzf277698d77514b44"
testfile = urllib.request.URLopener()
testfile.retrieve(url, "file.gz")
with gzip.GzipFile("file.gz", 'r') as fin:
json_bytes = fin.read()
浏览 3提问于2022-04-22得票数 0
2回答
我们希望检查tar.gz文件是否已损坏
例如
我使用文件命令
file spark2-hdp-yarn-archive.tar.gz
spark2-hdp-yarn-archive.tar.gz: gzip compressed data, was "spark2-hdp-yarn-archive.tar", last modified: Wed Aug 1 15:05:27 2018, max compression
在这种情况下，文件似乎是可以的。
但是，我不确定file命令是否是检查压缩文件的正确方法。
其次，指示tar.gz文件已损坏的预期结果是什么？
浏览 0提问于2018-09-04得票数 0
回答已采纳
1回答
我在s3上有n个.zip文件，我想要处理这些文件并从中提取一些数据。zip文件包含单个json文件。在Spark中，我们可以读取.gz文件，但我没有找到任何方法来读取.zip文件中的数据。有没有人能帮帮我，我该如何使用python在spark上处理大型zip文件。我遇到了一些选项，如newAPIHadoopFile，但没有任何运气，也没有找到在pyspark中实现它们的方法。请注意，zip文件是>1G的，有些也是20G的。
下面是我使用的代码：
import zipfile
import io
file_name = "s3 file path for zip file"
浏览 1提问于2019-03-28得票数 4
1回答
我已经这样启动了我的集群：
/usr/lib/spark/bin/spark-submit --class MyClass --master yarn-cluster--num-executors 3 --driver-memory 10g --executor-memory 10g --executor-cores 4 /path/to/jar.jar
我做的第一件事是读取一个大的文本文件，并对其进行计数：
val file = sc.textFile("/path/to/file.txt.gz")
println(file.count())
在执行此操作时，我看到只有一个节
浏览 0提问于2015-01-24得票数 14
回答已采纳
在Spark cluster (Dataproc)上执行代码时，我遇到了OOM问题。 环境:2节点集群，每节点6G内存。测试文件大小为20 is。 下面是我的代码： from __future__ import absolute_import
import pyspark
sc = pyspark.SparkContext()
sc._jsc.hadoopConfiguration().set('fs.sftp.impl', 'org.apache.hadoop.fs.sftp.SFTPFileSystem')
data = sc.textFile(
浏览 12提问于2019-02-12得票数 3
我有一些文件，我想要使用火花结构化流。这个结构是这样的：
myFolder
└── subFolderOne
├── fileOne.gz
├── fileTwo.gz
└── fileThree.gz
└── subFolderTwo
├── fileFour.gz
├── fileFive.gz
├── fileSix.gz
当我只做以下操作时，它就起作用了：
val df = spark
.readStream
.format("json")
.schema(schema)
.option("maxF
浏览 4提问于2021-02-25得票数 0
我在一个xml文件中有2700万条记录，我想把它推到下面的elasticsearch索引中，这是用scala编写的代码片段，我将创建一个星火作业jar并在AWS EMR上运行
我如何有效地利用火花来完成这个练习？请指点。
我有一个12.5GB的压缩xml，我正在将它加载到中。我是星火公司的新手.(我应该分割这个gzip文件吗？或者火花执行者会处理它？)
class ReadFromXML {
def createXMLDF(): DataFrame = {
val spark: SparkSession = SparkUtils.getSparkInstance("Spa
浏览 5提问于2020-08-20得票数 4
回答已采纳
我有一个像这样的JSON
{ 1234 : "blah1", 9807: "blah2", 467: "blah_k", ...}
已写入gzipped文件。它是一个ID空间到另一个ID空间的映射，其中键是ints，值是strings。
我想将它作为DataFrame加载到Spark中。
我把它加载为，
val df = spark.read.format("json").load("my_id_file.json.gz")
默认情况下，Spark使用一个模式加载它，该模式如下所示
|-- 1234: strin
浏览 0提问于2018-09-12得票数 1
我正在使用Apache中的MovieLens数据集。为了把数据放进火花DataFrames，我用了两种方法-
直接从.csv文件读取，使用spark.read.load() -> Works精细将.csv文件放在Postgres服务器中，使用之类的jdbc连接将SQL关系读取到Spark
dataframeList[table] = spark.read.format("jdbc"). \
options(
url = 'jdbc:postgresql
浏览 1提问于2022-11-20得票数 0
回答已采纳
4回答
我有一个来自s3的大型(大约85 GB压缩)压缩文件，我正试图在AWS上使用Spark (现在有一个m4.xLarge主实例和两个m4.10xLargecore实例，每个实例都有一个100 GB的EBS卷)。我知道gzip是一种不可拆分的文件格式， 认为应该重新划分压缩文件，因为Spark最初给出了一个带有一个分区的RDD。但是，在做完之后
scala> val raw = spark.read.format("com.databricks.spark.csv").
| options(Map("delimiter" -> "\
浏览 5提问于2016-11-08得票数 17
回答已采纳
我有这三个文件file_1.csv，file_2.csv，file_3.json里面的tar.gz文件。我想在spark数据帧中读取file_1.csv
如下所示：
df = spark.read.csv("s3://my_bucket/key/my_file_.tar.gz/file_1.csv")
浏览 0提问于2019-06-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
