1回答
假设您有两个s3存储桶，您想要从中读取spark数据帧。对于在spark数据帧中读取的一个文件，将如下所示： file_1 = ("s3://loc1/")
df = spark.read.option("MergeSchema","True").load(file_1) 如果我们有两个文件： file_1
浏览 9提问于2021-10-18得票数 0
回答已采纳
我有两个数据帧，第一个数据帧包含实际数据(从CSV文件读取)，第二个数据帧包含一个具有多个关键字的列。即下面的Dataframe-1外观相似(我们必须搜索的地方)：数据帧-2：我想要的输出：我在这里使用spark scala。有人知道如何在spark scala SQL中或使用datafram
浏览 1提问于2021-02-12得票数 0
假设我有一个10 c1的数据帧，其中一个列的"c1“对于每条记录都有相同的值。每个单独的分区最大为128 MB(默认值)。
浏览 34提问于2021-09-23得票数 2
回答已采纳
让我们考虑包含以下数据的csv文件 Id、职务、年份 1，,2000 CSV读卡器代码： var inputDFRdd = spark.emptyDataFrame.rdd .option("mode", "FAILFAST")
.option("delimiterload().rdd.zi
浏览 49提问于2021-09-16得票数 0
我正在读取多个路径，并使用以下命令加载这些路径中的拼图文件： val paths = List("/mnt/datamount/tmp/fldr=2345","/mnt/datamount/tmp/fldr=1234","/mnt/datamount/tmp/fldr=5678") 下面是读取命令： val readdf = spark<
浏览 19提问于2021-03-19得票数 0
我不得不从Azure数据湖中读取一堆JSON文件。我使用Databricks，当我使用Spark 2.4.5的集群时，我能够读取所有的文件，但当我使用Spark 3.0.1时，返回的数据帧是空的。我正在使用以下命令，
dfa = spark.read.json("dbfs:/mnt/abc/bronze/xyz/history/*.json&quo
浏览 32提问于2021-05-14得票数 0
我想读取excel文件作为spark数据帧，第3行作为header.The synatax，读取excel文件作为spark数据帧，第1行作为标题是： s_df = spark.read.format("com.crealytics.spark.excel") \
.option("header&
浏览 86提问于2021-04-07得票数 2
回答已采纳
2回答
我有一个CSV文件和一个头文件，它必须作为数据帧通过Spark(2.0.0和Scala 2.11.8)读取。当我尝试将spark中的csv数据作为数据帧读取时，我遇到了问题，因为标题包含列(No.指项目)具有特殊字符“。我尝试用来读取csv数据的代码是：
val spark = SparkSession.builder().appName(&qu
浏览 0提问于2017-09-06得票数 3
我在Azure Cosmos DB中有一个容器，在同一个容器中有多个文档类型。因此，根据类型，密钥对会发生变化。我正在尝试使用以下代码从Synapse的这个容器中读取数据： cfg = {"spark.cosmos.accountKey": accountKey,
"spark.cosmos.database": databa
浏览 58提问于2021-10-28得票数 0
回答已采纳
我得到了又大又复杂的XML文件，这些文件可以从Spark程序中读取。手动编写Schema将是一项繁重的任务。那么，有没有现有的工具可以从XML文件中生成模式(StructType)呢？
浏览 25提问于2021-08-12得票数 0
我正在尝试使用spark从HTTP读取JSON文件。因为它不是HDFS或任何可以轻松读取数据并将其转换为数据帧的地方。URL(S)是HTTPS，需要一个令牌和一堆头来成功地检索响应。响应是这样的，可以很容易地转换为数据帧中的一行。403010",} "code": "40
浏览 4提问于2021-10-28得票数 0
在最初的EMR步骤中，我使用将文件树从S3复制到HDFS。然后，我运行一个需要读取这些文件的spark步骤。加载代码如下：作业失败，并出现java异常。java.io.IOException: Not a file: hdfs://10.159.123.38:9000/data_dir/year=2015
我曾经(也许是天真
浏览 3提问于2015-10-03得票数 5
2回答
我正在尝试读取多个输入路径，并根据路径中的日期向数据帧添加两列。实际上，这些文件是以orc的形式存储的，使用hive对这些日期进行分区，因此它们具有类似s3n://bucket_name/folder_name/partition1=value1/partition2因此，在这里，我尝试从多个路径获取多个目录，并根据分区为每个spark数据帧创建两个
浏览 1提问于2018-02-09得票数 2
回答已采纳
当我尝试使用sdf_collect()为Factor Analysis收集它时，它给出了这个内存错误：
Error : org.apache.spark.sql.execution.OutOfMemorySparkException: Total memory usage during row decode exceeds spark.driver.maxResultSize (4.0 GB).
浏览 4提问于2020-09-30得票数 0
您将需要执行相当多的计算，从源数据帧，一个Spark表，不是吗？或者，dataframe和table都是指向相同数据的指针(即，在创建表时，不是在创建重复数据)？我猜我想要弄清楚的是，你是否可以从一个Spark数据帧到一个表‘开关开关’，或者这样做的计算量是否(非常)昂贵(毕竟这是大数据...)
浏览 26提问于2021-04-26得票数 0
2回答
Fasta文件是一个多行文件。它的结构类似于ACGTAGCATGCAGCTAGTACATCval sequences = sc.textFile("path&#
浏览 0提问于2018-05-14得票数 2
我正在尝试从csv文件创建spark数据帧，但是我不想在数据帧中包含原始数据中的特定列。在设置架构或读取csv文件时，是否可以这样做？
浏览 35提问于2018-08-01得票数 0
1回答
我有大约400个CSV文件。我想在这些CSV文件上创建一个Hive表，但只包括列的某个子集(见下文)。表中：我知道我只能更改CSV中的数据</em
浏览 0提问于2017-10-03得票数 1
我在使用制表符分隔值(TSV)和逗号分隔值(CSV)文件时使用Spark 2.0。我希望将数据加载到Spark-SQL数据帧中，在读取文件时，我希望完全控制模式。我不希望Spark从文件中的数据中猜测模式。
如何将TSV或CSV文件加载到Spark SQL Dataframe中，并对其应用模式？
浏览 2提问于2017-04-20得票数 6
1回答
TL:DR或者，是否有一种方法可以将星火数据帧行转换为一组文本键/值对( Scala会理解)？全面问题：
属性文件不是本地的，它位于Databricks集群上。尝试从"dbfs:/“或"/dbfs”读取文件时，在使用scala.io.Source库时找不到文件。不过
浏览 4提问于2020-12-29得票数 1
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
