因此，我有一个包含嵌套数据的拼图文件，如下所示。我想在scala中使用spark进行处理： { "id": 1, "age": 1, "age":2 } { &qu
浏览 12提问于2019-08-09得票数 0
回答已采纳
我正在从具有嵌套列(struct)的拼图文件中读取数据帧。如何检查是否存在嵌套列？column1 ||{a_id:[3,5]} |
+---------------------+ 我知道如何检查顶级列是否存在，答案如下：How do I detect if a Spark DataFrame has a col
浏览 21提问于2019-03-14得票数 5
回答已采纳
我在scala和spark环境中工作，在那里我想读取拼图文件。在我阅读之前，我想检查一下文件是否存在。org.apache.hadoop.fs.FileSystem
val hadoopfs: FileSystem = FileSystem.get(spark.sparkContext.hadoopConfigurationaccount.dfs.core.windows.net/blah&#
浏览 34提问于2020-02-06得票数 2
1回答
我在Java中使用Spark 1.5.2，并且我试图读入一个包含来自JSON文件的数据的parquet文件。我很难弄清楚应该如何读取一个最初包含嵌套JSON的字段，但现在它是一个WrappedArray<WrappedArray<String>>。我已经浏览了Spark页面以读取拼图文件，但似乎没有一个示例与我正在寻找的相匹配。我做了一些搜索，找到了与scala相似但特定于scala的东西。StructType(StructField(ids,A
浏览 1提问于2016-01-30得票数 3
4回答
如何读取Spark中的嵌套集合
、、、、
如何将该表读入RDD，更重要的是如何过滤、映射等Spark中的嵌套集合？ps。我觉得在谈判桌上提供一些统计数据可能会有所帮助。嵌套集合中的“列”数~10。嵌套集合中的平均记录数~35。
浏览 191提问于2015-05-03得票数 19
回答已采纳
我在拼图文件上有一个按时间戳划分的hive表，并进行了快速转换。所以我现在要做的就是读取我所有的拼图文件并检查它们的模式，这样我就可以重新创建它们了。我希望将我的文件名映射到关联拼图的模式。与Scala和org.apache.spark.sql.functions的input_file_name函数一起使用，并将其封装在一个自定义函数中。at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.sca
浏览 17提问于2019-03-22得票数 0
回答已采纳
2回答
我有一个包含400+列的parquet文件，当我读取它时，附加到许多列的默认数据类型是字符串(可能是由于其他人指定的模式)。我找不到类似于我试着改变
mergeSchema=True有没有一种方法可以检查列是否只包含'integer/ float‘值，并有选择地将这些列转换为浮点数？
浏览 0提问于2018-02-02得票数 0
2回答
在EMR集群5.28.0上，从s3读取拼图文件失败，出现以下异常，而在EMR 5.18.0上，同样可以正常工作。下面是EMR 5.28.0上的堆栈跟踪。我在spark-shell上也试过了df.take(5) Job aborted(ShuffleMapTask.scala:55)
at
浏览 0提问于2019-12-08得票数 3
我经常遇到与查询从位于ADLS Gen2挂载上的拼图文件中选择的TEMPORARY VIEW相关的笔记本故障。(RecordReaderIterator.scala:70) at org.apache.spark.sql.execution.datasources
浏览 0提问于2021-03-18得票数 0
我已经用partition by date类型列将数据以拼图文件格式保存在仓库中。文件数据保存方式与仓库路径类似。Tespath/filename/dt=2020-02-28
如果我读取所有的数据，它的数据量是非常大的。
浏览 14提问于2020-02-24得票数 1
回答已采纳
2回答
我使用spark读取一个文本文件，并将其保存在JavaRDD中，并试图打印保存在RDD中的数据。检查驱动程序日志中是否有警告消息。在slve1.com上丢失了TaskSchedulerImpl执行程序1:远程RPC客户端断开。可能是由于容器超过阈值，或网络问题。检查驱动程序日志中是否有警告消息。错误TaskSchedulerImpl在master.com上丢失了执行器2:远程RPC客户机断开关联。可能是由于容器超过阈
浏览 0提问于2018-08-21得票数 2
1回答
在我的应用程序流中，火花进程最初将数据直接写入存在外部Hive表的HDFS中。当第二个Spark进程试图使用Spark从Hive表中消费时，会获取不正确的数据。场景步骤:这是一个简单的演示，再现了问题：
Write to Parquet:我将数据写入HDFS中的parquet文件，Spark本身假设十进制字段的精度为Decimal(28,26)。scala> val =spark.sql(“选择'dummy‘作为名称，
浏览 7提问于2020-10-07得票数 0
回答已采纳
有一个CSV文件的数据湖，这些文件全天都在更新。我正在尝试使用Trigger.Once功能创建一个Spark Structured作业，以定期将新数据写入到Parquet数据湖中的CSV数据湖中。这就是我所拥有的： .readStream .csv("s3a://csv-data-lake-files")
下面的命令将所有数据写入到拼图湖中，但在写入
浏览 13提问于2017-08-16得票数 12
1回答
我有一些scala程序，它使用spark-2.4.6框架。我的代码是用scala-2.12.12编译的。如何检查我的代码(编译成类文件)是否与spark-2.4.6How兼容，我能检查编译器的哪个版本用于构建spark类吗？这里的二进制兼容性是什么意思？是否存在兼容scala编译器的列表？
浏览 2提问于2020-10-14得票数 0
回答已采纳
我有一个包含拼图文件的文件夹。parquet")org.apache.spark.sql.AnalysisException: Unable to(DataSource.scala:189)
at scala
浏览 0提问于2017-03-27得票数 13
回答已采纳
我使用spark-structured-streaming作为消费者从kafka获取数据，按照指南参考https://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html然后将数据保存到hdfs作为拼图文件。它将导致错误，如不是拼图文件(长度太小: 4)或[.parquet不是拼图文件。期望的幻数在尾部80，65，82，49，但在
浏览 20提问于2019-05-25得票数 0
为什么我的代码不能像预期的那样覆盖数据库中的数据？我已经使用客户端检查了该表，并且它确实存在(这应该无关紧要)。而且里面也有数据。怎么了？这会不会是内存问题？(commands.scala:68)
浏览 2提问于2019-12-13得票数 1
2回答
关于数据格式定义的that权威引语是：“一般来说，星火只在作业执行时才会失败，而不是dataframe定义时间--即使我们指向一个不存在的文件。这是由于延迟的评估。”所以我想spark.read.format().load()是数据的定义。在此基础上，我们应用转换和操作，加载是读取API，而不是转换，如果我没有错的话。我试图在load中“文件不存在”，我认为这是dataframe的定义。但我犯了个错误。根据这本书，它不应该失败，对吗？我肯定漏掉了什么。有人能帮忙吗？df=spar
浏览 1提问于2020-03-30得票数 1
回答已采纳
我正在尝试以嵌套的方式在拼图中存储我的数据，并使用映射类型列将复杂的对象存储为值。如果有人能告诉我过滤器下推是否适用于列或not.For的映射类型，下面的示例是我的sql查询-measureMap是一个映射，关键字作为字符串，值
浏览 2提问于2016-06-21得票数 6
我正在使用一个Dropwizard web服务来访问许多拼图文件，我需要使用“真正的”sql (字符串)，而不是spark DDL (我已经尝试过了，它确实有效，但不满足我的需求)。是否通过SQL或仅通过DDL API (我不能在此用例中使用)来访问拼图。有没有一种方法可以使用DDL加载数据帧( sql = sqlContext.read().parquet(path))，然后对结果应用完整的dataframe命令(减去from子句)？at org.apache.spark.sql.ca
浏览 2提问于2016-06-02得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
