有没有什么具体的方法可以从Apache Spark上的数据集中删除记录？或者，有什么替代方案可以实现它吗？
浏览 40提问于2017-01-31得票数 0
回答已采纳
我有下面的Java Spark数据集/dataframe。 Col_1 Col_2 Col_3 ...A 1 1B 2 2C 1 NULL 这个数据集中有将近25列，我必须删除那些在Col_1上重复的记录。如果第二个记录为NULL，则必须删除NULL (如COl_1 = A)，如果有多个有效值(如Col_1 =B
浏览 17提问于2020-11-25得票数 0
回答已采纳
1回答
在spark中，如何处理损坏的记录？实际上，我正在寻找损坏的记录应该持久化到另一个文件，以供以后审查。模式- DROPMALFORMED选项将从数据集中删除损坏的记录。会有帮助的。
浏览 0提问于2018-11-20得票数 0
0回答
当我使用sparkSql接口从HDFS读取数据时，一些任务抛出了java.lang.ArrayIndexOutOfBoundsException。我认为可能是数据集中有一些不好的记录，导致任务失败。我怎样才能得到坏的记录？或者，当我使用spark接口加载数据以使应用程序成功时，我如何忽略坏记录？:617)
at java.lang.Thread.run(Thread.<em
浏览 2提问于2017-06-18得票数 1
2回答
我的应用程序中有一个处理一个大数据集的管道--伪代码：data.join(df1, "key") //etc, more transformations将从存储所有数据集中删除，也从extension数据集中删除，该数据集不是我试图取消持久化的数据集。如何通过unpersist在旧<e
浏览 2提问于2018-01-17得票数 15
回答已采纳
我们在Azure数据仓库中有一个包含170亿条记录的表。现在我们有了一个场景，我们必须根据某些where条件从这个表中删除记录。我们正在Azure Databricks notebooks中用Scala语言编写Spark。我们在Spark中搜索了不同的选项，但都建议首先读取整个表，删除其中的记录，然后覆盖Data Warehosue中的整个表。然而，这种方法在我们的例子中不起作用，因为我们的表中有大量的记录。你能建议
浏览 2提问于2019-07-31得票数 0
1回答
筛选火花数据集
、、
在火花会议上 .builder() .config("spark.some.config.option", "some-value")从数据集中val
浏览 4提问于2022-07-21得票数 2
回答已采纳
3回答
星星之火:数据集序列化
、、、
如果我有一个数据集，其中的每个记录都是一个case类，那么我将该数据集持久化如下所示，以便使用序列化：Spark是否使用java/kyro序列化来序列化数据集？或者就像dataframe一样，Spark有自己的方式将数据存储在数据集中？
浏览 4提问于2017-12-26得票数 5
2回答
我在由5个节点组成的Spark2.3集群上，每个节点都有12 of的可用内存，我正在尝试使用大约130 of的Parquet数据集，在此之上我创建了一个分区的外部Hive表。假设我想知道数据集中的记录数量。我最初的猜测是，Spark将按分区读取数据分区，聚合当前分区以获取记录计数，将结果传递给驱动程序，然后删除该分区以读取下一个分区。然而，要么这不是它的工作方式(而是，Spark试图首先读取内存中的所有内容)，要么我
浏览 0提问于2018-12-05得票数 0
回答已采纳
2回答
我想在Access中导出一个记录集中的某些数据到Excel。关于命令或如何从记录集中获取这些列名有什么建议吗？
浏览 1提问于2011-07-13得票数 1
回答已采纳
1回答
从数据集中识别某些记录
、、、
使用所收到的帮助，我有如下所示的数据集：
我需要能够识别第2行，在第2行中，TotalWeeks列已经达到或超过了23周，所以我可以返回正确的ToDate值。为了获得该数据集，我使用了如下查询： idcol , ToDate , Weeks ORDER BY 但是，我如
浏览 2提问于2016-06-17得票数 0
我有一个通常的while not EOF do循环，它从内存表中删除某些记录。删除最后一条记录不会像预期的那样向EOF发出信号。Not mtCt.Eof do if mtCtAmt.Value = 0.0 then elseend;
如何删除与FireDAC数据集中某个值匹配的所有记录？
浏览 5提问于2016-03-01得票数 1
回答已采纳
如何仅为所有其他文件选择第一个文件中的列？= SparkSession.builder.\ files=glob.glob(fpath +'*.sas7bdat')
浏览 1提问于2019-09-06得票数 3
回答已采纳
2回答
我有一个包含文本文件(txt-格式)的大型数据集。文本文件包含这种格式的数据：Name, Number, Timestamp... , Sensordata40现在我需要从每一行中删除数字和时间戳e){//Catch exception if
浏览 3提问于2016-06-29得票数 0
回答已采纳
我尝试将pandas数据帧转换为PySpark格式 StructField("rating", FloatType())movielens = spark.createDataFramenullable = true)
|-- userId: integer (nullable = tru
浏览 1提问于2021-06-12得票数 0
a)与传统的java JDBC调用相比，Spark有没有一种方法可以优化从关系数据库获取数据。b)如何在运行Spark查询时减少数据库的负载，因为我们将为所有查询直接命中生产数据库。假设Spark报告案例的生产中有3000万条订单记录和1.5亿条订单行记录。
浏览 2提问于2015-08-18得票数 2
我遇到了一些数据删除问题，因为我们已经从CDH迁移到HDP (spark 2.2到2.3)。这些表是从hdfs位置读取的，在运行读取和处理这些表的火花作业一定时间之后，它会抛出表而不是找到异常，并且当我们检查该位置时，所有记录都消失了。在读取表之前我看到的spark(Java)代码中，调用了clearCache()。它能删除那些文件吗？如果是的话，我该怎么解决呢？
浏览 7提问于2020-08-18得票数 0
1回答
我想知道如何从dataset中删除定义它们的列中有超过5个null值的记录，我认为可以用以下代码实现这一点，但我没有得到应该得到的结果：
cols_borrar <- which(colMeans(is.na
浏览 0提问于2022-03-02得票数 0
我刚接触过Java和，并试图找出如何从spark中的数据集中作为一个平面列表来获取单个列的值。如何使用java在spark中实现这一点？
浏览 3提问于2020-04-06得票数 0
回答已采纳
提示用户选择保存相关数据的字段。
我必须要做的事情是提示在哪里找到数据。最初，我创建了一个简单的数组来从输入源捕获字段名，但是在如何将字段名输入到用户表单和组合框方面遇到了一个绊脚石。最后，我决定创建另一个临时表，而不是将字段名插入数组中，而是将它们保存到记录集中，然后通过创建另一个记录集并查询该记录集，并从所选记录集中</
浏览 2提问于2015-08-14得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
