2回答
我有一个JSON服务器日志文件，我想使用Spark 2.2.0和Java API对其进行解析，然后使用然后，is_available: boolean (nullable = true)我想要得到得分最低的实体，这是可用的，所以我会得到一个类似如下的数据集： |--
浏览 1提问于2017-08-16得票数 1
回答已采纳
我想要取嵌套数组中特定值的最大值和最小值。我想要输入的嵌套数组是[40，50，50，60，60，70]。
最大经度应输出70，最小经度应输出50。现在我的问题是，如何获取嵌套数组中经度和纬度值的最大值和最小值，并使用JavaScript分别求出平均值？
浏览 80提问于2018-10-29得票数 1
我使用Spark2.3.2并读取一个多行JSON文件。pid: string (nullable = true)可以看出，JSON文件有一个嵌套的结构，检索特定的嵌套特性(例如季节、速度等)并不容易。我就是这样读取数据的：
浏览 2提问于2018-11-29得票数 2
1回答
我需要在数据集中的两行之间找到每一行的最小值。这就是1&1，1&2，2&3行中的最小值。我需要新数组的第一行为0(对应于数组的第一个值)，以得到一个长度相同的新数组。
更容易减法..。例如，Cl <- abs(diff(data$Cl,lag=1))，但是我似乎无法得到这个值的最小值。这是我
浏览 0提问于2014-01-15得票数 2
回答已采纳
我正在获取mongoDB文档，然后在处理之后，我想使用Bson.Document库将其存储到Hbase中在结构化流媒体中，我得到了DatasetDocument
scala> val stream = spark.readStream.format("kafka").option("subscribe", s"topic
浏览 15提问于2019-11-09得票数 2
我使用嵌套数据结构(数组)来存储Spark表的多值属性。我在Spark SQL中使用array_contains(数组，值)来检查数组是否包含值，但似乎存在性能问题。一个大的Spark表需要很长的时间。有没有其他的解决方案。
浏览 0提问于2018-09-23得票数 0
2回答
在Parquet文件格式中使用嵌套数据类型会带来任何性能上的好处吗？AFAIK Parquet文件通常是专门为查询服务(如Athena )创建的，因此创建这些文件的过程可以简单地平缓值--从而允许更容易地查询、简化模式，并保留每列的列统计信息。使用嵌套数据类型(如struct )有什么好处？
浏览 0提问于2018-03-25得票数 3
回答已采纳
1回答
我想要得到distance_n的最小值以及包含该最小值的整行。
为了获得整个行，我将此表转换为用于执行spark.sql的df3//抛出错误
如果<em
浏览 21提问于2018-10-08得票数 2
我必须对spark数据集应用一些限制，并且必须创建spark数据集的子集，并且需要从该数据集中提取一行。我通过使用dataset的除了函数和限制函数实现了这个逻辑。这里的问题是，当我使用时，数据集的顺序已被更改。就我的逻辑而言，维持秩序是很重要的。例如：我的数据集是:有3行的数据集
Choco
浏览 1提问于2018-04-03得票数 0
1回答
我有一个类似于这个数字的数组：最小值为0.5，最大值为93。我希望将该数据集的极值舍入为step值。例如：新的最小值应始终为<=，数据集中的实际最小值和新的最大值应始终是>=，数据
浏览 1提问于2021-02-12得票数 1
回答已采纳
2回答
我有一个scala-2.11函数，它根据提供的类类型从Map创建一个case类。someMap(param.name.toString))
}
我试图在spark数据帧的上下文中将其用作UDF。然而，我不确定通过case类的最好方法是什么。下面的方法似乎不起作用。def myUDF[T: TypeTag] = udf { (inMap: Map[String, Long
浏览 0提问于2017-08-24得票数 4
1回答
使用Java从CSV读取数组浮点
、、、、
我正在使用Java处理一个新的Spark项目。我必须从CSV文件中读取一些数据，这些CSV有一个浮点数数组，我不知道如何在我的数据集中得到这个数组。我从CSV上读到：我试着用这种方式获取数据：
Dataset<Row> typedTrainingData0.04,0.1
浏览 1提问于2018-12-14得票数 0
回答已采纳
在尝试将数据集中的数据加载到Hive表时，获取错误：
我的dataset包含与Hive表相同的列，其获取错误的列在我的代码(Java)中以及在Hive中都有日期<
浏览 0提问于2018-09-03得票数 1
2回答
从这个数组中，您需要找到子集。从这个子集中，您应该能够获取任意两个数字，它们的和总是大于k. k是用户输入的值。在下一遍中，我将按降序排列数组。在此之后，我将继续向子集中添加数字，方法是将它们与子集中的最小数相加。
上面提
浏览 3提问于2017-05-21得票数 1
回答已采纳
itertools.product(A, B)]
在上面的代码中，是否有一种方法只返回每个a的a+b的最小值？因此，产出应该是：请注意，这是一个玩具例子，在真实的例子A和B是lat和lon值的列表，我计算它们之间的大圆距离。
浏览 4提问于2015-04-11得票数 2
回答已采纳
CF8
我使用这一行来获取查询列的最小值。我刚刚注意到记录集中的空值会导致错误。有没有一种简单的方法可以告诉ArrayMin跳过空值，而不需要循环列并加载包含所有非空值的数组？
浏览 0提问于2012-05-25得票数 1
回答已采纳
我想知道是否有可能使用Spark创建自定义的JSON
或Apache提供的任何其他功能。我知道我可以使用join()方法连接两个Dataset的JSON，但是我希望创建自定义JSON，其中Dataset 2即警告，在我的示例中，它将作为一个具有“警报”键的JSON对象添加到DatasetDataset<Row> inventory = spark.read().option("multiLine", true).option("
浏览 0提问于2018-03-30得票数 0
回答已采纳
1回答
我在两个数据帧之间运行计算，结果是得到一个嵌套列表。由于我试图保持较高的性能，我将向量化应用于较大的数据帧，并在较小的数据帧上循环。我的目标是有一个新的列表或np.series，其中每列包含所有最小值(因此600行中的</em
浏览 2提问于2018-03-16得票数 0
首先，我知道正则表达式不是实现我想要的东西的最佳工具。我已经做了足够的研究来了解这一点。尽管如此，我遇到的问题要求我构造一个正则表达式来找到一些下限值和上限值之间的值。这就是问题所在，我有一个很大的数据集，假设范围在1到1000000之间。数据不在我的直接控制之下，我不能直接操作数据。从该数据中查找(搜索)某些值的唯一方法是regex。现在，用户可以给出两个值，一个最小值<
浏览 0提问于2016-02-12得票数 0
1回答
一条语句定义能够通过typeunit_id呈现数组呈现数组，但下面给出了一个未定义的数组错误数量方法
<%= @groups_for_unit.quantit
浏览 0提问于2014-09-16得票数 0
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
