final Broadcast<Dataset<Row>> b = sparkSession.sparkContext().broadcast( classTag(Dataset.class)createTag方法：
private static <T> ClassTag<T> class
浏览 21提问于2019-10-30得票数 0
我正在尝试从Dataset<Row>对象创建JavaRDD<Tuple2<Row, Row>>对象。我遵循以下步骤，
使用toDataset()函数的sqlContext与模式转换为数据集。但是，在第一步中，我无法在代码中使用像scala这样的Row</e
浏览 5提问于2020-06-26得票数 4
回答已采纳
(ThreadPoolExecutor.java:1142) at java.lang.Thread.run(Thread.java:745)
作为解决办法，您可以通过将spark.sql.autoBroadcastJoinThresholdDataset</em
浏览 1提问于2018-08-27得票数 2
回答已采纳
我正在尝试将HashMap放在BroadCast变量中，但是在错误以下在下面的代码片段中
Broadcast<HashMap<static <T> ClassTag<T
浏览 3提问于2022-01-07得票数 1
关于如何使用Spark Scala/Python创建空的dataframe/Dataset，有很多示例。但是我想知道如何在Java Spark中创建一个空的dataframe/Dataset。我必须创建一个空的dataframe，其中只有一列，标题为Column_1，类型为String。
浏览 27提问于2020-07-14得票数 0
回答已采纳
<KieBase> classTagTest = scala.reflect.ClassTag$.MODULE$.apply(KieBase.class);在这里，finalJoined是Dataset<Row>类型
public static void droolprocess(KieBase base,Row row</e
浏览 1提问于2018-06-15得票数 0
回答已采纳
我有一个Java字符串数组，它包含45个字符串，基本上就是列名目前，我将上述字符串数组存储在Spark驱动程序的静态字段中。我在创建DataFrame时使用了上面的字符串数组我想使用广播变量来做上面的事情，这样它就不会将巨大的字符串数组传递给每个执行器我相信我们可以像下面这样做来<
浏览 0提问于2015-09-12得票数 3
回答已采纳
2回答
行类型Spark数据集的编码器
、、、、
我想为DataSet中的类型编写一个编码器，用于我正在执行的映射操作。从本质上讲，我不知道如何编写编码器。<Row> @Overridejoin.schema(); }
浏览 7提问于2017-04-06得票数 29
回答已采纳
我想在我的Java Spark应用程序中使用RangePartitioner，但是我不知道如何设置两个scala参数scala.math.Ordering<K> evidence$1和scala.reflect.ClassTag
浏览 17提问于2015-06-09得票数 8
在测试中，我试图将数据/数据集转换为集合并进行比较。例如。在Scala中，Double.NaN == Double.NaN返回false。
println(dataSet.collect.toSet == dataSet.collect.toSet) //false, why?它是如何在代码中发生
浏览 1提问于2020-09-15得票数 2
回答已采纳
在Java语言中，我使用RowFactory.create()创建一个Row：其中“记录”是数据库中的一条记录，但我不能预先知道“记录”的长度，所以我想使用列表或数组来创建“行”。在Scala中，我可以使用Row.fromSeq()从列表或数组创建</e
浏览 70提问于2016-09-26得票数 8
其中Dataset用作对象的分布式集合。 我担心的不是它是如何分布的，而是一个基本的数据结构。如果我创建了自己的数据集，我很想知道它是如何放在java中的。 它看起来像这个Dataset<Row>。其中Row是记录，可以是多个。这就是创建Dataset<Row>工作方式 List<Row> rows = new ArrayList<Row&
浏览 48提问于2020-06-10得票数 1
1回答
传入参数的匿名方法
、、、、
我已经在Pregel中创建了一个方法，它具有以下签名：A<VD> arg7, 如图所示，我正在调用该方法：但我面临以下错误
The method apply(Graph<<VD>, ClassTag&
浏览 3提问于2017-10-02得票数 0
1回答
我创建了一个简单的Java应用程序，它使用Apache从Cassandra检索数据，对其进行一些转换，并将其保存在另一个Cassandra表中。(reportTime.getTime()), classTag(java.sql.Timestamp.class));如您所见，每个操作都执行两次。
我做错了什么吗？有什么我错过的场景吗
浏览 1提问于2015-11-17得票数 4
我正在尝试从T类型的RDD创建一个数据集，该类已知是一个case类，作为函数的参数传递。问题是，推论编码器不适用于这里。如何将类型参数设置为能够创建数据集？我尝试过将T设置为T: ClassTag或使用implicit ClassTag，但这并没有帮助。如果我使用提供Type的代码，它可以工作，所以我想传递的特定类类型(基本案例类)没有问题。在我的用例中，我在函数中做其他的事情，但这是基本的问题。def createDatasetFromRDD[T](rdd: RDD[T])(impli
浏览 0提问于2019-08-01得票数 1
回答已采纳
1回答
当我们在Scala中有一个任意类型为X的数组，并且我们试图使用map对它的每个值进行双重嵌套(也就是将[1,2,3]转换为[[[1]],[[2]],[[3]]])，我们就得到了一个java.lang.ArrayStoreException下面的代码是一个最小的失败示例：import scala.
浏览 14提问于2018-08-20得票数 3
回答已采纳
2回答
分类键值在HashMap中的程序开始时加载.因此，需要将每个传入的数据包与这些密钥进行比较，并相应地进行标记。如何在所有使用HashMap的火花工作者上共享我的HashMap。或者，是否有更好的方法来做到这一点？
我正在用Java编写火花流应用程序的代码。
浏览 0提问于2015-06-10得票数 8
回答已采纳
我正在使用Java语言处理Apache Spark中的Dataset<Row>，需要对此Dataset中的所有列进行一些数学转换。基本上，其中一个转换是获取存储在此数据集中的所有值的日志，并仍然返回Dataset<Row>。我清楚地知道如何在RDD中的map函数中执行此操作，但是如何在Dataset<Row><
浏览 0提问于2017-01-04得票数 1
我正在编写Java代码，其中需要调用Scala函数，该函数的定义如下：我不知道如何在java中生成arg1和arg
浏览 30提问于2016-07-26得票数 2
回答已采纳
1回答
Scala群按元素类型
、、、
我编写了一个文本分析器，它使用n个解析器(通过对n个示例进行培训生成)解析给定的文本，这些解析器包含类型的列表。注意，每个对象都有参数(假设在本例中所有对象都有相同的参数名为param)，其值可能会有所不同。我的目标是减少列表以删除公共解析器(即具有相同参数的对象)，以便进一步处理和使用。为了实现同样的目标，我正在考虑对相同类型的元素进行分组，然后减少这些组的数量。但是，我不确定如何使用类型进行groupBy。相同的任何建议/指针都会有帮助(或者
浏览 3提问于2015-09-03得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
