当我尝试在Spark中做这样的事情时： val replicas = 10- root class: "scala.Tuple2"
at org.apache.spark.sql.catalyst.Sca
浏览 16提问于2019-02-28得票数 0
回答已采纳
3回答
我想在DataFrame中复制一行，我该怎么做呢？ data = data.unionAll(singleRowDF)但这引入了许多转换，似乎我随后的操作变得非常慢
浏览 0提问于2016-11-03得票数 7
回答已采纳
我尝试从数据集中复制单行n次，并从中创建一个新的数据集。但是，在复制时，我需要为每个复制更改一个列的值，因为它将在最终存储时作为主键结束。下面是来自SO post的Scala代码： .withColumn("dummy", explode(array((1 until 100).m
浏览 2提问于2017-09-29得票数 4
1回答
我有一个看起来正确的数据集。我可以看到所有行的顺序正确，如下所示： df1.orderBy($"count".desc)
df1.show() 但是当我尝试像这样添加一个限制时： df1.orderBy($"count".desc[https://spark.apache.org/docs/latest/api/scala/org/apache/spark/sql&#
浏览 10提问于2020-10-09得票数 0
回答已采纳
我有一个从spark中的cassandra加载的数据集。在加载这个数据集之后，我将从cassandra中删除一些项，但我希望我的数据集在下一次计算中是第一个。我已经使用了persist(DISK_ONLY)来解决这个问题，但它似乎是最好的方法。如何强制spark避免重新计算？ val dataset:Dataset[Int] = ???// somet
浏览 0提问于2017-10-18得票数 0
1回答
我已经在Spark中将一个蜂窝表缓存到一个数据帧中。 使用计时器，我在2小时后再次安排缓存，并存储到不同的数据帧中。但这一次，缓存并没有像我预期的那样工作。下面是我的代码。实际上，代码是用java编写的，因此它是Dataset而不是Dataframe。private static Dataset<Row> dataset;..
public void cacheDataset(S
浏览 55提问于2020-08-31得票数 0
2回答
(spark.read().jdbc(RPP_CONNECTION_URL, debitoDia3, rppDBProperties)));因此，在这6次访问我的数据库、提取数据集和计数行数之后，我就不需要再去数据库了。，但这一次，在定义Dataset<Row> base时附加了我传递的过滤器。正如
浏览 3提问于2018-01-15得票数 1
回答已采纳
我在使用spark_apply的Spark中遇到了GC开销超过限制错误。以下是我的规格：closure get_dates一次从Cassandra拉取一行数据。总共大约有200k行。这个过程运行了大约一个半小时，然后出现了这个内存错误。
我已经用spark.driver.memory做了实验，它应该会增加堆的<
浏览 3提问于2018-03-10得票数 1
.getOrCreate();LOGGER.info("good integer dataset size and bad integer dataset size:\n" + goodIntegerDataSet.count为此，我使用了非常大<e
浏览 6提问于2021-09-04得票数 0
回答已采纳
第二次运行查询时，速度要快得多。为什么？代码： publicvoidtest3() {
Dataset<Row>
浏览 70提问于2020-10-08得票数 0
我在Spark中编写了一个FilterFunction来过滤DataSet中的行。它工作得很好，但新的要求是我需要将所有省略的行保存到不同的位置。那么最好的方法是什么呢？我的目标是确保不会两次使用相同的DataSet；一次是过滤掉我想要的行，一次是得到省略<
浏览 30提问于2019-10-03得票数 0
我有一个包含数千条记录的数据帧，我想随机选择1000行到另一个数据帧中进行演示。我如何在Java中做到这一点？
谢谢!
浏览 1提问于2016-09-06得票数 34
回答已采纳
2回答
在google计算集群中，我正在尝试使用sparklyr包将csv文件读取到strudio中。配置如下：install.packages("sparklyr")
spark_install(version = "1.6.2")
Sys.setenv(SPARK_HOME="/usr/lib/
浏览 1提问于2017-04-05得票数 0
我必须将Dataset的结果输出到Postgis (空间)数据库中。Spark不处理它，我不得不编写不能序列化的特定代码。这意味着我不能使用dataset.foreach(...)方法，我必须从外部Spark任务执行数据库插入。和一个只返回数据集的n行。
是否有一种按顺序读取数据集的方法，以便我可以从开始到结尾读取其全部内容，每次
浏览 1提问于2019-09-14得票数 1
回答已采纳
我是spark的新手，我在数据文件中有大约10000行要读取 .builder().config(sparkConf)
我
浏览 2提问于2020-05-28得票数 0
17/01/21 17:19:43警告NativeCodeLoader:无法为平台加载本机-hadoop库.在适当的情况下使用内置-java类(最近一次调用)：文件"/Users/user/spark-:49) at org.apache.spark.sql.Dataset$.ofRows(Dataset.scala:64) at org.apache.spark.sql.SparkSession.sql&qu
浏览 5提问于2017-01-21得票数 6
回答已采纳
数据集由两个csv文件组成，其中包含电影详细信息，然后是这些电影的用户排名。我尝试做的是将每个用户的电影排名与每部电影的详细信息结合起来。我们的目标是获得平均精度，并打印出前5个推荐的电影给我创建的用户。以下是我到目前为止所做的工作：
ratings_data = spark.read.option("inferSchema", True).option("header", True).csv(
浏览 0提问于2019-11-22得票数 0
声称Spark中的DataFrame等同于Dataset[Row]，但是显示DataFrame有一个模式。以博客文章中关于将RDD转换为DataFrame的例子:如果DataFrame与Dataset[Row]相同，那么将RDD转换为DataFrame应该是一样简单的。sparkSession.createDataFrame(rddStringToRowRDD,dfschema)
val rDDToDataSet = rddToDF.as[String
浏览 0提问于2016-10-07得票数 6
回答已采纳
());
int n = slices; System.out.println和(两次)：
bin\spark-cla
浏览 3提问于2017-09-04得票数 1
回答已采纳
出于评估目的，我需要一个函数来创建一个用随机数初始化的dummy-Dataset (或者DataFrame)。按列和行表示的维度应参数化def createDummyDataset(rows : Int, columns: Int, spark: SparkSession) = {
var ds = Seq.fill(rows)(Ra
浏览 11提问于2017-01-12得票数 3
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
