如何在Java中创建对象集合Spark Dataset？

文章/答案/技术大牛

发布

1回答

java、apache-spark、data-structures、apache-spark-dataset

我在研究前几个月的spark。其中Dataset用作对象的分布式集合。我担心的不是它是如何分布的，而是一个基本的数据结构。如果我创建了自己的数据集，我很想知道它是如何放在java中的。它看起来像这个Dataset<Row>。其中Row是记录，可以是多个。这就是创建Dataset<Row>工作方式 List<Row> rows = new ArrayList<Row>(

浏览 48提问于2020-06-10得票数 1

5回答

SparkContext、JavaSparkContext、SQLContext和SparkSession之间的区别是什么？

java、scala、apache-spark、rdd、apache-spark-dataset

中的所有函数SQLContext，SparkContext，以及JavaSparkContext也在SparkSession？我如何使用 a 创建以下内容SparkSession？RDDJavaPairRDD Dataset 有没有一种方法可以将JavaPairRDD转换成一个Dataset或者Dataset转换成一个JavaPairRDD？

浏览 216提问于2017-05-05得票数 39

回答已采纳

1回答

Apache Spark 2.3.0 -如何将两个array<string>合并成一个array<string>

apache-spark、apache-spark-sql、spark-java

将两个array<string>合并成一个array<string>在2.4.x版本中是可能的，也很容易，但在2.3.0版本中找不到这样做的方法。输入-预期输出-有人能解释一下如何使用Java在Spark中实现这一点吗？

浏览 9提问于2021-09-22得票数 1

1回答

在PySpark中创建类的

apache-spark、pyspark、rdd、case-class、python-dataclasses

data.contains("null") .map(data => parseStock(data, stockName))可以在PySpark中实现这一点吗？.时发生的错误： error Py4JJavaError：：org.apache.spark.SparkException:由于阶段失败而中止作业:阶段21.0中的任务0失败1次，最近的失败:阶段21.0中丢失的任务0.0 (TID 31，本地主机，执行器驱动程序)：org.apache.

浏览 1提问于2020-06-03得票数 1

回答已采纳

1回答

创建空的dataframe Java Spark

java、dataframe、apache-spark

关于如何使用Spark Scala/Python创建空的dataframe/Dataset，有很多示例。但是我想知道如何在Java Spark中创建一个空的dataframe/Dataset。我必须创建一个空的dataframe，其中只有一列，标题为Column_1，类型为String。

浏览 27提问于2020-07-14得票数 0

回答已采纳

1回答

Spark - MongoDb - java中的慢dataframe.limit(2)与pyspark版本相比

mongodb、performance、apache-spark、pyspark

另一方面，我用Java编写了完全相同的代码，如下所示： .builder() .appName("Java Spark SQL basic example")

浏览 1提问于2018-06-21得票数 1

1回答

如何使用Pyspark从mongodb中仅提取特定行？

apache-spark、pyspark、apache-spark-sql、spark-streaming

我正在从mongodb集合中提取数据，并使用Spark python代码将其写入bigquery表。"temporaryGcsBucket","gcs_bucket") \ .save("bq_dataset_name.collection_name") 这将从mongodb集合中提取所有数据。但我只想提取满足条件的文档

浏览 1提问于2021-02-18得票数 0

1回答

火花2.0.1 java.lang.NegativeArraySizeException

java、apache-spark、apache-spark-2.0

新的Dataset API非常干净，但是我在非常简单的操作中遇到了问题。SparkConf conf = new SparkConf().setAppName("myapp").setMaster("local[*]"); System.out.print

浏览 11提问于2016-11-11得票数 4

1回答

火花数据集- NumberFormatException:零长度BigInteger

java、apache-spark、apache-spark-sql

当我试图创建一个数据集并简单地从其中收集数据时，我将面临一个奇怪的异常。<init>(BigInteger.java:302) at org.apache.spark.sql.Dataset.org$apache$spark$

浏览 0提问于2019-03-18得票数 1

回答已采纳

1回答

突触中火花应用程序的检查点目录

apache-spark、apache-spark-sql、azure-synapse

如何在突触分析中为火花池设置有效的火花检查点目录？在中，我使用了以下方法(c#用于spark)：然而，在synapse上同样的事情也给出了警告：$anonfun$checkpoint$1(Dataset.scala:691) at org.apache.spark.sql.Dataset.$anonfun$withNewExecutio

浏览 6提问于2022-07-15得票数 0

2回答

将Spark* DataFrame转换为Pojo对象*

java、apache-spark、apache-spark-sql

请参考以下代码： SparkConf sparkConf = new SparkConf().setAppName("TestWithObjectssQLContext.sql("SELECT * FROM peoples WHERE name='test'");在此之后，我需要将结果-‘DataFrame’转换为Person对象或列表

浏览 6提问于2015-12-10得票数 5

2回答

读取csv函数时出错

r、sparklyr

在google计算集群中，我正在尝试使用sparklyr包将csv文件读取到strudio中。配置如下：install.packages("sparklyr") spark_install(version = "1.6.2") Sys.setenv(SPARK_HOME="/usr/lib/

浏览 1提问于2017-04-05得票数 0

3回答

在Spark之后使用scala对象

scala、dataframe、apache-spark、apache-spark-sql

我的假设是，我需要实现一个新的dataframe (即通过一个连接操作)，以便在Spark中执行这个操作。到目前为止，这个假设是正确的吗？因为其中一些值本身就是对象的集合，所以在中使用scala对象的对象树对我来说可能比在这个联接之后切换到列名级别的操作更容易读懂，或者是本能的。到目前为止的评论？这是和火花一起工作的好方法吗？我的最后一个问题如何为联接的每一行返回对象表示对(每个原始数据pair对象一个对象)，同时在比较对象

浏览 2提问于2019-12-23得票数 1

回答已采纳

10回答

什么是spark中的RDD

scala、hadoop、apache-spark、rdd

定义是：用户以两种方式创建RDDs :通过加载外部数据集，或者通过在其驱动程序中分发对象集合(例如，列表或集合我对RDD的理解以及与spark和hadoop的关系真的很困惑。

浏览 91提问于2015-12-23得票数 46

回答已采纳

3回答

星星之火:数据集序列化

scala、apache-spark、serialization、apache-spark-dataset

如果我有一个数据集，其中的每个记录都是一个case类，那么我将该数据集持久化如下所示，以便使用序列化：Spark是否使用java/kyro序列化来序列化数据集？或者就像dataframe一样，Spark有自己的方式将数据存储在数据集中？

浏览 4提问于2017-12-26得票数 5

1回答

Spark dataset显示模式，但为show()方法抛出UnsupportedOperation异常

apache-spark、apache-spark-dataset

我使用自定义java类的bean编码器创建了Spark数据集at org.apache.spark.sql.catalyst.expressions.codegen.UnsafeRowWriter.write(UnsafeRowWriter.java2841) at org.

浏览 0提问于2018-02-22得票数 1

1回答

Spark是在java语言中加载数据集的最佳方式

java、apache-spark、spark-dataframe

我有一个这样的数据集：N红一个苹果……我需要Java的代码。非常感谢你的帮助

浏览 0提问于2017-05-10得票数 1

3回答

拥有更多舞台的java.lang.OutOfMemoryError火花DAG

java、apache-spark、memory-management、spark-dataframe、amazon-emr

我可视化了DAG，它创建了每个连接的+5阶段。无论如何，在DAG有大约40个阶段之后，下一个步骤总是会出现异常，即经过8次迭代，每个阶段都有5个阶段。中的异常scala.StringContext.standardInterpolator(StringContext.scala:125) at scala.StringContext.s(StringContext.scala:2788) at org.apache.spark.sql.Dataset.org$apache$spark$sql$Da

浏览 1提问于2017-09-01得票数 2

1回答

星火DataFrame与数据集的编码器差异

scala、apache-spark、apache-spark-sql

当阅读Spark的DataFrame (它是Dataset[Row]的别名)和Dataset之间的区别时，经常会提到Dataset利用Encoders高效地将JVM对象转换为Spark的内部数据表示。在scala中，有为case类和基元类型提供的隐式编码器。但是，我相信还有一个，它实现了Row在DataFrames中的编码。我的问题是在JVM对象和Spark内部二进制表示之间的高效转换方面，performance?

浏览 1提问于2020-08-02得票数 0

回答已采纳

1回答

如何在星火中对不同的工人执行任务？

java、apache-spark

我有以下星火的代码：import java.util.List;import org.apache.spark.api.java.JavaSparkContext; public= jsc

浏览 3提问于2017-09-04得票数 1

回答已采纳

点击加载更多