Spark How to RDD[JSONObject] to Dataset

文章/答案/技术大牛

发布

1回答

apache-spark、apache-spark-sql、spark-dataframe

我正在从com.google.gson.JsonObject类型的元素的RDD中读取数据。尝试将其转换为DataSet，但不知道如何做到这一点。import org.apache.hadoop.io.LongWritable )) val rdd1 =PairRDD.map(element => e

浏览 5提问于2017-02-19得票数 1

回答已采纳

1回答

Scala中RDD操作的转换错误

scala、apache-spark

我试图将RDD转换为DataFrame，下面是我的代码。com.sclee.examples import org.apache.spark{SparkConf, SparkContext}import org.apache.spark.sql.types.文档中的说明，还引用了一些博客，向我展示了如何将rdd<

浏览 0提问于2017-03-14得票数 1

回答已采纳

3回答

对hive表中的大型数据集执行Spark* select查询失败*

apache、scala、hadoop、apache-spark-sql、spark-dataframe

$apache$spark$sql$Dataset$$execute$1(Dataset.scala:2370) at org.apache.spark.sql.Dataset$$anonfun$head$1.applyorg.ap

浏览 0提问于2017-11-07得票数 1

1回答

CDP星系团模式读取蜂窝表，只能通过kerberos或web身份验证发出委托令牌。

apache-spark、cloudera-cdp

/spark-submit --class com.abc.bdms.sparksql.SparkSQLDriver --master yarn --deploy-mode cluster --executor-memory--num-executors 4 --keytab /home/bdms/flow.keytab --principal aa_qa/dev@HADOOP.COM /home/easyops/spark-sql-demo

浏览 1提问于2022-10-24得票数 0

2回答

星星之火:如果DataFrame有一个模式，DataFrame如何成为Dataset[Row]？

scala、apache-spark、apache-spark-sql、apache-spark-dataset

声称Spark中的DataFrame等同于Dataset[Row]，但是显示DataFrame有一个模式。以博客文章中关于将RDD转换为DataFrame的例子:如果DataFrame与Dataset[Row]相同，那么将RDD转换为DataFrame应该是一样简单的。val rddToDF = rdd.map(value => Row(value))val rddStringToRowRDD = rdd.map(value => Row

浏览 0提问于2016-10-07得票数 6

回答已采纳

1回答

在Apache Spark中使用Bigquery Connector时，如何设置分区数？

apache-spark、pyspark、google-bigquery、google-cloud-dataproc

我正在阅读Google Cloud Dataproc和Apache Spark的文档，但我不知道如何在使用Bigquery连接器时手动设置分区的数量。Spark文档和Google文档似乎都没有指定或链接到Hadoop作业配置文件规范。有没有办法在创建这个RDD时设置分区，或者我只需要在下一步重新分区它？

浏览 0提问于2018-02-26得票数 0

1回答

在齐柏林飞艇中使用SparkSQL查询Hive表时，为什么会收到这个IO异常？

hadoop、apache-spark、hive、amazon-emr、apache-zeppelin

:57)at org.apache.spark.sql.Dataset.org$apache$spark$sql$Dataset$$execute$1(Dataset.scala:2370) at org.apache.spark.sql.Dataset.org$apache

浏览 1提问于2017-06-03得票数 0

1回答

在使用Hive-S3表的情况下电火花命令行中的错误

apache-spark、hadoop、pyspark、hive

:38) at org.apache.spark.sql.Dataset$$anonfun$head$1.apply(Dataset.scala:2550) at org.apache.spark.sql.Da

浏览 13提问于2020-05-10得票数 0

回答已采纳

1回答

格林梅-火花-连接器java.util.NoSuchElementException: None.get

apache-spark、greenplum

:38) at org.apache.spark.sql.Dataset$$anonfun$head$1.apply(Dataset.scala:2484) at org.apache.spark.sql.Dataset<

浏览 1提问于2020-06-30得票数 2

1回答

在将server添加到pyspark的类路径后无法查询单元

sql-server、jar、pyspark、hiveql、pyspark-sql

) at org.apache.spark.sql.Dataset.org$apache$spark$sql$Dataset$$execute$1(Dataset.scala:2192)at org.apache.spark.sql.Dataset.org$apache$spark$sql$Dataset$$collect(Dataset.scala:2199)at org.apache.sp

浏览 6提问于2017-06-08得票数 0

回答已采纳

1回答

将Spark* RDD从文本文件转换为数据帧时，会出现java.lang.ClassCastException*

scala、apache-spark-sql、spark-dataframe、apache-toree

:38) at org.apache.spark.sql.Dataset$$anonfun$head$1.apply(Dataset.scala:2153) at org.apache.spark.sql.Dataset<

浏览 5提问于2017-08-12得票数 1

1回答

用Spark计算训练数据集的均值、方差和标准差

scala、apache-spark

org.apache.spark.rdd.RDD.$anonfun$mapPartitionsWithIndex$1(RDD.scala:886)at org.apache.spark.rdd.RDD.withScope(RDD.scala:388) at org.apache.spark</

浏览 1提问于2020-02-27得票数 0

1回答

如果我运行这段代码，为什么触发返回“任务不可串行化”？

apache-spark、apache-spark-sql

(SparkContext.scala:2326) at org.apache.spark.rdd.RDD$$anonfun$mapPartitionsWithIndex$1.apply(RDD.scala:849) at org.apache.spark<

浏览 1提问于2021-02-10得票数 0

1回答

Spark Scala上的java.lang.NullPointerException问题

scala、apache-spark

:38) at org.apache.spark.sql.Dataset$$anonfun$head$1.apply(Dataset.scala:2550) at org.apache.spark.sql.Dataset<

浏览 55提问于2019-10-07得票数 0

1回答

如何将映射转换为列

scala、apache-spark、spark-dataframe、apache-zeppelin

:108) at org.apache.spark.rdd.RDD$$anonfun$mapPartitionsWithIndex$1.apply(RDD.scala:798) at org.apache.spark.rdd.RDD$$anonfun$mapPartitionsWithIndex$1.apply(<

浏览 3提问于2016-11-14得票数 0

1回答

spark sql请求两阶段NPE

sql、dataframe、apache-spark

我是Spark的新手(使用2.4.0)。我遇到了一个奇怪的(对我来说) NPE异常。下面的代码返回NPE。val ds = "2020-04-01" spark.sql("select ds, db_name, table_name, type FROM datainfra.hive_tables " +"where ds = '%s' and db_name = 'db_exports' limit 1".format(ds)).map(table =>

浏览 2提问于2020-04-11得票数 0

1回答

df.show()中的问题

python-3.x、apache-spark、pyspark、apache-spark-sql、pyspark-sql

$apache$spark$sql$Dataset$$collectFromPlan(Dataset.scala:3384) at org.apache.spark.sql.Dataset$$anonfun$head$1.apply(Dataset.scala(SQLExe

浏览 3提问于2018-12-05得票数 2

1回答

在创建火花Java数据集时触发Java流--空指针异常

java、apache-kafka、apache-spark-sql、spark-streaming、apache-spark-dataset

:141) at org.apache.spark.sql.Dataset$.apply(Dataset.scala:65) at org.apache.spark.rdd.RDD$$anon

浏览 0提问于2019-05-30得票数 1

2回答

如何查看see发送到我的数据库的SQL语句？

apache-spark、pyspark、vertica、pyspark-sql

:2546) at org.apache.spark.sql.Dataset.org$apache$spark$sql$Dataset$$collect(Dataset.scala:2199)

浏览 4提问于2016-11-09得票数 5

回答已采纳

2回答

为什么从UDF中加入DataFrame会导致NullPointerException？

scala、apache-spark

(RDD.scala:323) at org.apache.spark.scheduler.ResultTask.runTask$apache$spark$sql$Dataset$$execute$1(Dataset.scala:2370) at org.apache.spark.sql.<em

浏览 3提问于2017-11-04得票数 10

回答已采纳

点击加载更多