比较RDD对象- Apache Spark

文章/答案/技术大牛

发布

1回答

java、performance、apache-spark、rdd、bigdata

我是apache spark技术的新手，在尝试分析我从文件中提取的数据时遇到了一些问题。 return true; return false;现在我所做的，我认为是错误的，是通过执行以下操作将RDD对象转换为列表：遍历该列表以检

浏览 0提问于2017-02-25得票数 0

回答已采纳

2回答

如何解决Spark TopK的这个问题？

apache-spark

我有一个关于TopK的问题要用Spark来解决。：xinxi,80xinxi,32xinxi,43xinxi,100import org.apache.spark=txt.map(line=>(line.split(",")(0) val rdd=rdd2.groupByKey(

浏览 3提问于2018-07-21得票数 0

2回答

为什么这个Spark代码抛出java.io.NotSerializableException

java、scala、apache-spark、serialization、rdd

我想在RDD上的转换中访问伴生对象的方法。为什么以下选项不起作用：import spark.implicits._ at org.apache.spark.rdd.RDD$$anonfun

浏览 8提问于2017-05-07得票数 4

2回答

无法解析不可序列化的任务[org.apache.spark.SparkException: task not serializable] Spark Scala RDD

scala、apache-spark、apache-spark-sql、rdd

当我尝试创建一个类的对象并调用特定的方法newRDD和blah时，我总是得到以下错误堆栈跟踪 at org.apache.spark.rdd.RDD$$anonfun$filter$1.apply(RDD.scala:387) at org.apache.spark.

浏览 13提问于2020-06-04得票数 0

回答已采纳

1回答

当我再次加载它时，我会得到以下异常：线程"main“中的异常: org.apache.spark.rdd.RDD$$anonfun$first$1.apply(RDD.scala:1330) atorg.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:150) at org.apache.spark.rd

浏览 0提问于2016-01-11得票数 0

回答已采纳

1回答

尝试通过Java SDK将记录从Spark* DataFrame写入Dynamodb时，任务不可序列化*

java、amazon-web-services、apache-spark、apache-spark-sql、amazon-dynamodb

:298)at org.apache.spark.rdd.RDD$$anonfun$map$1.apply(RDD.scala:370) at org.apache<

浏览 4提问于2017-08-01得票数 1

1回答

(PySpark)创建一个新的数组列，其中包含列表列和静态列表的二进制比较结果

python、apache-spark、pyspark

$anonfun$mapPartitions$2(RDD.scala:863) at org.apache.spark.rdd.MapPartitionsRDD.computeat org.

浏览 9提问于2022-10-09得票数 1

回答已采纳

1回答

在火花流中遇到内存问题的泡菜对象(模型数据)

apache-spark、scikit-learn、spark-streaming

使用不同的协议和压缩来选择对象，并将其减少到60 MB。以前：当前： at org

浏览 0提问于2018-10-26得票数 0

回答已采纳

1回答

火花流，foreachRDD错误:比较方法违反了它的一般契约

java、apache-spark、spark-streaming

:708) at org.apache.spark ).shuffle.hash.HashShuffleReader.read(HashShuffleReader.scala:64) at org.apache.spark.rdd.ShuffledRDD.compute(ShuffledRDD.scala:90) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD</

浏览 2提问于2015-07-17得票数 1

回答已采纳

1回答

如何在加载源Java类时使用Spark* shell读取Avro文件(从Java类生成)？*

scala、apache-spark、avro

我得到了几个Avro文件，它们是从java类A的对象生成的。使用spark-shell (Spark 1.4.0)，我可以使用spark-avro (2.0.1版)将这些文件读取到数据帧中。:35) at org.apache.spark.rd

浏览 1提问于2015-09-10得票数 1

1回答

如何将RDD[Row]转换回DataFrame

scala、apache-spark、dataframe、rdd

然后，我使用以下命令创建了一个带有列标题的DataFrame对象：然后，我使用以下命令将其从DataFrame转换回RDD：它返回org.apache.spark.sql.Row类型的RDD (不是(整数，整数))。然后我想用.toDF把它转换回RDD，但是我得到了一个错误： error: value toD

浏览 1提问于2016-05-04得票数 11

回答已采纳

1回答

如何从objectFile加载spark* graphx*

apache-spark、spark-graphx

{Edge, Graph, GraphLoader, VertexId}import org.apache.spark.streaming(RDD.scala:323) at org.apache<

浏览 17提问于2017-06-23得票数 1

1回答

org.apache.spark.util.SerializableConfiguration提供java.lang.ClassCastException:在从检查点恢复时不能强制转换java.lang.ClassCastException

apache-spark、serialization、spark-streaming、broadcast、checkpointing

以下为用法： at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323) at org.apache.spark</em

浏览 5提问于2017-08-01得票数 3

2回答

sbt-程序集不包括依赖项

scala、apache-spark、sbt、sbt-assembly

(Ordering.java:658)at org.apache.spark.rdd.RDD$1$$anonfun$29.apply(RDD.scala:1374) at org.apache.spark.rdd.RDD$$anonfun$mapPartit

浏览 2提问于2016-02-09得票数 1

回答已采纳

1回答

星火任务不可串行化

scala、apache-spark、exception、serialization、serializable

我有一个"MainObj“对象，它实例化了一个”推荐“对象。当我调用"recommendationProducts“方法时，总是会得到一个错误。org.apache.spark.rdd.RDD$$anonfun$map$1.apply(RDD.scala:370) at org.apache.spark.rdd.RDD$$anonfun$map$1.apply(RDD</

浏览 4提问于2017-10-25得票数 2

回答已采纳

1回答

如何在Pandas数据转换过程中处理时间戳类型？

python、datetime、numpy、apache-spark、pyspark

at org.apache.spark.rdd.RDD.iterator(RDD.scala:287) at org.apache.

浏览 2提问于2017-07-25得票数 5

1回答

同一类型(字符串)的Apache火花类型不匹配

scala、types、apache-spark、mismatch

type mismatch; required: or

浏览 3提问于2015-03-31得票数 2

1回答

CDP星系团模式读取蜂窝表，只能通过kerberos或web身份验证发出委托令牌。

apache-spark、cloudera-cdp

/spark-submit --class com.abc.bdms.sparksql.SparkSQLDriver --master yarn --deploy-mode cluster --executor-memory--num-executors 4 --keytab /home/bdms/flow.keytab --principal aa_qa/dev@HADOOP.COM /home/easyops/spark-sql-demoSNAPSHOT.jar &quo

浏览 1提问于2022-10-24得票数 0

1回答

将2d列表保存到dataframe星星之火中

scala、apache-spark、dataframe、spark-dataframe

我有一个名为tuppleSlides的2d格式的列表：我创建了以下模式： Array( StructField("2", Intege

浏览 2提问于2016-12-15得票数 2

回答已采纳

1回答

Spark :应用程序执行与REPL中逐行执行的区别

scala、apache-spark、serialization、closures

(SparkContext.scala:2287) at org.apache.spark.rdd.RDD$$anonfun$filter$1.apply(RDD.scala:386) at org.apache.spark.rd

浏览 5提问于2017-09-21得票数 0

点击加载更多