Spark:打印RDD[A]的函数

文章/答案/技术大牛

发布

10回答

如何打印RDD的内容？

scala、apache-spark

我正在尝试将集合的内容打印到Spark控制台。我有一个类型：我使用下面的命令：但这是打印出来的： res1: org.apache.spark.rdd.RD

浏览 490提问于2014-04-20得票数 130

回答已采纳

1回答

我正在编写一个JavaRDD代码，其中我必须将csv上传到名为RestaurantDetailRDD的JavaRDD中。RestaurantDetailRDD有一个address列，必须将其过滤到另一个名为addressRDD的RDD中。我只需要一个过滤条件，在这个条件下，我可以按csv中提供的标题拆分address列。path to input text file String path = "/home/lingesh/Downloads/newitems.csv&qu

浏览 14提问于2019-07-20得票数 0

1回答

在python对象上使用并行函数

python、apache-spark、pyspark

在pyspark中可以在python对象上使用parallelize函数吗？我想在一个对象列表上并行运行，使用一个函数修改它们，然后打印这些对象。) p_configs_RDD=p_configs_RDD.map(func)我做了以下变通方法。但我并不认为这是一个好

浏览 11提问于2020-07-31得票数 0

1回答

scala、apache-spark

我正在编写一个函数，它接收RDD和数字整数n，并打印接收到的RDD的n元素。anRdd.map { case (a, arr) => (a, arr.toList) }.co

浏览 6提问于2018-07-25得票数 1

回答已采纳

2回答

星星之火:如果DataFrame有一个模式，DataFrame如何成为Dataset[Row]？

scala、apache-spark、apache-spark-sql、apache-spark-dataset

声称Spark中的DataFrame等同于Dataset[Row]，但是显示DataFrame有一个模式。以博客文章中关于将RDD转换为DataFrame的例子:如果DataFrame与Dataset[Row]相同，那么将RDD转换为DataFrame应该是一样简单的。val rddToDF = rdd.map(value => Row(value))val rddStringToRowRDD = rdd.map(value

浏览 0提问于2016-10-07得票数 6

回答已采纳

2回答

为什么foreach没有给驱动程序带来任何东西？

apache-spark

我用spark shell写的这个程序array.foreach(x => println(x))for(num <- array.take(4)) {} 我确实理解take是一个动作，因此会导致spark触发惰性计算。但是foreach应该以同样的方式工作。为什么for

浏览 0提问于2015-03-02得票数 15

回答已采纳

1回答

如果在本地执行函数，则在foreachRdd中使用kafka代码的分段流不会执行

scala、apache-spark、spark-streaming

我在本地安装了spark 2.2并使用scalaval sparkSession = SparkSession .appName("My application()我在本地机器上运行spark kafkaStream.foreachRDD(rdd => { def calledFunction(rd

浏览 0提问于2018-09-13得票数 0

3回答

如何在Scala(spark)中打印字符串或String[Array]？

scala、apache-spark

我正在尝试对字符串中的返回值进行单元测试，但是当我尝试打印时，控制台给出了我的代码如下：val src = exact_bestmatch_src.filter).equals(n2.split(",")(i))) { }我尝试比较src和dest，以找出这两行之间的差异

浏览 0提问于2017-05-08得票数 0

回答已采纳

2回答

将映射函数附加到PySpark循环中的for RDD

apache-spark、pyspark

有人能帮我理解一下在python for循环中将map函数附加到RDD中的行为吗？以获取以下代码： return l + [i], [2, 2, 2, 2], [3, 2, 2, 2]]rdd = spark.sparkContext.parallelize([[1], [2], [3]])

浏览 2提问于2017-06-26得票数 4

1回答

Spark:为什么foreach()在rdd.foreachPartition中不能工作？

apache-spark、spark-streaming

stream x.value() rdd => {我搞不懂是哪一部分造成的？rdd.foreachPart

浏览 3提问于2021-10-16得票数 0

1回答

在Apache Spark中并行训练Keras模型

python、apache-spark、pyspark、deep-learning

/stats_app.py 很多代码都被抽象出来了，但基本上train_LSTM_model()函数会返回一个编译过的Keras模型，以及一个RDD。rdd_1、rdd_2、rdd_#等来自函数内部的：rdd = to_simple_rdd(spark_context, X_train, y_train)。X_train和y_train已从传入的数据帧中提取到每个trai

浏览 29提问于2019-10-05得票数 0

1回答

如何从火花放电执行者那里获得正确的数据

python、pyspark

以下是代码：oRdd.foreach(printFunc) 在此操作之后，数据集的排序几乎是正确的。我希望在最后的数据集排序的整体。以上我得到排序的数据集，但每个执行者。

浏览 2提问于2020-04-13得票数 0

回答已采纳

1回答

火花缭乱

apache-spark、transformation

._3.toInt > 500)) 或当我使用-每个语句时，我没有得到预期的输出，我希望输出是一行打印的，但不确定我的代码中有什么错误。

浏览 4提问于2016-10-27得票数 0

回答已采纳

1回答

在PySpark RDD中，如何使用foreachPartition()打印出每个分区的第一条记录？

apache-spark、pyspark、rdd

在PySpark RDD中，如何使用foreachPartition()打印出每个分区的第一条记录？

浏览 0提问于2017-09-04得票数 2

1回答

星星之火:在地图组中打印列表

scala、apache-spark、rdd

星火println函数中奇异map行为的简单例子。import org.apache.spark.SparkContext import

浏览 1提问于2015-04-09得票数 1

回答已采纳

1回答

Scala: Xtream抱怨对象不可序列化

scala、apache-spark、xml-deserialization

我定义了以下case类，我想使用xstream以xml格式打印出ClientData。newClientRecord.foreach(x=> if (x.isSuccess) println(xstream.toXML(x.get))) } at org.apache.spark<

浏览 11提问于2016-09-13得票数 2

回答已采纳

1回答

星火外壳:不可序列化的任务

scala、serialization、apache-spark、cassandra、rdd

我是星火，斯卡拉和卡桑德拉的新手。使用Spark，我正在尝试从MySQL获取一些I。import java.sql.,1, 20, 10, r => r.getString("id")) ;我能够看到打印在控制台上的ids。现在，对于每个获取的id，我需要对Cassandra中的一个表执行求和操作。我创

浏览 5提问于2016-08-23得票数 1

1回答

如何解决DataFrame函数在PySpark - Py4JJavaError中的问题

dataframe、pyspark、jupyter-notebook

下面是我在朱庇特笔记本上的代码。，dataframe，但不知何故，当我试图在df1.show()中使用数据帧函数时，我得到了错误消息。Py4JJavaError跟踪(最近调用)在2打印(df1.dtype)3打印(Df1)->4打印(df1.Show()) Py4JJavaError:调用o501. o501.showString时出错：org.apache.spark.SparkException:由于阶段失败而中止作业:第9.0阶段中的任务0失败1次，最近一次

浏览 0提问于2019-01-25得票数 1

0回答

Scala似乎忽略了一些代码

scala、apache-spark

我熟悉Scala中map和foreach之间的区别以及两者的用例，但我可能对其他方面不太了解。我第一次遇到这个问题是在我玩Spark的时候，所以它可能只在我使用RDD时才表现出来。下面的代码似乎忽略了对map的调用。我使用的是Scala 2.11.1，下面是我运行以下代码的依赖项。import org.apache.spark.SparkContext._ import org.apache.spark.rd

浏览 4提问于2017-11-28得票数 1

回答已采纳

1回答

相同Scala和Java火花函数的不同结果

java、scala、apache-spark

" + counter);它按预期打印"Counter value 15"。我有用Scala编写的具有相同逻辑的代码： val conf = new SparkConf().setAppName("Simple但每次打印不正确的结果(<15)。我的Scala代码有什么问题？Java spark lib "org.apache.spark

浏览 0提问于2016-04-08得票数 4

回答已采纳

点击加载更多

如何打印RDD的内容？

如何在javardd中通过header进行过滤？

在python对象上使用并行函数