1回答
带字典的PySpark约简键
python、apache-spark、pyspark、rdd、reduce
为什么Spark强制从元组列表中构建RDD，以便在进行还原键转换的情况下？reduce_rdd = sc.parallelize([{'k1': 1}, {'k2': 2}, {'k1': -2}, {'k3': 4}, {'k2': -5}, {'k1': 4}]) at org.apache.spark</e
浏览 0提问于2018-01-18得票数 1
0回答
Scala中键值对的Spark - Reduce列表
scala、apache-spark、spark-streaming
我在spark streaming上下文中有一个键值对列表。在键值对列表的情况下，我如何使用reduce by the key进行聚合？示例：[("key1",4),("key3",2)]预期的聚合输
浏览 8提问于2017-12-09得票数 0
2回答
减少潜在的空RDD
scala、apache-spark
at org.apache.spark.rdd.RDD$$anonfun$reduce$1$$anonfun$apply$36.apply(RDD.scala:1005) at scala.Option.getOrElse(Option.scala:120)
浏览 8提问于2015-12-10得票数 8
回答已采纳
6回答
如何将键值对缩减为键和值列表？
python、list、scala、bigdata、apache-spark
假设我在Spark中有一个键值对，如下所示。[ (Key1, Value1), (Key1, Value2), (Key1, Vaue3), (Key2, Value4), (Key2, Value5) ]也就是说，从Key-Value到Key-List的值。如何使用python或scala中的m
浏览 0提问于2014-11-06得票数 3
1回答
火花强制使用java.lang.Long而不是scala.Long
scala、apache-spark
x是一个只有一个列的Dataset[Long]，它是使用创建的。res0: org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSession@a90447f
scala> val x = spark.rang
浏览 5提问于2021-08-23得票数 1
回答已采纳
1回答
在Spark中对DataFrame进行排序时，幕后会发生什么？
apache-spark
在Spark中对DataFrame进行排序时，幕后会发生什么？例如,df.sort(i)
我知道当您将数据读取到DataFrame时会发生什么，但是我很好奇当您排序时会发生什么
浏览 2提问于2018-08-14得票数 0
2回答
比较两个键值对之间的值时，Spark Scala匹配错误
scala、apache-spark、rdd
我的目标是读取2个文件，过滤掉停用的单词，找到共同的单词，并在这两个文件之间选择较小的单词计数。然后，我应该按降序对键值对进行排序，并且只显示前15个单词。counts2).sortBy(_._2, false).take(15)
result.foreach(println) 这给了我这个错误： Exception in thread "main" scala.MatchError: (http://
浏览 19提问于2020-03-19得票数 0
回答已采纳
2回答
星星之火:如何将List<RDD>与RDD结合
scala、intellij-idea、apache-spark
我对spark和scala语言非常陌生，我希望将列表中的所有RDDs合并如下(List<RDD> to RDD)： } }我在Intel
浏览 6提问于2015-05-25得票数 8
回答已采纳
2回答
groupby中的scala spark reduce列表
list、scala、apache-spark、reduce
我有两列的spark DataFrame colA colB1 22 5 res += i * (3+res) 返回值为res 所以我得到了： colA colB2 78 我如何在scala中做到这一点？
浏览 13提问于2021-10-14得票数 0
1回答
所有键的火花广播- updateStateByKey
apache-spark、spark-streaming
UpdateStateByKey很有用，但是如果我想对所有现有的键(不仅仅是这个RDD中的键)执行一个操作，该怎么办？
例如，单词计数--是否有办法将到目前为止所见的所有单词减少1？我正在考虑在每个节点上保留一个静态类并使用计数信息，并发出一个广播命令来执行特定的操作，但是找不到广播到所有节点的功能。
浏览 2提问于2015-07-03得票数 1
回答已采纳
2回答
collectAsMap()函数如何为Spark工作？
python、scala、apache-spark、pyspark
我试图理解在spark中运行collectAsMap()函数时会发生什么。根据火星之火的文档，它说，
对于<e
浏览 5提问于2016-06-09得票数 1
1回答
火花放电减少将占用某些功能，而不是其他功能。
python、pyspark
(sum)
800).collect() 804 return reduce(f, vals)
/usr/local/Cellar/apache-<
浏览 2提问于2016-11-02得票数 0
回答已采纳
1回答
如何使用Spark在Scala中返回多列键和值对
scala、apache-spark
我想把下面的RDD转换成键值对，每个键有两个值。第一列应该是键，第二列和第三列应该是值。如何使用scala中的Case类执行转换？scala> input[Market,Market,Markets]期望
浏览 0提问于2018-05-29得票数 0
1回答
"); System.out.println(total);我得到的例外如下(SparkContext.scala:2131)在org.apache.spark.rdd.RDD$$anonfun$reduce$1.apply(RDD.scala:1029) at org.apache.spark.rdd.RDDOper
浏览 0提问于2018-10-31得票数 0
回答已采纳
1回答
Dataframe转换产生空值。
regex、scala、apache-spark、parquet
除了元数据目录之外，我一直试图在目录中列出Parquet文件中的所有Spark数据。目录的结构如下所示： - time=19424145 - time=19424147主要目标是避免从filesDf.isEmpty) else NonelistPath -用于在hdf
浏览 1提问于2020-07-01得票数 0
回答已采纳
2回答
这样的打印不能因为类型错配(单位和字符串)而减少吗？
scala、hadoop、apache-spark
我想在文件中打印内容，下面的代码是我如何做到这一点的。rdd.map( x => field + x )}这两行注释掉的代码行运行良好，但是，这条mappedRDD.reduce( (a, b) => println(a) )build file:/home/cliu/Documents/github/Apache-Spark/)
[info] Compiling 1 Scala
浏览 1提问于2015-12-02得票数 0
回答已采纳
2回答
在spark中创建数据帧时遇到问题
apache-spark-sql、libsvm
0.38256108933468047 4:-0.4458430198517267 5:0.33109790358914726 6:0.8067445293443565 7:-0.2624341731773887 at org.apache.spark.rdd.RDD$$anonfun$reduce$1$$anonfun$apply$35.apply(RDD
浏览 21提问于2018-12-15得票数 2
2回答
Pyspark count()和collect()不起作用
python、apache-spark、pyspark
我对我的处境感到困惑。我在pyspark中找到了序列模式。在开始时，我有如下的键值RDD (['O', 'K', 'A'], u'162')]
然后我找到了字符串的组合/pyspark/rdd.py in <
浏览 0提问于2015-07-04得票数 2
回答已采纳
1回答
RDD[Array[Int]]上的Scala ()操作
eclipse、scala、apache-spark、reduce、spire
我有一个一维矩阵的RDD。我试图做一个非常基本的约简操作，从不同的分区总结矩阵相同位置的值。我正在使用：或但是我收到一个错误信息:类型不匹配；找到ArrayInt，预期:Stringat org.apache.spark.rdd.RDD$$anonfun$reduce$1$$anonfun$15.apply(RDD.<e
浏览 0提问于2018-06-29得票数 0
回答已采纳
3回答
当我并行处理一个大列表时，触发上下文关闭
apache-spark
当我从Spark中的列表创建RDD时，当我尝试对其执行RDD操作时，它通常会导致Spark上下文关闭。 700
/usr/local/spark/python/pyspark/rdd.pyc in reduce
浏览 5提问于2015-04-23得票数 3
回答已采纳
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号