1回答
尝试将RDD从下面的格式展平。rdd=((key),((value1,value2),Some((value3,value4)))) (key,value1,value2,value3,value4)case class outdata(Key: String, Value1: String, Value2: String, Value3:String, Value4:String)
rdd.map
浏览 0提问于2019-07-16得票数 0
我试图将RDD中的每个值与相同RDD的所有其他值配对。但我想不出正确的解决办法。从上面的图片：
用户2级到达..。
浏览 0提问于2017-03-31得票数 1
回答已采纳
我有一个公园配对的rdd (密钥，数组(value1，value2，value3.....))。我应该写什么scala语句？我怎样才能展平这个rdd并创建一个新的rdd：(key，value1)，(key，value2)，(key，value3)....
浏览 0提问于2017-04-01得票数 0
我刚开始接触spark，并试图理解普通RDD和配对RDD之间的区别。使用成对RDD而不是普通RDD的用例有哪些？如果可能，我想通过一个例子来了解pair RDD的内部结构。谢谢
浏览 1提问于2016-05-06得票数 15
1回答
我有一个元组和值的rdd列表，如下所示。有成千上万种不同的配对。(A, B), 1(C, D), 1(D, A), 5 我希望将元组值对转换为与这些元组值对对应的矩阵。
浏览 28提问于2020-08-12得票数 0
回答已采纳
我有一个Rdd与ID和功能。简而言之，我试图输出一些与标签("id")和它所属的簇号(0，1，2等)相匹配的内容。我通过创建一个只包含这些特性的RDD来运行这个模型的特性( id破坏了直接在原始RDD上运行的模型)：model =我想以某种方式将id与预测结合在一起，这样我就可以报告哪些id属于哪个集群。我找不到一个很好的方法来做这件事。我尝试<em
浏览 3提问于2019-05-13得票数 1
在此中，大多数答案都介绍了groupByKey + reduceGroups策略。然而，我没有发现任何关于为什么spark删除reduceByKey接口的评论。有评论说，Spark的Catalyst Optimizer可以降低一些计算，这可能解释了为什么。然而，根据作者和我的测试，Dataset的groupByKey + reduceGroups策略比reduceByKey慢得多。
浏览 45提问于2019-08-05得票数 0
回答已采纳
1回答
我正在尝试创建一个配对的RDD，其中键将来自一个RDD，并且所有的值都是1。
因此，例如，如果有人要导入字符串"hello world!"并将其并行化为RDD，则输出为：('h', 1), ('e', 1), ('l', 1), ('l', 1),...。我也尝试使用for循环，但是在RDD上迭代时收到了一个错误。
浏览 5提问于2021-02-28得票数 0
回答已采纳
1回答
Carroll', 4), ('is', 10), ('of', 596), ('anywhere', 3), [('Project', 10), ('is', 10)]
我试着
浏览 4提问于2020-04-25得票数 0
回答已采纳
1回答
)])]第二这里，Long再次表示给定点的索引，Double表示其局部可达性密度RDD[(Index:Long, Array[(NeighborIndex:Long,LocalReach
浏览 4提问于2017-02-09得票数 0
我创建了2个RDD's，如下所示：
rdd1 = sc.parallelize([(u'176', u'244', -0.03925566875021147), (u'28', u'244', 0.91751065157092051.1636548589189926), (u'165', u'275', -1.026158464467282), (u'181', u'275', 0.6685
浏览 0提问于2018-06-25得票数 0
2回答
我是Spark和Scala新手，在以下RDD转换方面我确实需要一些帮助：简而言之，我已经有一个按键(macAddress)分组的rdd，其中包含成对的值列表。我需要将列表的向量转换为包含从列表中计算出来的配对差异的向量(第二元素-第一元素)。向量中的配对
浏览 3提问于2016-11-08得票数 0
回答已采纳
2回答
密码OddOccurrencesInArray：
给出了一个由N个整数组成的非空数组A.数组包含一个奇数的元素，数组中的每个元素都可以与具有相同值的另一个元素配对，除了一个未配对的元素。例如，在数组A中， A = 9 A = 3 A = 9 A = 3 A =9 A = 7 A =9 ·在索引0和2处的元素有值9，在索引1和3的元素有值3，在索引4和6的元素具有值</em
浏览 0提问于2019-07-19得票数 3
回答已采纳
我尝试从cassandra表中读取数据并将值存储在数组中。我的RDD如下所示如何将这些值存储到没有列名的数组中？
浏览 0提问于2015-11-06得票数 0
0回答
所以我有一个RDD，这个RDD与它元素的索引配对在一起。我想简单地迭代它(或者如果有一个很好的Spark函数来做这件事)，并通过比较相邻元素的一个值来检查它们。如果相邻的元素完成了这个检查，我想记下它们在一个不同的非RDD结构中的索引，可能是一个ListBuffer。
这是不是可以使用某种Spark特殊函数，或者我必须手动迭代它，然后我如何迭代它？
浏览 2提问于2017-12-01得票数 0
回答已采纳
1回答
我想循环n次，其中n是同一rdd上的累加器val key = keyAcm.value.toIntval combined = rdd.filter(k => (k._1 == key) || (k._1 == key + 1))并保留了键0(累加器的初始值)和1。然后，我尝试合并它的第二个参数，并更改键以创建一个新的rdd，其中包含键0和一
浏览 1提问于2018-09-12得票数 0
1回答
火花阵列键，值
、、
目前，我有一个具有数组的RDD，该数组存储一个键值对，其中键是数组的2D索引，值是该位置的数字。例如，((0,0),1)，((0,1),2)，((1,0),3)，((1,1),4)，我想将每个键的值与周围的值相加。与前面的示例相比，我希望将1,2,3相加，并将其放在(0,0)键值点中。
浏览 3提问于2015-06-19得票数 0
1回答
如何对字符串数组中的项？
、、、、
我有一个长长的字符串数组列表的“动物”，我需要关联一个代码号码。一旦通过我的旋转器选择了“动物”，这个值就会存储在一个变量中。我还希望将相关的代码号存储在它自己的变量中。如何创建这种“配对”，而不需要编写大量if/然后的代码。我可以在strings.xml文件中执行包含字符串数组的任何操作吗？“狗”与代码配对："111“”猫“与代码配对：'222”“老鼠”与代码配对：“333”
浏览 3提问于2022-10-21得票数 0
回答已采纳
我正在将文本加载到RDD中。然后我把它清理干净。rdd1 = sc.textFile("sometext.txt")
import string
lines = lines.lower= rdd1.flatMap(Func)
rdd3 = rdd2.filter(lambda x: x not
浏览 21提问于2019-04-27得票数 0
解决了:这个问题没有很好的解决方案，将变量-pass为RDD-get调整变量
变量b=2我想要做的是通过执行以下操作获得值2+0 + 2+0+1 +2+0+1+2+ 2+0+1+2+3 = 18，即值18问题是，对于每一个i，我都需要将b值</em
浏览 2提问于2015-03-23得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
