0回答
Spark RDD apend
apache-spark
在Spark中，我以RDD的形式加载了一个数据集，并且喜欢不频繁地向其追加流数据。我知道RDDs是不可变的，因为它简化了锁定，等等。其他处理静态和流数据的方法是一体的吗？
类似的问题以前也被问过：
浏览 7提问于2016-12-24得票数 0
1回答
同一类型(字符串)的Apache火花类型不匹配
scala、types、apache-spark、mismatch
type mismatch; required: org.apache.spark.rdd.org.apac
浏览 3提问于2015-03-31得票数 2
1回答
星火作业失败，但有org.apache.spark.shuffle.FetchFailedException异常
scala、apache-spark、parquet
at org.apache.spark.rdd.RDD.iterator(RDD.scala:337) at org.apache.spark.rdd.MapParti
浏览 19提问于2022-05-11得票数 0
1回答
查看PySpark脚本的胶合作业输出的最佳方法
python、amazon-web-services、pyspark、aws-glue
(RDD.scala:324)at org.apache.spark.rdd.MapPartitionsRDD.compute(RDD.scala:324)at org.a
浏览 22提问于2020-09-23得票数 0
回答已采纳
1回答
spark- rdd.saveAsTextFile时的java.lang.NoSuchMethodError
scala、hadoop、apache-spark
:112) at org.apache.spark.rdd.PairRDDFunctions.saveAsHadoopFile:151) at org.apache.<e
浏览 1提问于2017-09-11得票数 1
1回答
在scala中将RDD[(Int，Int)]转换为PairRDD
scala、apache-spark
val f = sc.parallelize(Array((1,1),(1,2)))Message: error: type mismatch;
found : org.apache.spark.rdd.org.apache.spark.rdd.org.apache.spark.rdd</
浏览 7提问于2018-02-23得票数 1
回答已采纳
1回答
Spark 2.0无法读取cassandra 2.1.13表-java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class
apache-spark、cassandra、spark-cassandra-connector
at org.apache.spark.rdd.RDD.iterator(org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38) at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323) at org.apache.spark.rdd.
浏览 1提问于2017-03-01得票数 0
3回答
使用Spark 1.4 API读取ORC文件时的NPE
apache-spark、hive、apache-spark-sql、orc
org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:277) at org.apache.spark.
浏览 1提问于2015-09-08得票数 1
2回答
测量pySpark中两列之间的均方误差
python、apache-spark、pyspark、apache-spark-sql、apache-spark-ml
at org.apache.spark.rdd.RDD.iterator(RDD.scala:287) at org.apache.spark.rdd.MapParti
浏览 0提问于2018-07-08得票数 0
回答已采纳
1回答
Spark类型与精确类型不匹配
java、apache-spark、apache-spark-mllib
在尝试朴素贝叶斯示例时，我在Ubuntu上的Spark1.4上遇到了这个问题。lambda = 1.0, modelType = "multinomial") found : org.apache.spark.rdd.org.apache.spark.rdd.org.apache.spark.rdd.org.apache.spark.r
浏览 2提问于2015-07-11得票数 0
1回答
用greenplum-connector-apache-spark-scala_2.12-2.1.0 - java.lang.IllegalStateException将星火写入绿梅数据库
java、apache-spark、pyspark、apache-spark-sql、greenplum
org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:373) at org.apache.spark.
浏览 9提问于2022-01-14得票数 1
2回答
为什么shell无法加载带有RDD导入的类的文件？
scala、apache-spark
我在Scala2.11.8中使用Spark2.1.1。
这是我正在处理的代码
浏览 2提问于2017-06-09得票数 3
回答已采纳
1回答
错误:调用fit()函数时，“Python未能连接”
apache-spark、pyspark
at org.apache.spark.rdd.RDD.iterator(RDD.scala:288) at org.apache.spark.rdd.
浏览 2提问于2019-06-27得票数 1
1回答
在火花流中遇到内存问题的泡菜对象(模型数据)
apache-spark、scikit-learn、spark-streaming
at org.apache.spark.rdd.RDD.iterator(RDD.scala:277) at org.apache.spark.rdd.MapParti
浏览 0提问于2018-10-26得票数 0
回答已采纳
1回答
火花执行器由于GC开销限制而丢失，即使使用20个执行器每个使用25 GC。
apache-spark、apache-spark-sql
org.apache.spark.rdd.RDD.iterator(RDD.scala:242) at org.apache.spark.rdd.RDD.iterator(RDD.scala:244)
at org.apache.s
浏览 0提问于2015-08-18得票数 1
回答已采纳
1回答
使用DataFrame和Pandas制作列时出错
pandas、ipython、pyspark、spark-dataframe、jupyter-notebook
at org.apache.spark.rdd.RDD$$anonfun$mapPartitions$1$$anonfun$apply$17.apply(RDD.scala:706)at org.apache.spark.rdd.RDD.iterator(RDD.scala:264)
at or
浏览 1提问于2016-06-29得票数 0
1回答
pyspark中的K-均值聚类
python-3.x、pandas、pyspark、jupyter-notebook
at org.apache.spark.rdd.RDD.iterator(RDD.scala:288) at org.apache.spark.rdd.MapParti
浏览 10提问于2019-05-29得票数 0
1回答
作业始终失败，错误信息隐晦："org.xerial.snappy.SnappyIOException：[EMPTY_INPUT]不能解压空流“--如何调试？
python、apache-spark、pyspark
( org.apache.spark.rdd.RDD.getOrCompute(RDD.scala:335) at org.apache.spark.rdd.RDD.iterator(RDD.scala(RDD.scala:324) at org.apache.spark.rdd.RDD.iterator(RDD.scala:288) at org.apache
浏览 0提问于2019-03-04得票数 4
1回答
Apache火花错误，未找到克隆Python环境
azure、apache-spark、databricks、azure-databricks
:60)at org.apache.spark.rdd.RDD.iterator(RDD.scala:356)at org.apache.<e
浏览 7提问于2021-08-23得票数 0
回答已采纳
1回答
Py4JJavaError:调用o288.fit时出错
apache-spark、pyspark、tf-idf
org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323) at org.apache.spark.
浏览 1提问于2018-07-06得票数 1
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号