我正在Python中使用pyspark 1.6，我想跟踪以前的会话列表和历史记录。是否有需要配置的设置或参数？
谢谢Vijay
浏览 11提问于2019-03-27得票数 0
我在spark版本2.0.2中运行spark shell。myrdd = sc.parallelize(Array.range(1, 10))myrdd.cache但是我仍然无法在sparkhistory服务器的"storage“选项卡中看到任何RDD信息。
浏览 20提问于2017-02-23得票数 1
回答已采纳
我用的是Spark1.6，我正在尝试这样的东西：df.write.format('com.intelli.spark.csv).save('mycsv.csv')和df.write.format('com.databricks.spark.csv这些代码总是会给出类似于java.lang.ClassNotFoundException: Failed to find data source: com.intelli.spark.csv.Please find pack
浏览 0提问于2020-03-18得票数 0
此函数似乎对我的IDE有效： rdd1 .join( .zipWithIndex .values}
值联接不是org.apache.sp
浏览 3提问于2016-10-12得票数 1
回答已采纳
我必须迁移到Spark2.1，这是一个使用Spark1.6用Scala2.10.4编写的应用程序。
我成功地用Scala2.11重新编译了spark
浏览 1提问于2019-01-31得票数 0
回答已采纳
我在本地安装了spark 2.2并使用scalaval sparkSession = SparkSession .appName("My application", "1") .master("local[2]")
浏览 0提问于2018-09-13得票数 0
我正在使用Apache Spark for python，并创建了一个以名称、纬度、经度作为列名的spark dataframe。我的RDD dataframe格式如下：S 1.6我知道只收集我能做的纬度
[
浏览 4提问于2017-07-04得票数 3
回答已采纳
1回答
(NewHadoopRDD.scala:120) at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:237)
at scala.Option.getOrElse(Option.scal
浏览 1提问于2017-02-16得票数 1
回答已采纳
1回答
我正在升级我的一个项目从星火1.6到火花2.0.1。以下代码适用于Spark1.6，但对2.0.1不起作用： val sqlContext = df.sqlContextdf.map { case Row(userId: String, itemId: String, count: Double) =>我尝试使用df.rdd.map而不是df.map，然后得到以下错误：
Error:(55, 7) val
浏览 2提问于2017-06-01得票数 0
SparkContext(appName="test")
df = sqlContext.read.format('com.databricks.spark.csv
浏览 1提问于2016-07-26得票数 3
回答已采纳
我使用的是Spark1.6，根据，允许保存一个RDD来对文件格式进行排序，但是我注意到我的RDD textFile：<console>:30: error: value saveAsSequenceFile is not a member of org.apache.spark.rdd.RDD[String]
浏览 1提问于2018-03-12得票数 0
回答已采纳
2回答
注意:我最近从spark 1.6迁移到了spark 2.0。我的一些客户期待RDD，但现在Spark给我提供了数据集。
浏览 4提问于2016-08-06得票数 13
我需要为多个双数据类型的columns.Request建议找到中位数，以找到正确的方法。 scala> sqlContext.sql("select num from test").show();|num||0.0||1.0||1.0|+---+( 1)蜂巢非BigInt，只对有效。SqlContext.sq
浏览 5提问于2016-12-30得票数 6
回答已采纳
1回答
我在Spark1.6中使用了一些代码，但我们最近转到了Spark2.2。我有这样的数据 |-- purchase_product_ids: array (nullable = true)在Spark1.
浏览 2提问于2018-03-23得票数 1
回答已采纳
当我学习spark时，我脑海中有一个问题：事实上，我仍然不能理解星星之火SQL和火花核心之间的关系。他们是如何互动的？
浏览 2提问于2016-06-03得票数 2
回答已采纳
我用：
我尝试过splitCount，split.size.in.mbs，但它们显示的分区数相同。import
浏览 5提问于2016-04-21得票数 3
1回答
在版本1.6中，管道api获得了一组新的特性来保存和加载管道阶段。在我训练了一个分类器之后，我尝试将一个阶段保存到磁盘上，然后再加载它以重用它，并节省计算的工作量，以重新建模。当我再次加载它时，我会得到以下异常：
线程"main“中的异常: org.apache.spark.rdd.RDD$$anonfun$first$1.apply(RDD.scala:1330) atorg.apache.spark.rdd.RDDOperationScope$.with
浏览 0提问于2016-01-11得票数 0
回答已采纳
org.apache.spark.SparkException: RDD转换和操作只能由驱动程序调用，而不能在其他转换中调用；例如，rdd1.map(x => rdd2.values.count() *在org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$sc(RDD.scala:87) at org.apache.spark
浏览 3提问于2016-11-04得票数 1
1回答
多亏了SparkR的Spark SQL模块，我尝试测试Window function。我使用Spark1.6，并尝试在两种不同的部署模式(local和yarn-client)中复制提供的示例。(SparkContext.scala:2055)atorg.apache.spark.rdd.
浏览 0提问于2016-01-22得票数 2
val source = sqlContext.read.jdbc(jdbcUrl, "source", connectionProperties)val sourceRdd= source.rddsource.map(rec => (rec.split(",")(0).toInt, rec)), .subtractByKey
浏览 2提问于2017-05-19得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
