1回答
我需要帮助使用火花函数ASCII(sparkSQl字符串函数)通过使用scala import org.apache.spark.sql.SparkSessionimport org.apache.spark.sql.functions
select ascii('Santosh') 我需要santosh的ascii值和
浏览 63提问于2019-06-25得票数 0
回答已采纳
目前，我正在将Cassandrarow RDD转换为dataframe：}
正如您所看到的，我首先将cassandraRow rdd转换为string，然后映射到我想要的格式。我发现这个方法变得很复杂，因为rdd包含多个颜色，而不是一个
浏览 5提问于2017-05-30得票数 0
回答已采纳
Spark SQL对我来说非常清楚。然而，我才刚刚开始使用spark的RDD API。", "D") val inputDf = input.toDF("TARGET", "col1", "col2", "col3TooMany", "col4")val rdd1_inputDf = inputDf.rdd.flatMap { x
浏览 0提问于2017-01-03得票数 0
回答已采纳
在Apache Spark中，RDD是不可变的。
数据集和数据帧怎么样？它们是可变的还是不可变的(因为底层结构仍然是RDD)？
浏览 0提问于2020-07-03得票数 0
1回答
当我尝试使用esRDD("index")函数读取elasticsearch中的数据时，我得到了org.apache.spark.rdd.RDD[(String, scala.collection.Map然而，我在上看到，上面写着：
scalaVersion := "2.11.8"
libraryDependencies += &qu
浏览 4提问于2017-07-06得票数 3
回答已采纳
2回答
我在S3中有数据，我可以在S3中加载数据，因为RDD应用一些更改将其转换为dataframe并运行spark-sql查询。但是，每当向S3添加新数据时，我都需要加载整个数据，因为RDD会将其转换为dataframe并运行查询。有没有一种方法可以避免加载整个数据而只加载新数据。是否应该将新数据添加到RDD中，而不是加载整个RDD？
浏览 10提问于2019-04-30得票数 0
回答已采纳
当我试图在Spark-SQL外部数据源上做一些测试时，会发生这个问题。为了更清楚地表达这个问题，我编写了一段代码：
在我的外部Datasource API基准代码中，它实现了一个假的外部数据源(实际上是一个RDD[String，ArrayInt] )，并通过以下方式获取数据帧val rdd = sqlContext.sparkContex
浏览 2提问于2016-01-09得票数 1
我假设spark.sql(查询)是在使用spark.sql时使用的，而spark.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用的。
浏览 3提问于2021-08-16得票数 3
回答已采纳
1回答
fields.reduceByKey((x,y) => x+y)
获取误差
值reduceByKey不是org.apache.spark.rdd.RDD
浏览 7提问于2022-01-17得票数 0
我只知道版本差异，但不知道功能或其他。也就是说，Sparksession有内部的sparkcontext和conf。
浏览 0提问于2018-03-30得票数 16
我正在使用bash脚本构建一个Spark应用程序，并且我在build.sbt文件中只有一个spark-sql和核心依赖项。因此，每次我调用一些rdd方法或将数据转换为case类以创建dataset时，我都会收到以下错误： Caused by: java.lang.NoClassDefFoundError: scala/Product" %% "spark-sql" % "2.3.3"
lazy val sparkCore =
浏览 13提问于2019-06-08得票数 1
回答已采纳
我正在尝试使用spark-sql java API来连接cassandra。下面是我正在使用的jar <dependency> <artifactId>spark-cassandra-connector_2.11</artifactId></depende
浏览 24提问于2019-04-22得票数 0
1回答
我看了一下“createDataFrame”()中的pyspark源代码，它们似乎将数据转换为numpy记录数组，并将其转换为列表： at org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:63)
at org.apache.spark.rdd.RDD.computeOrRe
浏览 2提问于2017-07-25得票数 5
0回答
{SparkConf, SparkContext}import java.sql.+= "org.apache.logging.log4j" % "log4j-api" % "2.11.0"
libraryDependencies += "org.apache.logging.log4j+= "org.apache.spark" %% "spa
浏览 11提问于2018-07-16得票数 0
回答已采纳
:379)at org.apache.spark.rdd.RDD.iterator(RDD.scala:319)at org.apache.<
浏览 22提问于2017-03-10得票数 1
def main(args: Array[String]): Unit = { .builder() .appName("SparkAndHive")
val sparkCo
浏览 5提问于2022-10-19得票数 0
回答已采纳
2回答
按照的描述，我正在从Mongo加载一个bson转储到Spark中。它是有效的，但我得到的是：它基本上应该是包含所有String字段的JSON。但是，当然，toDF在该RDD上失败了。如何将其转换为所有字段均为String的Spark DataFrame？如果能有类似于spark.read.json的东西就太好了。
浏览 1提问于2016-10-04得票数 1
我正在调用mllib Statistics.corr()函数并接收以下错误：
(x: org.apache.spark.api.java.JavaRDDjava.lang.Double，y: org.apache.spark.api.java.JavaRDDjava.lang.Double，方法: String)scala.Double (x: org.apache.spark.rdd.RDDscala.Double，y: org.apache.spark.r
浏览 6提问于2015-09-21得票数 1
回答已采纳
{Level, Logger} import org.apache.spark.sql.SparkSessionLevel.ERROR) val sc = new SparkContext("local[*]", "savingCSV") val spark = SparkS
浏览 15提问于2021-08-12得票数 0
我已经从NOSQL数据库创建了RDD，我想将RDD转换为数据帧。我已经尝试了许多选项，但都会导致错误。将RDD转换为Dataframe的最佳方法是什么？<and> (rdd
浏览 1提问于2016-11-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
