1回答
带字典的PySpark约简键
、、、、
为什么Spark强制从元组列表中构建RDD，以便在进行还原键转换的情况下？(RDD.scala:306) at org.apache.spark.api.python.PairwiseRDD.compute(PythonRDD.scala:342)
at org.apache.spark.r
浏览 0提问于2018-01-18得票数 1
我想把下面的RDD转换成键值对，每个键有两个值。第一列应该是键，第二列和第三列应该是值。如何使用scala中的Case类执行转换？scala> input[Market,Market,Markets]
[Adventure,Adventure
浏览 0提问于2018-05-29得票数 0
我尝试使用SparkSQL和Scala拆分DataFrame列中的字符串，这两种拆分条件的工作方式似乎有所不同 使用Scala， 这是可行的- val seq = Seq("12.1")val df = seq.toDF("val")
val after
浏览 18提问于2019-01-08得票数 0
回答已采纳
不错的散文，但它真正意味着什么呢？这里是一个人为的琐碎例子，不管我是否将true或false传递给mapPartitions，对于新的RDD，每个分区的数据分区仍然是相同的，即使我改变了K，V的K值，那么，意义是什么呢？一定是我错过了一些基本的东西。import org.apache.spark.HashPartitionerdef myfunc(iter: Iterator[
浏览 0提问于2020-01-02得票数 2
回答已采纳
1回答
我对Spark和Scala非常陌生，我想测试一个值是否是RDD中的一个键。我掌握的数据如下：
RDD :关键的->统计数据
是否有更好的</em
浏览 1提问于2015-01-12得票数 1
回答已采纳
1回答
我试图动态地将一个通用的json转换成键值字符串(至少3层嵌套)。例如: Json：结果:键值字符串类似于：在这里，键可能是任何东西，所以不能使用键的硬编码字符串值来解析。我尝试通过rdd = spark.sparkContext.wholeTextFiles("s3://
浏览 28提问于2020-11-16得票数 0
我使用官方的MongoDB Spark Connector从MongoDB集合中读取Spark中的数据，代码如下： INFO DAGScheduler: Job 1 fail
浏览 12提问于2018-11-28得票数 1
3回答
我将一个很长的SQL查询存储在一个data.sql文件中。我想在我的Scala代码中执行这个文件。对于sql字符串，我使用spark.sql( sqlQuery )来执行sqlQuery。
浏览 0提问于2018-05-09得票数 3
我正在尝试从MongoDB读取一个庞大的复杂文档到spark数据框架中。当我将这个数据库转换成json时，它就能工作了。但是，如果我直接从com.mongodb.spark.exceptions.MongoTypeConversionException:中读取，则会得到以下错误:由: MongoDB引起的不能将字符串转换为mongo$.main(mongo.scala:270) - df.show(
浏览 1提问于2018-04-03得票数 1
2回答
我正在使用Spark并编写文件，我使用的是Spark的write.jdbc函数。对于长、十进制或文本这样的拼花列类型，一切都可以正常工作。问题在于像Map这样的复杂类型。我想将Map作为json存储在我的PostgreSQL中。因为我知道PostgreSQL可以自动将文本数据类型转换为json (使用强制转换操作)，所以我将映射转储到json字符串。但是星火程序抱怨说，我们试图将“
浏览 1提问于2018-04-20得票数 2
回答已采纳
1回答
我看了一下“createDataFrame”()中的pyspark源代码，它们似乎将数据转换为numpy记录数组，并将其转换为列表：我知道的几种方法将涉及创建处理，这些方法包括：
在熊猫中向datetime对象添加时区信息。然而，这似乎是不必要的，并可能导致错误取决于您自己的时区。使用datetime库将long转换为时间戳。侧
浏览 2提问于2017-07-25得票数 5
有没有可能将JSON字符串直接从Spark索引到Elasticsearch？我不想有任何中间的Scala case类，或者POJOS。然而，我不断地得到：
org.apache.spark.util.TaskC
浏览 0提问于2017-08-17得票数 1
1回答
看起来spark sql对" like“查询是区分大小写的，对吧？spark.sql("select distinct status, length(status) from table")Active|6
不返回值
spark.sql("select distin
浏览 8提问于2018-11-28得票数 4
我希望将键值RDD转换为列，其中distinct键应该是列，例如(serviceName,service1)(endTime,2345)-----------|---------|---------service2 |4567 |7891
有谁可以使用scala在spark中帮助实现这一点吗？
浏览 0提问于2018-04-06得票数 0
我在Python中使用下面的代码来转换来自多个列的键值(Dataframe，其中有2列InternalId和ExternalId，从spark返回)，并在Python中将其合并为单列"body“。480941,"ExternalId":"a020H00001Tt7NrQAJ"}我如何在Scala
浏览 3提问于2020-04-28得票数 0
回答已采纳
我在一个文件中用逗号分隔了我的值。现在，我希望将此数据转换为键值对(Map)。我知道我们可以拆分这些值并存储在一个数组中，如下所示。val prop_file = sc.textFile("/prop_file.txt") 有没有办法在spark-scala
浏览 1提问于2016-02-18得票数 0
1回答
我在星火城有一个DataFrame，计划如下：style: string我的日期是日期字符串，如“yyyy HH:mm:ss.SSS”我使用以下方法将"creationdate“从字符串转换为日期： "creationdate&q
浏览 1提问于2017-03-29得票数 1
回答已采纳
我在使用Spark Scala中的org.apache.hadoop.fs包时遇到了一个问题。我只需要给定目录中所需的文件详细信息(文件名、块大小、修改时间)。在我的Spark代码中，对于以ListDetails形式存在的每个文件，我只需要上面提到的三个参数。我试着把ArrayFileStatus解析成Json，并取出所需的键值对，但我不能。java.lang.ClassCastE
浏览 166提问于2018-07-10得票数 0
回答已采纳
我正在读取一个avro文件，其中包含一个作为二进制字符串的字段，我需要将其转换为java.lang.string以将其传递到另一个库(spark-xml-util)，如何有效地将其转换为avro。这是我到目前为止得到的代码：
val df = sqlContext.read.format("com.databricks.spark.avro").load("filePath/fileName.avroth
浏览 0提问于2017-08-03得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
