1回答
我想为spark数据帧的单个列中的每个字符串删除字符串的最后两个值。我想在spark数据帧中实现这一点，而不是将其移动到pandas，然后再移回来。下面是一个数据帧示例，# | age| name|# | 350|Mi
浏览 1提问于2019-06-04得票数 1
1回答
给定一个数据帧"df“和一个列列表"colStr"，在Spark dataframe中是否有一种方法可以从数据帧中提取或引用这些列。names delimited by ','
import org.apache.s
浏览 2提问于2017-01-28得票数 1
回答已采纳
2回答
因此，我在Spark(scala)中有两个列表。它们都包含相同数量的值。第一个列表a包含所有字符串，第二个列表b包含所有长字符串。String] = List("a", "b", "c", "d")
b: List[Long] = List(17625182, 17625182, 1059731078, 100) 我还有一个定义如下的模式StructField("
浏览 11提问于2021-03-15得票数 0
回答已采纳
我在Java8中使用Spark。我有一个数据帧，其中一列包含一个mllib.linalg.Vector。我希望将数据帧中的另一列(例如ID列) groupBy，并将特征向量"collect_list“到列表中。我得到了下面的错误。我不明白为什么。这是一个泛型操作，为什么它关心列中数据
浏览 13提问于2017-01-12得票数 2
回答已采纳
2回答
我们有包含二进制列的数据帧，当我们将数据帧保存为csv时，二进制列将导致csv解析器出现问题。 有没有办法强制spark csv write写出hex或base64编码字符串中的任何二进制列？
浏览 24提问于2021-02-10得票数 0
回答已采纳
我有一个spark dataframe TABLE1，它有一列，每列有100000行，每行包含一个相同长度的字符串 AA105L
浏览 18提问于2017-03-08得票数 0
回答已采纳
不幸的是，我不能分享我的实际代码或数据，因为它是专有的，但如果问题对读者来说不是很清楚，我可以生成一个MWE。 我正在处理一个包含大约5000万行的数据帧，每行都包含一个大型XML文档。从每个XML文档中，我提取了一个与出现次数和标记之间的层次关系相关的统计数据列表(没有什么比无文档记录的XML格式更让人愉快的了)。我可以在数据
浏览 21提问于2021-10-26得票数 0
1回答
如何更改数据框列列表的列类型
、、、、
我正在尝试更改Spark 1.6.0中Dataframe的列列表的类型。然而，到目前为止发现的所有示例都只允许对数据帧中的单个列(df.withColumn)或所有列进行转换：
val castedDF = filteredDf.columns.foldLeft(filteredDf)((filteredDf, c) =>
浏览 12提问于2017-12-14得票数 0
2回答
我是Scala编程的新手，这是我的问题:如何计算每行的字符串数？我的数据帧由ArrayString类型的单个列组成。friendsDF: org.apache.spark.sql.DataFrame = [friends: array<string>]
浏览 2提问于2017-09-07得票数 45
回答已采纳
1回答
dataframe中的列"colA“包含整数值：| colA|| 1|| 1|+-----+我需要创建一个新列"colB“，它将包含"colA”到字符串值的映射：| colA| colB|| 1| a|| 1| a|
|
浏览 0提问于2018-02-05得票数 1
回答已采纳
1回答
我正在尝试在Python Spark中定义一个函数，它可以告诉我哪些列应该被视为数字(连续)，哪些列应该被视为分类列。在执行此操作时，我将访问数据帧的dtypes，并遍历每个变量，以检查它是否是continuous_types或categorical_types(定义如下)的成员。= ('string')
我认为有更多的字符串/dty
浏览 1提问于2018-05-23得票数 0
我需要根据数据类型将我的数据集划分为不同的子集。 在Pandas中我们可以通过df.select_dtypes来实现，我想在Spark Scala中实现它。有谁能帮帮忙。例如，下面是我的数据集：Dataset 我想根据数据类型将数据集划分为浮点型和字符串。 我的最终输出应该是这样的，其中包含两
浏览 24提问于2019-09-25得票数 2
回答已采纳
1回答
在发布这个问题之前，我做了两个小时的spark文档阅读。val cleanedDF = joinedDF
.filter(joinedDF("A") !== (&q
浏览 4提问于2015-12-03得票数 0
回答已采纳
1回答
我正在使用python/spark 2.1。我已将数据上载到表中。该表是一个充满字符串的单列。我希望对列中的每个元素应用一个映射函数。我将表加载到数据帧中：我能看到的唯一方法是别人说的是将其转换为RDD以应用映射函数，然后返回到data
浏览 1提问于2017-07-31得票数 18
回答已采纳
1回答
我正在做一个使用spark的项目。在某些阶段，我需要在单个数据帧中合并或连接3个数据帧。这些数据帧来自spark sql表，我使用了联合函数，它已经合并了两个表中具有相同编号的列，但我也需要合并不相等的列值。我现在很困惑，有没有办法在pyspark中合并或连
浏览 13提问于2016-09-22得票数 0
2回答
在尝试用空值替换Spark dataframe的特定列的值时，我遇到了一个问题。我有一个超过50列的数据帧，其中两列是键列。我想创建一个具有相同模式的新数据帧，并且新数据帧应该具有来自键列的值和非键列中的空值。但是我有一些double类型和
浏览 18提问于2018-08-29得票数 1
回答已采纳
如何将下面示例中的字符串拆分为数据帧中的年、月和日期等新列。示例:数据框中的列A2017-10-15Column A Year Month Date
2017-10-15 2017 10 15
浏览 1提问于2019-09-03得票数 1
我有一个spark表，我想在python中读取(我在databricks中使用的是python3)，实际上结构如下。日志数据存储在单个字符串列中，但它是一个字典。我如何拆分字典中的条目来阅读它们。spark表读取到数据帧中，找到最大事件时间戳，找到具有该时间戳的行，然后计数并仅将这些行读取到具有数据列<
浏览 39提问于2020-07-01得票数 1
回答已采纳
我有一个从熊猫数据帧创建的样本spark数据帧-from(pdf) # this is spark dfdf.printSchema()
|-- input1: long (nullable = true)
|--input2: string (nullable =
浏览 3提问于2020-09-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
