2回答
dataframe包含数组类型的列。我正在尝试从列中删除Seq中的元素。|
|[animation, book] | 怎样才能以一种有效和优化的方式做到这一点呢
浏览 68提问于2019-05-17得票数 6
回答已采纳
2回答
我有一个包含两个数组列的Spark dataframe：用var2列的值检查列var1的每个元素，并从var1中删除以下单词：部分(例如，1 word - tea)或完全<code>E 210</code>(例如，两个
浏览 3提问于2022-08-01得票数 2
回答已采纳
我从第三方获得了大量的JSON文件。它们都有相同的模式，除非嵌套元素为空，否则它被表示为空数组。{ }因此，这是一个有效的JSON，"survey_data“元素是一个struct_type，但是具有非常复杂的嵌套结构(子元素比这个简化的示例中要多)
但是，当survey_data没有嵌套元素时，它被表示为
浏览 0提问于2018-10-31得票数 3
我有一个带有column1的Spark dataframe：我想从这两列中删除第一个元素，对于column1和column2，期望的o/p分别是：对于column2，这里是我编写<em
浏览 2提问于2016-08-16得票数 0
/删除数组列的某些元素。具体而言，每个数组中的4个元素对应于CS部中的4个id，并以提升id顺序(意为1、5、7、101)生成数字。现在，我希望删除每个数组中对应于in的元素，这些In的测试列为1。我解决这个问题的思路包括两个步骤：
计算需要删除</em
浏览 1提问于2018-04-17得票数 0
回答已采纳
1回答
我是scala的新手。我正在尝试拆分WrappedArray，但没有成功。我有一个dataframe，其中包含一行我从xml转换而来的数据。00,06:00,2 Center2,57]3 2020-07-01T00:00:00 06:00 3
浏览 42提问于2020-11-23得票数 1
回答已采纳
---------------+------------+| Michael,Rose,|[SparkJava |CA ||James,,Smith |C++ |CA | .toDF(
浏览 11提问于2021-10-11得票数 2
1回答
有人熟悉spark来查询嵌套的数据吗？爆炸()作用是正确的吗？代码应该是什么样子的？我想查询myData-> productData (数组)->data(字符串)
我的错误代码在这里，我不确定的选择部分。有人能帮忙吗？非常感谢!data = spark.read.parquet("s3:path").filter("Btype == 'a' and marketplaceId = 1&qu
浏览 6提问于2022-12-01得票数 0
回答已采纳
1回答
问题 我需要在代码中更新这一行。我该怎么做？ "case StringType => concat_ws(",",collect_list(col(c)))" 仅追加现有字段中不存在的字符串。在本例中，字母"b“不会出现两次。
浏览 15提问于2019-03-18得票数 0
回答已采纳
spark中的vectorAssembler函数提供了一个vectordouble类型作为输出，但我需要将其转换为arraydouble。我知道提供了一个内置的Vector_to_array函数，但我不知道如何将列转换为数组，一些元素也是稀疏数组。features")
var transformedDF = assembler.setHandleInvalid("skip").transform(upd
浏览 31提问于2020-12-10得票数 0
回答已采纳
我想对dataframe中的列进行更改。列是整数的数组。我想替换数组的一个元素，从另一个数组中获取索引，并将该元素替换为来自第三个数组的元素。示例:我有三个列-- C1、C2、C3 --这三个数组。我希望按以下方式替换C3中的元素<
浏览 0提问于2018-07-02得票数 0
回答已采纳
中创建第4列，其中包含所有这3列的值数组，如| indiana|需要这个数组，因为countVectorizer模型的输入应该是包含值数组的列。我试图从这3列输入数据创建一个数组，但是<em
浏览 1提问于2017-09-05得票数 0
回答已采纳
我已经创建了一个空的dataframe，并开始添加它，通过读取每个文件。但其中一个文件的列数比前一个文件多。如何仅为所有其他文件选择第一个文件中的列？= SparkSession.builder.\
config("spark.jars.packages","saurfang:spark-sas7bdat:2.0.0-df_spark=spark</
浏览 1提问于2019-09-06得票数 3
回答已采纳
1回答
我是Python/PySpark的新手，目前在Databricks中使用它。" : ["191.168.192.103", "191.168.192.107"]}',),当我试着它不能正确解析JSON。结果数据帧是一个以_corrupt_record作为标题的列。
查看dummyJson<
浏览 6提问于2019-11-15得票数 0
回答已采纳
Spark2.4引入了涉及数组的新的有用的Spark SQL函数，但当我发现：select array_remove(array(1, 2, 3, null, 3), null)的结果是null而不是[1, 2, 3, 3].时，我有点困惑 这是预期的行为吗？是否可以使用array_remove删除空值 顺便说一句，目前我使用的替代方法是databricks中的高阶函数： sele
浏览 55提问于2019-01-12得票数 18
回答已采纳
payload.links中包含的数组在json语句中的大小不同。我需要将数组中的数据放入列中，以使dataframe看起来像：
时间戳down_dev，payload_links_1_up_db，payload_links_1_up_maker，payload_links我还知道如何像这样访问数组的每个元素：spark_df = spark_d
浏览 9提问于2022-07-21得票数 0
回答已采纳
我有一个spark数据帧，行是这样的-2 | [d, e, f]现在我只想保留数组列中的前两个元素。1 | [a, b]3 | [g, h]注意-请记住，我在这里提取的不是单个数组元素，而是可能包含多个元素的<
浏览 1提问于2018-10-25得票数 12
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
