如何从spark scala dataframe中包含列名的列表中获取列值
如何从spark scala dataframe中包含列名的列表中获取列值
提问于 2021-09-09 16:21:57
我定义了一个配置，其中包含要用作重复数据删除键的每个表的列的列表
对于示例:配置1：
val lst = List(section_xid, learner_xid) 这些是需要用作重复数据删除键的列。这个列表是动态的，有些表会有1个值，有些会有2个或3个值
我想要做的是从这个列表中构建一个单独的键列
df.
.withColumn( "dedup_key_sk", uuid(md5(concat($"lst(0)",$"lst(1)"))) ) 我如何使此动态，这将适用于列表中的任意数量的列。我试过这么做
df.withColumn("dedup_key_sk", concat(Seq($"col1", $"col2"):_*))为此，我必须将list转换为Df，而list中的每个值都需要在单独的列中，我无法弄清楚这一点。
我试过这样做，但没有奏效
val res = sc.parallelize(List((lst))).toDF在这里输入ANy将非常感谢。谢谢
回答 1
Stack Overflow用户
发布于 2021-09-09 18:22:26
可以(使用functions.col )将字符串列表mapped到列列表。然后可以将此列列表与concat一起使用
val lst: List[String] = List("section_xid", "learner_xid")
df.withColumn("dedup_key_sk", concat(lst.map(col):_*)).show()页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/69121692
复制相关文章
相似问题
腾讯云开发者
