如何在联接中使用数组列的Column.isin？
如何在联接中使用数组列的Column.isin？
提问于 2017-08-03 14:49:33
case class Foo1(codes:Seq[String], name:String)
case class Foo2(code:String, description:String)
val ds1 = Seq(
Foo1(Seq("A"), "foo1"),
Foo1(Seq("A", "B"), "foo2"),
Foo1(Seq("B", "C", "D"), "foo3"),
Foo1(Seq("C"), "foo4"),
Foo1(Seq("C", "D"), "foo5")
).toDS
val ds2 = Seq(
Foo2("A", "product A"),
Foo2("B", "product B"),
Foo2("C", "product C"),
Foo2("D", "product D"),
Foo2("E", "product E")
).toDS
val j = ds1.join(ds2, ds2("code") isin (ds1("codes")))希望这个Scala代码片段说明了我想要完成的任务，我们的数据是结构化的，这样一个数据集就有一个列，其中包含一个值数组，我希望将集合中的值连接到另一个数据集。例如，Seq("A", "B") in ds1将与"A"和"B"在ds2中连接。
列上的"isin“运算符似乎正是我想要的，它构建并运行，但是当我运行它时，我会得到以下错误：
org.apache.spark.sql.AnalysisException:无法解析“(
codeIN (codes))”，原因是数据类型不匹配:参数必须是相同类型；
进一步阅读，我看到isin()想要一个varargs ("splatted“)，并且似乎更适合filter()。所以我的问题是，这是这个操作符的预期用途，还是有其他方法来执行这种类型的连接？
回答 1
Stack Overflow用户
回答已采纳
发布于 2017-08-03 15:00:25
请使用array_contains
ds1.crossJoin(ds2).where("array_contains(codes, code)").show
+---------+----+----+-----------+
| codes|name|code|description|
+---------+----+----+-----------+
| [A]|foo1| A| product A|
| [A, B]|foo2| A| product A|
| [A, B]|foo2| B| product B|
|[B, C, D]|foo3| B| product B|
|[B, C, D]|foo3| C| product C|
|[B, C, D]|foo3| D| product D|
| [C]|foo4| C| product C|
| [C, D]|foo5| C| product C|
| [C, D]|foo5| D| product D|
+---------+----+----+-----------+如果使用Spark1.x或2.0Spark1.x或2.0，则将crossJoin替换为标准联接，并替换为enable cross joins in configuration, if necessary。
用explode可以避免笛卡尔乘积
ds1.withColumn("code", explode($"codes")).join(ds2, Seq("code")).show
+----+---------+----+-----------+
|code| codes|name|description|
+----+---------+----+-----------+
| B| [A, B]|foo2| product B|
| B|[B, C, D]|foo3| product B|
| D|[B, C, D]|foo3| product D|
| D| [C, D]|foo5| product D|
| C|[B, C, D]|foo3| product C|
| C| [C]|foo4| product C|
| C| [C, D]|foo5| product C|
| A| [A]|foo1| product A|
| A| [A, B]|foo2| product A|
+----+---------+----+-----------+页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/45487666
复制相关文章
相似问题
腾讯云开发者
