如何使用spark dsl解决交叉连接自连接输出

文章/答案/技术大牛

发布

1回答

scala、apache-spark、apache-spark-sql

import org.apache.spark.SparkConfimport org.apache.spark.sql.types._ def main(args:Array[String]):Unit={ val spark: SparkSession = SparkSession.b

浏览 20提问于2021-08-22得票数 1

回答已采纳

2回答

提高Spark SQL处理数十亿行数据的性能

sql、apache-spark、dataset、partitioning

在我的公司项目中，我需要使用Spark SQL将一个超过十亿行的数据集与另一个大约一百万行的数据集进行交叉连接。由于使用了交叉连接，我决定将第一个数据集分成几个部分(每个部分大约有2.5亿行)，并将每个部分与百万行的部分进行交叉连接。然后我使用了“联合所有”。现在，我需要提高连接进程的性能。我听说可以通过对数据进行分区并将工作分配给Spark工作人员来实现。我的问题是如何

浏览 56提问于2020-01-08得票数 0

1回答

星火中的联接输出错误结果，而映射端连接是正确的。

hadoop、join、apache-spark

我的spark版本是1.2.0，下面是场景：val currentDay = args(0) val co

浏览 1提问于2015-06-30得票数 0

回答已采纳

2回答

或交叉连接的连接结果的条件

sql、apache-spark、pyspark、apache-spark-sql、pyspark-sql

我试图加入星火上的两个数据集，我使用的是spark 2.1版本， FROM Tb1 ON Tb1.key1=Tb2.key1 但是交叉连接的结果是，如何连接两个表而只获得匹配的记录？我也尝试过左外连接，但它也迫使我改变交叉连接而不是?？

浏览 2提问于2017-09-06得票数 1

回答已采纳

5回答

如何交叉连接2个数据帧？

apache-spark、apache-spark-sql、spark-dataframe

我正在努力获得2个数据帧的交叉连接。我使用的是spark 2.0。如何使用2个数据帧实现交叉连接？

浏览 6提问于2017-02-10得票数 13

1回答

我正在使用带有visual studio的Spark .NET作为我的技术(参见下面的设置)：https://docs.microsoft.com/en-us/dotnet/spark/tutorials/get-started Spark .NET有一个带有SQL类型命令的数据帧。我假设我需要执行一个SQL类型的命令来创建N个choose K组合，并使用一个用户定义的worker函数来处理这些组合。问题是在DataFrame中<em

浏览 14提问于2020-08-13得票数 0

1回答

空间数据查询

sql、postgresql、geospatial、postgis、spatial-query

我有以下查询，它与一个表进行自连接，并输出线之间的所有交点。=b.road_id有什么建议，我如何解决这个问题，只计算一个交点？

浏览 0提问于2013-02-16得票数 2

回答已采纳

1回答

星火中笛卡尔加入与BroadcastNestedLoop连接的区别

apache-spark、join

在笛卡尔加入的情况下，这种洗牌是如何发生的？请你解释一下，这两种加入策略到底有什么不同？

浏览 4提问于2022-02-05得票数 1

回答已采纳

1回答

左联接错误: org.apache.spark.sql.AnalysisException:检测到逻辑计划之间的左外部联接的隐式笛卡尔乘积

apache-spark、pyspark、apache-spark-sql

*编辑 df_joint = df_raw.join(df_items,on='x',how='left') Apache Spark 2.4.5中出现标题异常 df_raw有2列"x“、"y”的数据，而df_items是模式的空数据框，还有其他一些列左连接发生在null的值上，它应该从第一个dataframe中获取整个数据，并从第二个dataframe中获取空列。当"X“是浮点数时，它是完全正常的，但是当我将"X”转换为字符串时，它会抛出隐式笛卡尔乘积的错误我在s

浏览 31提问于2020-12-20得票数 0

1回答

左连接错误: org.apache.spark.sql.AnalysisException:检测到隐式笛卡尔乘积

scala、apache-spark、apache-spark-sql

"left join“需要在一个数据帧上使用"spark.sql.crossJoin.enabled=true”或调用"persist()“。SELECT * FROM LHS left join RHS on LHS.R = RHS.R 如何在没有"spark.sql.crossJoin.enabled=true“和持久化数据帧的情况下使”左连接“工作？下面的例外发生在Spark 2.3.3和2.4.4中。或者:使用交叉

浏览 0提问于2019-09-07得票数 0

4回答

带空值的完全外部联接self

sql-server、tsql、outer-join、self-join

我想做一个完整的外部自连接，其中包括空。b.NameN Name A B1 ABC 8 91 XYZ NULL 62 ABC 9 NULL1 ABC NULL 82 XYZ NULL 6 我如何执行这个完整的外部连接，以获得浓缩

浏览 3提问于2017-11-17得票数 1

回答已采纳

1回答

使用DSL连接到某些网站的问题

firefox、internet、connection

连接谷歌时没有问题，GitHub在DSL连接中使用火狐。我还尝试了ping coffeescript.org，并且ping工作得很好，用time=2xx ms返回数据包。当我切换到Wifi连接时，我可以连接到那些网站。如何解决

浏览 0提问于2016-08-27得票数 0

3回答

Spark异常“无法广播大于8 8GB的表”，'spark.sql.autoBroadcastJoinThreshold'：'-1‘不工作

apache-spark、pyspark、apache-spark-sql、broadcast、pyspark-dataframes

在我们的一个Pyspark作业中，我们有一个场景，我们在一个大的数据帧和相对较小的数据帧之间进行连接，我相信spark正在使用广播连接，我们遇到了以下错误 org.apache.spark.SparkException(SQLExecution.scala:98) at org.apache.spark.sql.execution.exchange.BroadcastExchangeExec$$anonfun'：'-1‘设置为spark su

浏览 752提问于2020-04-22得票数 0

2回答

java.lang.AbstractMethodError在Java火花和卡桑德拉连接中的应用

java、apache-spark、cassandra

使用spark1.6.0和cassandra-3.1.1，我尝试使用Java连接到cassandra数据库。at com.test.cassandra.spark.Main.generateData(Main.java:30)at org.

浏览 3提问于2016-02-01得票数 0

回答已采纳

2回答

kubuntu中的网络管理器不显示DSL连接！

network-manager、kde、dsl

我有一个拨号连接互联网，在GNOME中非常好地使用DSL设置，在其中我提供用户名，密码，ip，网关，网络掩码等。📷您可以看到DSL选项卡下有一个连接，但它在托盘上不可用。是这个错误吗：Bug #44724

浏览 0提问于2011-07-08得票数 1

回答已采纳

2回答

如何做一个低RAM全交叉连接？

mysql、unix、memory、awk、cross-product

我有一个希望执行一个完整的自交叉连接在一个大的数据文件点。但是，我不能使用编程语言来执行操作，因为我不能将它存储在内存中。我想在集合中找到所有点的组合。下面将是我的数据集的一个示例。x y 2 8 4 6 我想交叉连接在这个数据上，生成包含所有点组合的25行表。会有一个低记忆的解决方案吗？也许和awk在一起？

浏览 2提问于2017-04-15得票数 1

回答已采纳

1回答

Pyspark中的完全阻塞连接

pyspark、pyspark-sql

我正在尝试使用pyspark对数据库进行重复数据删除，并且作为管道的一部分，我希望从两个完全相同的左侧和右侧数据帧创建一个数据帧。它们有一个共享的索引。最初我很懒，只是使用了交叉连接，但这导致了重复的连接(因为从左到右与从右到左是一样的)。但是我现在需要对代码进行一些优化，我想知道实现这种连接的最好方法是什么。有没有人能提点建议？l_df = spark.createDataFrame([('A',), ('B',), (

浏览 10提问于2019-07-09得票数 0

1回答

如何使用ODBC连接器连接Glue ETL / Spark中的关系数据库

amazon-web-services、pyspark、odbc、amazon-emr、aws-glue

我需要在AWS生态系统中使用ODBC连接器从RDBMS获取数据。AWS Glue不提供ODBC连接。如何使用spark中的ODBC驱动程序将我的spark代码连接到Relational DB。但是它也不提供ODBC连接。然后我试着用spark。但是我仍然找不到关于这个问题的解决方案。需要使用ODBC驱动连接spark中的关系数据库

浏览 0提问于2019-04-01得票数 0

2回答

如何在Spark* SQL中使用交叉连接和交叉应用*

scala、apache-spark、apache-spark-sql

我是Spark和Scala的新手，我编写Spark SQL代码。我在我的逻辑中应用交叉连接和交叉应用的情况。在这里，我将发布SQL查询，我必须将其转换为spark SQL。Table1.Column1,Table2.Column2,Table3.Column3我需要上面的查询转换成Spark

浏览 4提问于2016-11-23得票数 4

1回答

将sql- Spark -connector库安装到Azure Synapse Apache Spark

apache-spark、azure-synapse

我正在尝试安装Apache Spark Connector for SQL Server和Azure SQL，以便在大数据分析中使用事务数据，并将结果持久化以进行即席查询或报告。连接器允许您使用任何SQL数据库，本地或云中，作为Spark作业的输入数据源或输出数据宿。spark sql连接器位于此处有人能告诉我如何在Azure Synapse Apache Spark中导入它吗？

浏览 4提问于2021-10-14得票数 0

点击加载更多