Spark scala使用子查询与limit连接

文章/答案/技术大牛

发布

1回答

mysql、sql、scala、apache-spark

我需要连接fake_id上的两个表，但是表2包含多个匹配的记录，因此我需要匹配记录where table2.end_time >= table1.event_time和table2.start_timespark.sql("select t1.fake_id, t1.attribute_1,t1.event_time,t22.end_time from table1 t1 left outer joinand t2.end_time >= t1.event_time and t2.start_time <= t1.event_t

浏览 59提问于2020-08-29得票数 0

回答已采纳

2回答

创建一个SQL查询，该查询将从pyspark中的表中选择10的限制。

python、sql、pandas、dataframe、pyspark

' using your spark_ex and .createDataFramespark_df.show()1#创建一个SQL查询，该查询从示例

浏览 4提问于2021-09-23得票数 0

回答已采纳

1回答

对子文档的sparkR Mongo连接器查询

mongodb、apache-spark、connector

我使用的是Mongo连接器--文档中的所有示例()都很好，但是如果我在一个有子文档失败的文档中测试查询，显然SQL还没有准备好进行此查询： at com.mongodb.spark.sql.MapFu

浏览 5提问于2016-08-16得票数 0

回答已采纳

1回答

Spark SQL:交叉连接和子查询

sql、apache-spark、subquery、pyspark、cross-join

我尝试在pyspark中运行以下SQL查询(在Spark1.5.0上)：at org.apache.spark.sql.SparkSQLParser$$anonfun$org$apache$sparkat org.apache.spark.sql.SQLCont

浏览 1提问于2016-03-02得票数 1

回答已采纳

1回答

火花SQL与火花壳REPL的性能差异

apache-spark

Spark问题:我在spark-sql和spark-shell中进行完全相同的Spark查询。spark-shell版本大约需要10秒，而spark-sql版本大约需要20秒。星星之火-sql REPL直接获取查询：火花外壳REPL命令如下所示： scala> val df = sqlContext.sq

浏览 1提问于2016-02-11得票数 6

1回答

子查询中具有多个值的Spark过滤器下推

apache-spark、hive、apache-spark-sql、hiveql

现在，我想使用分区修剪过滤由y使用来自adm的值进行分区的另一个表big。from adm a)select * from big b导致a和b之间的广播加入即使我使用IN，如何将子查询作为分区筛选器下推

浏览 0提问于2019-12-13得票数 2

1回答

Apache问题: java.lang.RuntimeException：[1.517] failure:预期标识符

join、apache-spark、apache-spark-sql

根据我对spark的研究，了解到两个以上的表不能直接连接，我们必须使用子查询才能使它工作。因此，我使用子查询并能够连接3个表：查询

浏览 0提问于2015-02-09得票数 0

1回答

如何在Spark* 1.6中使用SQL子查询*

mysql、apache-spark、apache-spark-sql、spark-hive

如何将以下查询转换为与不支持子查询的Spark 1.6兼容：FROM `table1` ne INNER JOIN `table2device_hostname LIKE 我读到它支持在FROM中指定的子</e

浏览 16提问于2018-01-22得票数 1

2回答

如何使用SQL查询在dbtable中定义表？

jdbc、apache-spark、apache-spark-sql

请注意，可以使用SQL查询的FROM子句中的任何有效内容。例如，您也可以使用括号中的子查询来代替完整的表。当我使用代码时：USING org.apache.spark.sql.jdbc url "jdbc:postgresql

浏览 2提问于2015-09-17得票数 5

回答已采纳

1回答

如何在停止上下文后强制关闭与mysql的Spark* Hive metastore连接？*

mysql、apache-spark、hive、metastore

我使用Spark来查询配置单元，然后进行转换。我的Scala应用创建了多个Spark应用。只有在关闭前一个spark应用的SparkSession和Spark上下文后，才会创建新的Spark应用。但是，在停止sc和spark时，不知何故，与Hive Metastore (Mysql)的连接未正确销毁。对于每个，Spark App我可以看到大约5个Mysql连接被创

浏览 23提问于2017-08-15得票数 0

1回答

如何在Spark中启用Postgis查询

postgresql、apache-spark、postgis

我有一个带有Postgis扩展的PostgreSQL数据库，所以我可以执行以下查询：FROM poi_table使用Spark，我可以在我的Spark应用程序(在Scala中)中查询表，如下所示例如，当我使用Postgis函数ST_Di

浏览 0提问于2018-01-17得票数 1

回答已采纳

1回答

星星之交不适用于avtiva驱动程序

apache-spark、spark-submit、druid

我试图用简单的查询操作编写一个火花作业，连接到德鲁伊。根据，我使用avatica驱动程序连接到Druid。avatica:remote:url=http://<druidBrokerUrl>/druid/v2/sql/avatica/"} 在执行scala代码时，我能够连接到Drui

浏览 7提问于2022-07-25得票数 0

2回答

从mysql读取火花外壳中的数据

mysql、apache-spark、integration

首先，我构建了scala应用程序，使用这一行代码从apache中的mysql表中读取数据。scala> var df = spark.read.format("jdbc").option("url","jdbc:mysql://127.0.0.1:3306").option("user","scala> df.show() <console>:26: error: valu

浏览 2提问于2017-10-02得票数 1

2回答

R DBI Sparklyr DBWritetable正在运行，但没有结果

r、apache-spark、hive、sparklyr、r-dbi

没错，我尝试使用RStudio和R(有时使用rPython的python )来取代一些我过去使用T-SQL做的事情，以及一大堆我以前永远做不到的事情。sc <- spark_connect(mast

浏览 1提问于2017-09-01得票数 1

1回答

如何使用AWS Glue和Spark* SQL存储表？*

apache-spark、aws-glue

<init>(Path.java:175) at org.apache.spark.sql.hive.client.HiveClientImpl$$anonfun$getDatabase$1$$anonfun$apply$2.apply(HiveClientImpl.

浏览 44提问于2020-07-08得票数 2

1回答

火花SQL卡桑德拉如何处理时间戳空值？

cassandra、apache-spark、apache-spark-sql

我目前正在使用ApacheCassandra2.1.2集群和Spark1.2.0连接器。对于一些初始测试，我需要通过Spark命令从Cassandra表中选择一些行。我们在键空间 ks中使用了一个名为tabletest的表。例如，这个表包含一个id (bigint)和一个ts (时间戳)。cc = new CassandraSQLContext(sc)val rdd = cc.sql("SELECT id,ts FROM table

浏览 5提问于2015-01-29得票数 0

1回答

：无法看到失败SQL查询的完整堆栈跟踪

scala、apache-spark、apache-spark-sql、spark-launcher

我正在使用SparkLauncher连接到Spark上的Yarn之上的集群模式。我正在使用Scala运行一些SQL代码，如下所示： try { getNestedStackTrace(e.getCause, msg ++ e.getStackTrace.map(_.toString))现在，

浏览 3提问于2020-05-25得票数 1

回答已采纳

1回答

使用java读取spark* sql中的复杂json*

java、spark-streaming

我的json文件类似于下面的代码，我正在尝试使用以下代码读取majorsector_percent下的所有名称。sQLContext.sqlContext().cacheTable("logs");但是我得到了这个错误，因为类型转换，如何处理这种情况以及如何知道模式： java.lang.ClassCastException: scala

浏览 0提问于2016-04-06得票数 1

2回答

如何在ISIN操作符中传递数据

apache-spark、hadoop、apache-spark-sql、bigdata

我想将具有一组值的dataframe传递给新查询，但失败了。( 1)在这里，我选择特定的列，以便在下一个查询中通过ISINmanagerIdDf: org.apache.spark.sql.DataFrame = [manager_id: bigint与下面一样，当我

浏览 0提问于2018-10-02得票数 3

回答已采纳

1回答

在spark函数中创建本地数据的错误

scala、apache-spark

:67)at org.apache.spark.sql.execution.CollectLimitExec.readMetrics(limit.scala:51) at org.apache.spark.sql.execution.CollectLimitExec.metrics$lzyc

浏览 6提问于2021-01-13得票数 0

点击加载更多