Spark sql中的变量

文章/答案/技术大牛

发布

3回答

在Spark SQL中动态绑定变量/参数？

scala、apache-spark、apache-spark-sql、apache-spark-2.0

如何在Apache Spark SQL中绑定变量？例如：sqlContext.sql("SELECT * FROM src

浏览 21提问于2014-11-05得票数 15

4回答

apache-spark、apache-spark-sql、databricks

因为在SQL Server中，我们可以像declare @sparksql='<any query/value/string>'一样声明变量，但是在spark sql中可以使用什么替代方法。

浏览 541提问于2020-11-26得票数 3

2回答

将字符串从SCALA传递到Databricks中的Python

python、scala、apache-spark、pyspark、databricks

我希望将变量(字符串)的值从scala传递给databricks中的python。我知道我可以使用以下命令在两种语言的之间传输数据帧信息： %scalaspark.table("some_table

浏览 19提问于2021-01-26得票数 1

1回答

findspark.init()失败-无法正确设置SPARK_HOME环境变量

windows、apache-spark、pyspark

我刚开始使用Spark，我正在尝试使用Jupyter Notebook在我的本地(windows)计算机上玩Spark 我遵循了几个关于设置环境变量的教程，以及通过Python和cmd使用多个函数来设置环境变量运行时(在Jupyter Notebook中，使用Python) from pyspark import SparkContext from pyspark.sql import SQLContext\spark-2.4.3-b

浏览 124提问于2019-07-03得票数 2

1回答

spark magic -以字符串形式输入sql上下文

python-3.x、apache-spark、pyspark、jupyter-notebook

连接到spark over livy在Jupyter中工作得很好，下面的spark魔法也是如此：select * from some_tablequery = 'select * from some_table'%%spark -c sql以下操作也不起作用： %%spark -c sql

浏览 0提问于2018-05-08得票数 2

1回答

Python中一个表达式中相同变量的双重赋值--它有什么用途吗？

python、python-3.x、apache-spark、pyspark、delta-lake

有这样一条线： .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \ .config("spark.sql.catalog.spar

浏览 7提问于2022-06-01得票数 0

回答已采纳

1回答

SparkSession变量是由星火壳(scala)执行的，是val还是var？

scala、apache-spark、apache-spark-sql、spark-shell

我必须显式地设置以下配置(因为每个分布式节点都可能配置了不同的默认时区)，以确保我的时区对于该方法中任何Spark函数调用(代码块)的任何后续Spark时间戳操作始终是UTC。接下来我要问的问题是，如何找出spark-shell设置的“火花”变量是val还是var？为了寻找这个问题的答案，我找到了这个，希望找出这个Scala变量是immutable还是mutable。但是它并没有告

浏览 5提问于2020-02-24得票数 0

回答已采纳

4回答

如何使用python在spark* SQL中传递变量？*

python、apache-spark、pyspark、apache-spark-sql

我正在用python编写spark代码。如何在spark.sql查询中传递变量？q25 = 500目前上面的代码不能工作？我们如何传递变量？我也试过， Q1 = spark.sql("SELECT col1 from tab

浏览 6提问于2017-06-16得票数 21

1回答

火花卡桑德拉连接器问题

cassandra、cassandra-3.0、spark-cassandra-connector

发行： com.datastax.spark.connector.util.ConfigCheck$ConnectorConfigurationException:无效的Config变量只允许使用火花卡桑德拉连接器*变量。spark.cassandra.keyspace不是有效的Spark连接器变量。sql$cassandra$CassandraCatalog$$buildRelation(CasandraCatalog.scala:

浏览 2提问于2017-11-20得票数 0

1回答

Spark -如何在pyspark中设置SQL查询的变量，并将其用于进一步的sql查询？

apache-spark、pyspark

重要的注意事项-我们必须使用set来读取RDS视图，而不是RDS表。所以需要根据这个答案SELECT * FROM db.rds_view; spark.

浏览 1提问于2022-07-21得票数 0

1回答

如何在scala中创建未初始化的Dataframe变量。这样，相同的变量就可以在if can条件下初始化。

scala、apache-spark、scala-collections

我需要创建一个未初始化的Dataframe变量。因此，在初始化它中的值之后，我可以将它添加到Seq中 dataframes = dataframes :+ tup我收到了跟随错误错误:类型错配；找到:Seq org.a

浏览 3提问于2021-08-11得票数 0

回答已采纳

1回答

Spark 2.4无法使用变量插入记录

scala、apache-spark

我正在尝试使用变量将记录插入到表中，但失败了。val query = "INSERT into TABLE Feed_metadata_s2 values ('LOGS','RUN_DATE',{} )".format(s"$RUN_DATE")at org.apache.spark.sql.catalyst.parser.AbstractS

浏览 36提问于2021-04-26得票数 0

回答已采纳

1回答

从另一个类访问spark

scala、apache-spark、apache-spark-sql

我创建了一个类，其中包含一个处理spark数据帧的函数。(name, year, isbn_publisher), } 问题是我不知道如何在不创建新的spark = sparksession.builder().appname("isbnencoder").master("loca

浏览 17提问于2021-04-19得票数 0

2回答

散列md5: Pyspark和submit在时间戳列上不提供相同的输出

apache-spark、pyspark、hash

在PySpark中，我使用md5函数散列一些数据格式。df_hive = spark.sql("select * from db.table1 where day=1") df_hivedfha = df_hive.withColumn("hash

浏览 2提问于2021-04-26得票数 1

回答已采纳

1回答

无法通过mapPartitions()在变量中存储dataset的行元素

scala、apache-spark、apache-spark-sql

我正在尝试创建一个Spark数据集，然后使用mapPartitions，尝试访问它的每个元素并将其存储在变量中。使用下面的代码来实现相同的功能：import org.apache.spark.sql.types._ va

浏览 1提问于2019-11-10得票数 1

1回答

如何在火花中选择变量

apache-spark、pyspark、apache-spark-sql

我需要使用sql查询的get变量：但是，当我试图在请求中替换一个变量时，

浏览 4提问于2022-06-28得票数 0

1回答

用于处理具有变量类型的数据的case类中的嵌套Spark* Row？*

scala、apache-spark

我正在尝试找出一种方法来对Scala case类中具有变量类型的数据集合进行建模，我将其作为Spark Dataset进行操作。 at org.apache.spark.sql</

浏览 0提问于2018-08-13得票数 0

2回答

如何使用python在pyspark上运行sql查询？

pyspark、pyspark-sql

嗨，我是pyspark的新手。我没有用pyspark编写代码，所以我需要帮助来使用python在pyspark上运行sql查询。sql查询： select a.id as nmitory_id, a.dscrptn as nmitory_desc, a.nm as terr_nm, a.pstn_type

浏览 23提问于2019-11-12得票数 1

1回答

如何将参数传递给spark.sql(“)？

apache-spark、pyspark、apache-spark-sql、apache-zeppelin

我想把一个字符串传递给spark.sqlmydf = spark.sql("SELECT * FROM MYTABLE WHERE TIMESTAMP BETWEEN '2020-04-01' AND '2020-04-08') val = '2020-04-08' s"spark.sql("SELECT

浏览 4提问于2020-05-15得票数 3

回答已采纳

2回答

什么是Apache Spark* (SQL)中的Catalyst Optimizer？*

pyspark、pyspark-sql

我想知道更多关于在Apache ( PySpark )中使用Catalyst Optimizer的信息，在pyspark数据帧中使用Catalyst Optimizer是可能的。

浏览 23提问于2019-05-18得票数 1

点击加载更多

在Spark SQL中动态绑定变量/参数？