在使用字符串查询时，如何在Spark SQL调用中留下注释，例如：sqlContext.sql('SELECT * FROM tb') File "/usr/hdp/current/spark2-client/pyth
浏览 86提问于2018-08-05得票数 1
回答已采纳
可以将原始SQL字符串转换为DataFrame。但是，是否也有可能采取相反的方法，即为(派生的)星火DataFrame的查询逻辑获取SQL表示？= a.groupBy($"foo").agg(count("*") as "occurrences").orderBy($"occurrences")
// Convert a SQLFRO
浏览 3提问于2021-04-15得票数 1
回答已采纳
嗨，我是pyspark的新手。我没有用pyspark编写代码，所以我需要帮助来使用python在pyspark上运行sql查询。sql查询：
select a.id as nmitory_id, a.dscrptn as nmitory_desc, a.nm as terr_nm, a.pstn_typ
浏览 23提问于2019-11-12得票数 1
我有一个星火SQL DataFrame在木星笔记本作为output_df1。我想按以下方式定义一个函数： output_agg_1 = spark.sql(f"""Py4JJavaError Traceback (most recent call last)
/opt&
浏览 13提问于2021-12-08得票数 -2
回答已采纳
我正在重写一些SQL代码，其中有一段代码使用子查询。我可以将其编写为连接，但想知道它是否可以在Pyspark中以类似的子查询方式完成。在SQL代码中使用子查询具有显著的性能优势，但是想知道这在Pyspark中是否会由于DAG中的优化而不相关。因此，如果有人能够解释相对性能权衡，这将是有帮助的，如果有权衡的话。逻辑非常简单:我有df_a，我想从df_b中提取一列，其
浏览 1提问于2020-04-08得票数 0
连接到spark over livy在Jupyter中工作得很好，下面的spark魔法也是如此：select * from some_tablequery = 'select * from some_table'%%spark -c sql以下操作也不起作用：
%%spa
浏览 0提问于2018-05-08得票数 2
6回答
我遵循Spark，并希望将变量传递给它。怎么做？我试着跟着走。
sqlContext.sql("SELECT count from mytable WHERE id=$id")
浏览 4提问于2016-05-17得票数 13
回答已采纳
2回答
我需要使用之前在spark中创建的变量从teradata表中选择数据：sqlContext.setConf("spark.sql.parquet.writeLegacyFormat","true")val df = sqlContext.sql(quer
浏览 12提问于2019-07-29得票数 0
使用spark保存记录时，有没有办法获取写入的记录数？虽然我知道它目前不在规范中，但我希望能够做一些如下的事情：或者，能够对一个步骤的结果进行内联计数(最好不使用标准累加器)将是(几乎)有效的
浏览 1提问于2017-05-12得票数 7
3回答
如何在Apache Spark SQL中绑定变量？例如：sqlContext.sql("SELECT * FROM src
浏览 21提问于2014-11-05得票数 15
3回答
我们如何在Scala中使用Spark将列名和操作符名称动态传递给SQL查询？我尝试了(不成功)以下内容：spark.sql("select count(1) from ${key_tbl}").collect(
浏览 6提问于2018-02-25得票数 5
1回答
我需要在Spark SQL中传递参数。例如，我有以下查询作为Val时间戳=spark.sql("select timestamp from tablea ")，现在，我有另一个查询要在where类Spark.sql中传递这个时间戳(s“select但是上面的查询返回不匹配的表达式错误。有没有人能提个解决方案
浏览 1提问于2020-02-04得票数 0
我有数据嵌入在我的文本字段，我需要禁止。数据采用\ in格式，其中nnn为3位数。我尝试了以下几点：spark.sql("select regexp_replace('ABC\123XYZ\4
浏览 10提问于2022-10-13得票数 0
回答已采纳
1回答
我正在使用pyspark==2.4.3，我只想运行一个hql文件show tables;from os.path import expanduserpoints to the default location for managed databases and tables .builder
浏览 10提问于2020-01-26得票数 0
我正在用python编写spark代码。如何在spark.sql查询中传递变量？q25 = 500目前上面的代码不能工作？我也试过，
Q1 = spark.sql("SELECT col1 from table where col2>5
浏览 6提问于2017-06-16得票数 21
1回答
我想对多个“行”json字符串执行一些查询。我真的不知道如何从查询中获得结果，我尝试以字符串的形式获得结果。 spark .schema(schema)根是一个case类，它对应于主体中的Json模式。当我要打印
浏览 2提问于2019-04-10得票数 0
回答已采纳
1回答
在PySpark SQL查询过程中，我面临一个特殊的或未知的连接问题。spark.sql("select *,rtrim(IncomeCat)+' '+IncomeCatDesc as trimcat from Dim_CMIncomeCat_handled").show()
在这个查询中，IncomeCat和IncomeCatDesc字段都保持字符串类型值，所以从逻辑上说，
浏览 3提问于2016-11-16得票数 0
回答已采纳
我有一个包含许多SQL查询的SQL文件，如下所示： CREATE TABLE ..... ;
ALTER TABLE .... ; 我想在单个spark.sql调用中执行这些查询，如何在JAVA中实现这一点
浏览 21提问于2021-03-26得票数 1
回答已采纳
1回答
有没有办法获得Hadoop集群中不同用户执行的Spark SQL查询的列表？例如，有没有Spark应用程序以字符串格式存储查询的日志文件？
浏览 8提问于2018-08-21得票数 0
回答已采纳
1回答
我正在使用Spark查询Hive中的数据。数据被分区，Spark在查询时正确地修剪分区。但是，我需要列出给定查询的源表以及分区过滤器或特定的输入文件(.inputFiles是很明显的选择，但它并不反映剪枝)，以便确定计算的哪一部分数据。我能得到的最接近的是打电话给df.queryExecution.executedPlan.collectLeav
浏览 12提问于2017-09-14得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
