1回答
spark sql表达式中的IF和ELSE语句
pyspark、apache-spark-sql、pyspark-dataframes
我正在寻找一个sql表达式，它检查下一个事件是“已交付”还是“已取消订单”，并根据哪个是第一个返回不同的结果。df = spark.createDataFrame([["ORDER", "2009-11-23", "1"], ["DELIVERED", "2009-12-17", "1"], ["ORDER-CANCELEDORDER|2009-12-03| 1|
| DELIVERE
浏览 604提问于2020-09-17得票数 0
3回答
检查Spark DataFrame列中的值并执行转换
apache-spark、apache-spark-sql
我有一个由person、transaction_id和is_successful组成的数据帧。数据帧由具有不同transaction_ids的person的重复值组成，并且每个事务的is_successful将为True/False。我想要派生一个新的数据帧，它将为每个人都有一条记录，其中包含该人的最新transaction_id，并且仅当他的任何事务成功时才填充True。), (3,2, "False"), (3,3,
浏览 19提问于2021-08-07得票数 1
2回答
计算Spark SQL DSL中的字符串长度
apache-spark、apache-spark-sql、string-length
编辑:这是一个关于Spark 1.2的老问题
出于orderBy的目的，我一直在尝试动态计算SchemaRDD中字符串列的长度。我正在学习Spark SQL，所以我的问题完全是关于使用Spark SQL公开的DSL或SQL接口，或者了解它们的局限性。(这让我想知道在哪里可以找到这个DSL实际可以解析的“表达式”。not foun
浏览 2提问于2015-02-16得票数 6
回答已采纳
2回答
如何将类和regex_extract联系起来
scala、apache-spark、apache-spark-sql
说明:1如何将上述两条语句regexp_extract和rlike联系起来，
sample input:1234
浏览 1提问于2021-08-15得票数 1
回答已采纳
1回答
Spark从具有未知类型的任意列中减去整数
dataframe、apache-spark、databricks
我尝试从一个系统获取任意SQL语句作为输入，并在Spark Databricks集群中运行它。此时，我的程序知道SQL语句的备用表，并为查询加载了这些表。但是我遇到了一个问题，SQL允许您从任意列中减去一个整数，而Spark不允许。我正在尝试通过正则表达式找到一种方法，将(T1.SomeColumn - 1)替换为它的spark等效项；而不必完全
浏览 36提问于2020-08-27得票数 0
回答已采纳
1回答
如何在spark scala中读取csv文件并为变量赋值
scala、apache-spark、apache-spark-sql
我有包含以下内容的csv文件——————————-———————————2,svCol,(Case when col2 = 2 then 3 else 6 end)
我有一个需求，需要读取spark scala中的csv文件并将columnValue分配给ColumnName(创建阶段变量，稍后可以在spark.s
浏览 18提问于2021-02-18得票数 1
1回答
在Spark SQL中使用Case语句时出现语法错误
mysql、apache-spark、apache-spark-sql
我想运行一条case语句，该语句根据Spark SQL中的条件运行不同的SELECT语句，但不能正确地执行语法。我的SQL语句如下所示
registerTable(sql="SELECT CASE WHEN typedKeyword > '' THEN (SELECT * FROM `temp.sdf0` WHEREoriginalKeyword
浏览 0提问于2016-09-28得票数 0
1回答
spark dataframe ` `withColumn`‘方法的对立面？
apache-spark、apache-spark-sql
我希望能够在我的DataFrame上链接一个删除列的转换，而不是将DataFrame赋值给一个变量(即df.drop())。如果我想添加一个列，我可以简单地调用df.withColumn()。在内联转换链中删除列的方法是什么？
浏览 22提问于2019-04-12得票数 0
1回答
线程"main“org.apache.spark.sql.AnalysisException异常:路径不存在
apache-spark、apache-spark-sql、google-cloud-storage、dataproc
我在Google dataproc集群版本1.4和spark版本2.4.5中运行spark作业，它从GS存储桶中读取路径中具有正则表达式的文件，并获取以下错误。Exception in thread "main" org.apache.spark.sql.AnalysisException: Path does not exist: gs://<gs_path)
浏览 219提问于2020-08-07得票数 1
1回答
通过集群提高SparkSQL查询性能
apache-spark-sql
我们经常需要在查询中使用JOIN大表，并且不需要很长时间就会遇到与它们相关的性能问题(例如。Joins、aggregates等)。在网上搜索补救方法时，我最近遇到了一些术语-- COALESCE()、REPARTITION()、DISTRIBUTE BY、CLUSTER BY等，而且它们可能用于提高慢速运行的SparkSQL 查询的性能不幸的是，我找不到足够的例子，让我清楚地理解它们，并开始将它们应用到我的查询中。我主要是寻找一些例子来解释它们的语法、
浏览 5提问于2020-06-05得票数 0
2回答
星星之火:在表达式中使用空检查来防止类型错误。
apache-spark、pyspark
我有一个UDF，它比较两个字符串str_left和str_right，但是如果两者都是null，则失败。1 end as my_col但这在实践中失败了。下面是一个完整的pyspark示例，它在Spark2.4.3和Spark3.1.2中生成错误TypeError: object of type 'NoneType' h
浏览 2提问于2021-10-25得票数 2
回答已采纳
4回答
SQL语句和if else
sql、if-statement
我希望SQL语句的输出基于“如果是其他条件”。select salary from EMP现在，如果司法部少于90天，我希望输出为“-”。
我该怎么做？
浏览 5提问于2014-03-19得票数 1
回答已采纳
1回答
在Scala SparkSQL中使用NVL2和NULLIF
scala、apache-spark、apache-spark-sql
我尝试在scala-spark代码中使用NVL2和NULLIF spark sql函数，但它不起作用。这就是我所看到的--下面的语句运行良好，并返回正确的结果
spark.sql("select columnName, NULLIF(columnName, 'abc') as status from df当我尝试在withColumn()语法中使用NULLIF、NVL2、LEAST和GR
浏览 2提问于2018-09-25得票数 2
1回答
蜂箱在过滤条件下不工作的情况
hive、apache-zeppelin
以下是语句和错误：select day where case when length(day) <> '19' then substr(day,1,19) else day end
org.apache.spark.sql.AnalysisException:过滤表达式‘大小写时(非长度(tableName.day)= '19')然后子字符串(tableName.day，1，1
浏览 0提问于2019-01-06得票数 0
3回答
如何让spark dataframe将其解释计划打印为字符串
scala、apache-spark、dataframe
我有一个系统，其中组件A将sql传递给组件B，然后B通过apache spark运行sql，并返回结果。出于调试的目的，我放入了第二个通信通道，在这个通道中，A可以将sql传递给B，并请求和解释计划。B中的代码如下所示： val dataFrame = sparkContext.sql(
浏览 0提问于2019-04-10得票数 7
1回答
SQL IF和ELSE语句
sql、sql-server
我一直在尝试执行这条if和else语句。但是，每次执行都会指示错误，例如功能错误或与语法相关的错误。on [dbo].insert into TBL3 (NAME,HEIGHT) from TBL1,TBL2
ELSE
浏览 0提问于2015-02-08得票数 0
4回答
IF Then ELSE的Spark等价物
python、apache-spark、pyspark、apache-spark-sql
然而，我不确定为什么当我觉得它应该工作的时候，我会得到一个错误。
iris_spark_df = iris_spark.withColu
浏览 1提问于2016-08-20得票数 30
1回答
Scala [type1，type2]
scala、apache-spark
下面是其中一种用法的实际示例：if (true) elseif (text)
spark.sparkContext.textFile[String],org.apache.s
浏览 2提问于2018-11-17得票数 1
1回答
我的实现的这个简化版本基本上实现了我想要的：from pyspark.sql.functionsStructType().add('city', StringType(), True)
if id == 1: <em
浏览 0提问于2019-08-07得票数 0
回答已采纳
2回答
星火SQL本机语法和Hive QL语法之间有什么区别？
apache-spark、hive、apache-spark-sql、hiveql
在Spark正式文档中，提到了两种类型的SQL语法: Spark原生SQL语法和Hive QL语法。我找不到他们差别的详细解释。我被以下问题弄糊涂了：
星火本机SQL语法是Hive QL的一个子集吗？我这么问是因为他们在一些文章里这样说。根据星火官方页面中的解释，Spark似乎不支持Hive的所有功能。如果问题1是肯定的，为什么我可以在<em
浏览 4提问于2021-01-30得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
