将变量传递给pyspark sql中的配置单元查询
将变量传递给pyspark sql中的配置单元查询
提问于 2021-09-17 01:48:23
我正在尝试使用spark sql对hive表执行查询。
下面的代码运行良好
spark=SparkSession.builder.master("local[1]".enableHiveSupport().appName("test").getOrCreate()
df=spark.sql("select * from table_name where date='2021-05-16' and name='xxxx'")但我希望将日期和名称作为变量传递，而不是将其硬编码到SQL中。
有没有一种方法可以传递date=current_date而不是对值进行硬编码
我试图将当前日期作为日期传递给使用time.strftime和name的查询，我必须从另一个变量name='xxxx‘传递它。
回答 1
Stack Overflow用户
回答已采纳
发布于 2021-09-17 01:57:41
您可以从py文件外部传递变量吗？
如果是，你可以试试这个
import sys
day = sys.argv[1]
df=spark.sql("select * from table_name where date='%s'" % day)spark-submit --master yarn test.py 2021-09-17页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/69221275
复制相关文章
相似问题
腾讯云开发者
