腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Spark
SQL
-
在
SQl
笔记本
中
声明
和
使用
变量
apache-spark
在
Azure data bricks
中
,我创建了
SQL
笔记。我正在尝试
使用
变量
,并在多个
SQL
语句中
使用
它。例如,
声明
财政年度,并在where标准中
使用
。意图是避免硬编码。看起来我不得不
使用
Python / Scala。有什么方法可以
使用
纯
SQL
语句来实现这一点吗?
浏览 23
提问于2019-01-27
得票数 2
2
回答
如何在dsx中
使用
Scala2.11 with
Spark
2.0
笔记本
的"display“功能
dsx
、
data-science-experience
、
pixiedust
在
dsx
中
,有一种方法可以
在
Scala2.11
和
Spark
2.0
笔记本
中
使用
"display“(我知道可以
在
python
笔记本
中
使用
pixiedust)。例如: WHEREs
浏览 3
提问于2017-01-28
得票数 3
2
回答
在
MLflow项目中通过
Spark
访问数据库
中
的三角洲湖表
apache-spark
、
pyspark
、
databricks
、
delta-lake
、
mlflow
我目前正在访问从数据库
笔记本
使用
火花的deltalake表。但是,现在我需要从MLflow项目访问增量表。MLflow火花api只允许记录和加载SparkML模型。知道我怎么能做到这一点吗?目前,我正试图通过MLflow项目中的以下代码访问
spark
:if
spark
is None: # NB: If there is no existing
Spark
浏览 8
提问于2022-02-05
得票数 1
2
回答
散列md5: Pyspark
和
submit
在
时间戳列上不提供相同的输出
apache-spark
、
pyspark
、
hash
在
PySpark
中
,我
使用
md5函数散列一些数据格式。df_hive =
spark
.
sql
("select * from db.table1 where day=1") df_hivedf_hive.withColumn("hash_col&qu
浏览 2
提问于2021-04-26
得票数 1
回答已采纳
2
回答
根据条件执行%
sql
命令的Databricks python记事本
databricks
我
在
Databricks
中
创建了一个python
笔记本
,我有python逻辑,需要执行%
sql
命令。假设我想基于python
变量
执行commandlet2EXECUTE_
SQL
= Trueif condition : %
sql
.....
浏览 2
提问于2022-08-05
得票数 0
回答已采纳
1
回答
如何从数据库
中
SQL
语句的输出
中
创建
变量
python
、
pyspark
、
databricks
我想创建一个
变量
,稍后我可以
在
同一个
笔记本
中
的多个
sql
查询中
使用
该
变量
。
变量
本身只是
sql
语句的整数输出,如:然后,在后续的
sql
命令单元格
中
,我只需
在
计算
中
调用
变量
,如:select (count(cars) / $variable) as
浏览 2
提问于2021-09-24
得票数 0
2
回答
如何在火花外壳中注册Java
SPark
UDF?
java
、
scala
、
apache-spark
、
user-defined-functions
下面是我的java udf代码, return false; return true;}我
在
单元中有一个表名作为示例,并希望
在
shell上运行在
sql
下面。火花壳--jars SparkUdf-1.
浏览 2
提问于2019-02-19
得票数 1
1
回答
Spark
-如何在pyspark
中
设置
SQL
查询的
变量
,并将其用于进一步的
sql
查询?
apache-spark
、
pyspark
重要的注意事项-我们必须
使用
set来读取RDS视图,而不是RDS表。所以需要根据这个答案SELECT * FROM db.rds
浏览 1
提问于2022-07-21
得票数 0
1
回答
Pyspark Shell
中
的HiveMetaStore错误,但Jupyter Notebook
中
没有
python
、
hive
、
pyspark
、
pyspark-sql
当我尝试
使用
pyspark dataframe或
sql
时,我遇到了一件奇怪的事情。当它在ipython
笔记本
或python控制台中工作时,当我
在
pyspark shell
中
运行它时,我得到了"javax.jdo.JDOFatalInternalException: Error creating简而言之,如果我
在
iPython
笔记本
或简单的python终端
中
运行以下命令,一切都会正常工作: import findspark findspark.
浏览 35
提问于2019-05-13
得票数 0
回答已采纳
1
回答
从另一个类访问
spark
scala
、
apache-spark
、
apache-spark-sql
我创建了一个类,其中包含一个处理
spark
数据帧的函数。(name, year, isbn_publisher), } 问题是我不知道如何在不创建新的
spark
= sparksession.builder().appname("isbnencoder").master("local").getorcrea
浏览 17
提问于2021-04-19
得票数 0
4
回答
Spark
sql
中
的
变量
apache-spark
、
apache-spark-sql
、
databricks
因为
在
SQL
Server
中
,我们可以像declare @sparksql='<any query/value/string>'一样
声明
变量
,但是
在
spark
sql
中
可以
使用
什么替代方法。
浏览 541
提问于2020-11-26
得票数 3
1
回答
如何在可以从另一个
笔记本
中
访问但在同一集群
中
访问的databricks中注册数据?
apache-spark
、
pyspark
、
apache-spark-sql
、
databricks
如何在可以从另一个
笔记本
中
访问但在同一集群
中
的databricks中注册数据表?**我们试图
使用
spark
.
sql
在
databricks中注册表,但是我们无法
在
另一个
笔记本
中
访问该表*
浏览 0
提问于2019-11-15
得票数 0
回答已采纳
1
回答
防止火花放电
使用
内存会话/停靠器
pyspark
我们正在调查
使用
星火作为大数据处理框架,
在
Azure Synapse分析与
笔记本
电脑。安装我
使用
WSL
和
Ubuntu发行版(
在
linux
中
似乎更容易管理)用于
笔记本
,我
使用
jupyter
笔记本
和
Anaconda .appName("Python <em
浏览 2
提问于2022-07-31
得票数 0
回答已采纳
1
回答
如何将
变量
从EMR集群传递到木星
笔记本
%%本地实例?
python
、
amazon-web-services
、
jupyter-notebook
、
jupyter
、
amazon-emr
当我
使用
%%local
在
托管木星
笔记本
实例上运行代码时,如何
使用
EMR集群的Python实例
中
定义的
变量
示例: ln[1]: p
浏览 0
提问于2019-10-22
得票数 1
回答已采纳
1
回答
Pyspark -希望将
SQL
查询应用于pyspark数据帧
pyspark
、
amazon-emr
免责
声明
:我对pyspark非常陌生,这个问题可能不合适。我在网上看到了以下代码: # Get the id, age where age = 22 in
SQL
temp =
spark<
浏览 30
提问于2020-06-17
得票数 1
2
回答
Spark
DataFrames: registerTempTable与not
apache-spark
、
dataframe
我昨天才开始
使用
DataFrame,到目前为止我真的很喜欢它。
在
本例
中
,dataframe被注册为一个表(我猜是为了提供对
SQL
查询的访问。)所以问题是..什么时候您希望将数据帧注册为表,而不是仅
使用
给定的数据帧函数?其中一种选择比另一种更有效吗?
浏览 0
提问于2015-06-19
得票数 36
回答已采纳
1
回答
如何在jupyter
笔记本
中
使用
pyspark时指定驱动程序类路径?
python
、
apache-spark
、
pyspark
、
jupyter-notebook
我想在jupyter
笔记本
中
查询一个PostgreSQL。我
在
StackOverflow上浏览了很多问题,但这些问题对我都没有用,主要是因为答案似乎过时了。下面是我的最低代码:
spark
= SparkSession.builder.getOrCreate()
浏览 0
提问于2018-08-09
得票数 9
回答已采纳
1
回答
在
mssparkutil.notebook.run之后调用引用函数?
python
、
pyspark
、
azure-synapse
、
spark-notebook
在
使用
mssparkutils.notebook.run()运行
笔记本
之后,如何调用不同的Synapse
笔记本
中
定义的函数#parametersfrom notebookutilsdefined in 'function definitions' notebook我可以
使用</
浏览 12
提问于2022-07-07
得票数 0
回答已采纳
3
回答
如何
使用
火花与python或jupyter
笔记本
python
、
windows
、
apache-spark
、
pyspark
、
distributed-computing
我正试图
在
python中
使用
12 SO的数据,为此我迫切需要
使用
Spark
,但我想我太蠢了,不能单独
使用
命令行或
使用
internet,这就是为什么我不得不这样做的原因,Python还提供了Python。若要在Python解释器
中
交互地
浏览 6
提问于2016-08-22
得票数 3
2
回答
数据库
笔记本
+ Repos火花会话范围界定故障
pyspark
、
databricks
、
azure-databricks
我正在
使用
databricks,我有一个repo,其中我有一个基本的python模块,在其中我定义了一个类。我能够从databricks
笔记本
中导入
和
访问这个类及其方法。模块
中
类
中
的一个方法如下(简化) self.df =
spark
.read.format("json").load(f"{self.base_savepath}/{self.resource}/{s
浏览 3
提问于2022-07-21
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
SQL server在大数据中数据库分析和使用趋势
成功从 Hadoop 迁移到 Lakehouse 架构的 5 个关键步骤
基于大数据的可视化开发工具:3分钟带你了解PetaBase UDE
基于所有SQL引擎,200倍速度,分析查询加速神器出世?
基于Azure 数据湖分析与U-SQL实现大数据查询处理
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券