这个问题在这里已经有答案了： 在Spark SQL中编写SQL与使用Dataframe API(4个答案) 4天前就关门了。用Dataframe API格式而不是Spark.sql查询编写代码有什么显著的优势吗？ 我想知道催化剂优化器是否也会对spark.sql查询起作用。
浏览 103提问于2021-02-25得票数 0
回答已采纳
1回答
我运行pyspark2在spark 2.0.0上vw_ticket = read_csv(...)vw_ticket_in_booking.createOrReplaceTempView('vw_ticket_in_booking')spark.sql('sele
浏览 2提问于2017-08-31得票数 0
回答已采纳
=conf).getOrCreate()sqlContext.sql ('select * from table')spark.sql
浏览 11提问于2018-08-21得票数 0
2回答
我只是想知道这个火花密码就像这个一样有效率：在第一组中，我们是将所有的单元数据加载到RAM中，还是足够聪明地在执行生成的DAG时过滤蜂巢中的这些值
浏览 2提问于2020-08-28得票数 0
回答已采纳
我见过来自数据仓库和SQL背景的人正在使用SQL实现聚合和其他转换逻辑(where spark is the sparkSession object) dataframe.createOrReplaceTempView().但是，如果我们看到，我们还有其他选择，比如windows函数或其他选项，它们可以直接在dataframes.Or上实现，甚至我们可以将函数注册为UDF，并可以在dataframe上实现。假设我需要在数据帧CITY_CENSUS上实
浏览 1提问于2019-05-05得票数 0
我正在尝试加入Apache中的3视图与scalafinaldf.createOrReplaceTempView("product{DataFrame, SaveMode, SparkSession}以下连接视图
val result = customer.join
浏览 1提问于2020-08-01得票数 1
回答已采纳
2回答
这是我正在运行的查询：
val joined = spark.sql("SELECT A.revision, B.revision FROM RAWDATA A LEFT JOIN TPTYPE B ON
浏览 0提问于2016-11-07得票数 10
回答已采纳
1回答
我正在试着用PySpark买到最贵的产品。基本上，我必须将这个查询从SQL转换为pyspark：FROM lotstempLIMIT 1
浏览 0提问于2020-05-06得票数 0
我有一个有很多表的数据库。我希望删除该数据库中所有在批处理中的名称中有"oct“的表。有办法这样做吗？我在网上找不到明确的答案，我不想犯错误，删除不该删除的表格。谢谢你的帮助！
浏览 4提问于2022-01-07得票数 0
1回答
我试图用标量乘以数组类型化的列。这个标量也是来自同一个PySpark数据的值。df = sc.parallelize([([1, 2],3)]).toDF(["l","factor"])| l|factor||[1, 2]| 3|我想要做到的是：| l|factor||[3, 6]| 3|这就是我尝试过的：
浏览 1提问于2020-06-19得票数 3
回答已采纳
在此之前，我可以完全在spark.sql api中工作，以便与蜂巢表和火花数据帧进行交互。我可以查询使用同一个api注册的spark或hive表中的视图。要对蜂窝表执行任何操作，必须使用“HiveWarehouseSession”api，而不是spark.sql api。是否有任何方法继续使用spark.sql api并与hive交互，或者我必须重构我的所有代码？hive = HiveWarehouseSession.session(
浏览 0提问于2019-08-29得票数 1
-+---+df = spark.createDataFrame([("X", 3),("Y", 1),("Z", 2)], ["letter", "rpt"])"""
query = query.replace("\n", " ") # replace newlines with spaces, avoid EOF
浏览 2提问于2018-07-02得票数 11
回答已采纳
我的代码如下所示： df1 = spark.sql ("""SELECT Col1, Col2, Col3, Col4, Col5 FROM Table1""")df2.createOrReplaceTempView("df2&qu
浏览 8提问于2020-08-21得票数 1
回答已采纳
我对我们使用时的区别感到有点困惑。我在===中得到的相同数据帧计数为null，但在isNull中得到的计数为零。请帮我理解其中的区别。谢谢
浏览 0提问于2017-01-08得票数 22
回答已采纳
1回答
我在Dataframe中加载了一个表，我尝试在PKs中使用groupBy。df_remitInsert = spark.sql("""SELECT * FROM trac_analytics.mainremitdata""")
df_remitInsert_filter =我想从df_remitInsert实现全部数据，这些数据是完全重复的w.r.t主键。
浏览 9提问于2022-05-05得票数 0
__version__)
check_dataframeself.get_type, args))](*args,
浏览 3提问于2022-09-08得票数 3
回答已采纳
我怀疑为什么有两个API可用，spark.udf有一个叫做寄存器的方法。我认为注册udf是必要的。那么，为什么它在pyspark.sql.functions中不可用。为什么只适用于第一种情况？
浏览 4提问于2021-12-20得票数 0
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
