1回答
我想从elasticsearch获取两个数据 if query:
问题是会话是否被重用。当我第一次运行filtered查询<
浏览 9提问于2019-08-21得票数 0
回答已采纳
我正在从一个键空间读取数据，并将其写入另一个不同的密钥空间。这两个密钥空间有不同的用户名和密码。我使用以下方法创建了sparkSession： """现在我需要创建另一个会话，因为写表的凭据是不同
浏览 6提问于2020-06-10得票数 1
回答已采纳
goodSparkSession = SparkSession.builder().getOrCreate()
获取现有的SparkSession，如果没有现有的，则根据此构建器中设置的选项创建一个新的。此方法首先检查是否存在有效的线程本地SparkSession，如果有，则返回该线程。然后检查是否</e
浏览 3提问于2022-11-09得票数 0
我有一个关于在一个JVM中创建多个星火会话的查询。我已经读过，在早期版本的Spark中，不建议创建多个上下文。Spark2.0中的SparkSession也是这样吗？我正在考虑从UI中调用一个web服务或servlet，然后该服务创建一个火花会话，执行一些操作并返回结果。这将导致为来自客户端的每个请求创建火花会话。推荐这样做吗？假设我有一种方法，比如：
浏览 11提问于2016-10-20得票数 20
回答已采纳
我们经常需要引用python代码中的"spark“和"dbutils”对象。
我们可以使用“星星之火”(如spark.sql())在笔记本中轻松地访问这些对象。如何在包中的python代码中获得spark实例？
浏览 0提问于2019-03-22得票数 1
回答已采纳
SparkContext Class中getOrCreate()方法的用途是什么，如何使用？为此，我没有找到任何合适的示例(编码方面)。我所理解的是，使用上面的方法，我可以在应用程序之间共享spark上下文。我们这里所说的应用程序是什么意思？应用程序是提交给spark集群的不同作业吗？如果是这样，那么我们应该能够使用在一个应用程序中注册的全局变量(广播)和临时表到另一个应用程序中？
请任何人可以详细说明和提供适当的例子这一点。
浏览 4提问于2017-06-06得票数 2
2回答
我不明白火花会话/上下文生命周期是如何工作的。文档说，您可以有多个共享基础SparkSession的SparkContext。但这些东西是如何/何时被创造和摧毁的呢？例如，如果我有一个生产集群，并且我spark-submit 10个ETL，这10个作业会共享相同的SparkContext吗？如果我在集群/客户端模式下这样做重要吗？据我所知，SparkContext存在于驱动程序中，因此我假设上述结果将导致10 SparkSession共享一个SparkCon
浏览 3提问于2019-08-13得票数 3
回答已采纳
如何创建sparksession？scala> import org.apache.spark.SparkContext
<console>:27: error: not found: va
浏览 128提问于2019-08-21得票数 5
我有一个方案来比较来自两个独立的远程单元服务器的两个不同的表源和目的地，我们可以使用两个SparkSessions吗？val spark = SparkSession.builder().master("local") .config("javax.jdo.option.ConnectionURLconfig("hive.metastore.uris", "thrift
浏览 12提问于2017-07-06得票数 7
回答已采纳
1回答
什么类型的参数，我们可以设置使用火花SQL？我的假设是，Spark接受以spark.sql为前缀的参数，并忽略不以spark.sql开头的任何其他参数，其他参数只能在session创建期间添加。如果我的理解不正确，请告诉我。
浏览 7提问于2022-01-24得票数 2
回答已采纳
我是Spark SQL的新手，但了解如何创建SparkSession、加载数据文件、在加载的数据文件之外创建表，以及为单用户应用程序查询加载的表。现在，假设我想启用一个多用户环境，在这个环境中，用户可以访问一个网站，并对我在Spark SQL中加载的表运行查询。
我该如何做到这一点？我显然不想为每个用户加载表。在现实世界的应用程序中，它是如何实现的？我是不是简单地让Spar
浏览 3提问于2017-05-09得票数 0
我创建了一个SparkSession (带有enabledHiveSupport())并在本地运行。我想在一个SparkSession中执行一组sql，停止它并启动另一个。但是，当我停止一个SparkSession并使用SparkSession.builder()获得一个新的SparkSession对象时，我得到了一个新的SparkSession对象，但是sql失败了，因为“Derby的</
浏览 2提问于2018-04-03得票数 2
它们之间的区别是什么？SparkContext, JavaSparkContext, SQLContext和SparkSession？ 是否有任何方法可以使用SparkSession？我是否可以使用单个条目完全替换所有上下文SparkSession？ 中的所有函数SQLContext，SparkContext，以及JavaSparkContext也在SparkSession？一些函数，比如parallelize在中有不同的</
浏览 216提问于2017-05-05得票数 39
回答已采纳
1回答
Spark结构流中的临时视图
、、、、
在ForeachBatch Function Structured Straming中，我想创建在微型批次中接收的数据帧的临时视图 func(tabdf, epoch_id):
tabaDf.createOrReplaceView
浏览 28提问于2020-07-03得票数 0
我正在通过2.0中引入的SparkSession方法重新定义GetOrCreate参数：
此方法首先检查是否存在有效的全局默认SparkSession，如果是，则返回该缺省值。如果不存在有效的全局默认SparkSession，则该方法将创建一个新的SparkSession，并将新创建的SparkSession指定为全局默认值。如果返回现有的<e
浏览 1提问于2016-11-20得票数 12
回答已采纳
sparkSession.config("spark.sql.streaming.schemaInference", true).getOrCreate();dataset.writeStream")
.outputMode(Append()).start(
浏览 2提问于2021-07-09得票数 0
以下在Databricks Notebook中工作的代码不能在本地工作。res = sc.broadcast(spark.read.table(my_table)) 以下是我的本地代码： from pyspark.sql import SparkSession
res = sc.broadcast(spark.read.table(my_table)) 出现以下错误： --------dface594b1d3> in <mod
浏览 49提问于2020-03-18得票数 1
回答已采纳
我想知道Scala中以下代码的PySpark等效值。我在使用数据库。我需要的输出如下：-val new_spark = spark.newSession()
new_spark: org.apache.spark.sql.SparkSession = org.apache.spark.sql.SparkSession@123d0e8
查看Spar
浏览 2提问于2020-08-11得票数 0
回答已采纳
我想检索使用spark-submit命令提交的作业的应用程序Id或Job Id。推荐的方式是什么？
浏览 0提问于2018-09-08得票数 4
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
