重新启动时Spark无效会话

文章/答案/技术大牛

发布

1回答

java、session、jetty、spark-java

我有一个关于sparkjava的问题，当我重启when服务器时，在重启之前创建的所有会话都是无效的(或删除，不知道)。我怎样才能防止这种情况呢？这是一个非常烦人的问题

浏览 15提问于2016-08-06得票数 1

回答已采纳

2回答

如果托管的Spark会话终止，则会收到通知

apache-spark、pyspark

我有一个长期运行的Python3.6应用程序，它在YARN上托管一个PySpark 2.4.6会话。如果Spark会话崩溃/死亡，我希望能够得到通知/有一个名为的方法，这样我就可以自动重新启动它。我想要主动地这样做，而不是包装对会话的每个调用并捕获会话关闭的错误，然后让用户在会话重新启动时等待。

浏览 10提问于2020-06-16得票数 3

回答已采纳

1回答

PySpark设置本地目录以避免java.io.IOException:设备上没有剩余空间

apache-spark、pyspark

Spark抛出了错误java.io.IOException: No space left on device，我已经追踪到该错误源于目录/tmp的溢出，Spark在该目录中创建临时文件。我已经尝试了以下操作，但没有成功(Spark仍会写入/tmp)： from pyspark.sql import SparkSessionspark.conf.set('spark.loc

浏览 192提问于2021-09-28得票数 0

回答已采纳

1回答

假设一个tomcat服务器正在运行，其中包含10个会话。这些会议是在不同时间开始的。然后服务器重新启动。服务器启动时会发生什么？它会“查看”(或者只是查找)保存到磁盘中的会话吗？如果某个用户的会话到期，tomcat是否发送会话无效事件？ tomcat是否检查所有会话是否无效？如果是，什么时候会发生，我如何检查和通知这件事？如果没有进行会话验证，那么在实时会话中会发生什么情况，它们将持续多长时间？

浏览 5提问于2016-05-04得票数 2

3回答

如何检查servlet中的sessionId是否有效(java)

java、session、servlets

我在我的web应用程序中维护会话in和HttpSession对象的映射。我使用HttpSessionListener填充或删除映射中的会话。当我的web服务器崩溃、停机又重新启动时，我需要一种方法来检查正在提交的sessionid是否有效。显然，当应用程序重新联机时，Map是空的，因此所有的会话id都是无效的，但我只想要一些方法来检查传入的sessionid，如果可能的话。谢谢

浏览 0提问于2010-10-06得票数 2

回答已采纳

1回答

在纱线集群模式下运行Spark时出现错误(application returned with exitcode 1)

hadoop、apache-spark、hadoop-yarn

我有一个SPARK作业，它总是返回退出代码1，但我不能弄清楚这个特定的退出代码是什么意思，以及为什么应用程序返回这个代码。status: FAILED, exitCode: 1, (reason: User application exited with status 1)17/07/10 07

浏览 4提问于2017-07-10得票数 3

回答已采纳

1回答

SPAC1.6.0停止为HiveThriftServer2工作和使用已注册的临时表通过JDBC进行查询

jdbc、apache-spark、hive、apache-spark-sql、spark-dataframe

在Spark1.5.2中，HiveThriftServer2看到并返回通过DataFrame.registerTempTable API注册的临时表。但是，Spark1.6.0停止了对HiveThriftServer2和这个API的工作，因为它没有看到或返回已注册的临时表。在Spark1.6.0中是否有临时的工作解决方案？什么时候能修好？

浏览 1提问于2016-03-05得票数 1

1回答

用javax.faces.STATE_SAVING_METHOD在客户端上保存会话的含义

security、jsf、session、viewstate、jsf-2.2

我的第一个JSF页面是抛出javax.faces.application.ViewExpiredException。当我搜索的时候，我找到了这个解决问题的方法。 <param-name>javax.faces.STATE_SAVING_METHOD</param-name></context-param>

浏览 2提问于2015-04-02得票数 3

回答已采纳

1回答

数据流无法捕获来自源.csv azure的行更改

azure、csv、azure-data-factory、dataflow

我的想法是使用upsert将csv文件作为源& synapse表作为接收器。每当我在数据流源预览中更改csv文件的行时，它都会显示旧数据。这是我的源代码预览这是我的源文件，我将最后一个指示器更改为FALSE，并将其上传到blob。我再次运行了源静态指示器的预览，它引用了旧数据我的源设置数据集设置-

浏览 0提问于2021-07-07得票数 0

2回答

数据库-创建永久用户定义函数(UDF)

apache-spark、databricks

我可以创建一个UDF函数，并使用spark.UDF方法注册到spark。但是，这仅适用于每个会话。如何在集群启动时自动注册python UDF函数？这些功能应该对所有用户都可用。

浏览 14提问于2019-02-16得票数 1

回答已采纳

1回答

如何在python脚本中从后台运行的spark应用程序请求Spark session对象？

python、apache-spark、pyspark

我想在python脚本的多次运行中重用相同的Spark应用程序，使用它的Spark session对象。也就是说，我希望有一个Spark应用程序在后台运行，并从我的脚本中访问它的Spark session对象。有人知道怎么做吗？

浏览 4提问于2021-09-24得票数 2

1回答

无法启动system_health扩展事件会话

sql-server、sql-server-2014、extended-events

"，传递的参数“文件名”无效。索引0处的目标参数无效(，错误: 25641)错误: 25641，严重程度: 16，状态对于目标，"5B2DA06D-898A-43C8-9309-39BBBE93EBBD.package0.event_file"，传递的参数“文件名”无效。索引0处的目标参数无效，错误: 25710，严重性: 16，状态: 1。事件

浏览 0提问于2017-01-03得票数 2

2回答

Asp.net标识-在iis循环上重置cookie和会话(重新启动)

c#、asp.net、iis、asp.net-identity

在重新启动IIS/stop并启动我的站点的IIS之后，当我打开我的网站时，用户将自动登录到系统。用户cookie未被清除，并且对用户仍然有效。如何在重新启动iis之后强制用户注销？

浏览 3提问于2016-09-23得票数 5

回答已采纳

1回答

安装期间未创建的用户

users

在重新启动时，我会看到登录屏幕，并且在输入用户密码时，我会得到一个无效的密码错误。我可以使用'Guest‘会话登录，在该会话中，我可以看到一个用户帐户。任何帮助都将不胜感激。

浏览 0提问于2013-09-19得票数 0

1回答

即使在重新启动\重新安装服务之后，jsessionid也会被保存和使用。

java、tomcat、servlets、sessionid、jsessionid

登录到它之后，我可以在Cookies下面看到有jsessionid，从我所读到的内容来看，它是在用户和web服务器之间保存会话实例的id。但我无法理解的是，当我登录后，我就呆在浏览器里了。我可以停止服务器，甚至从系统中取消安装并重新安装它。然后，在我重新启动它之后，我可以继续在网站中导航，而不需要输入凭据或类似的东西，就好像在后台什么都没有发生一样--我可以继续使用相同的jesssionId。4.是否可以更改此行为并使会话“失效”，以便用户必须重新输入他的凭据? 5.在问题4下面，大多数服务中常见的是什

浏览 2提问于2015-11-09得票数 1

回答已采纳

1回答

与共享NSURLSession会话相关的SSL和NSURLConnection使用情况

ios、session、ssl、nsurlconnection、nsurlsession

我看到的问题是，当使用NSURLSession版本时，我发现SSL (TLSv1)会话永远不会被重用，并且每个连接都有一个完整的客户端问候、服务器问候、证书、证书、客户端密钥交换、证书验证等链。查看"Client Hello“消息，我可以看到消息中从来没有”会话ID“，所以我认为这就是为什么SSL会话从不被重用的原因。在较早的NSURLConnection版本中，我发现会话经常被重用，并且在"Client Hello“消息中给出了以前的会话ID。

浏览 0提问于2016-03-21得票数 1

1回答

spark close()会导致缓存被自动清除吗？

apache-spark

我知道spark.catalog.clearCache()用于显式地清除缓存。但我想知道，当我调用spark.close()时，它是否会自动清除Spark的缓存。期待回复，非常感谢您的帮助。

浏览 74提问于2021-03-30得票数 0

回答已采纳

2回答

星火微框架-在数据库中保存会话？

java、database、session、spark-java

如何将关系数据库管理系统(MySQL)配置为Spark的会话存储(提供的)？我问这个问题的原因是，如果Spark运行的jetty必须重新启动，我希望用户会话保持有效。

浏览 0提问于2015-03-20得票数 2

回答已采纳

5回答

是否有办法使“屏幕”会话在重新启动时存活下来？

gnu-screen

我正在使用屏幕实用程序，并希望在机器重新启动时保留会话。如果不可能，您可以推荐其他屏幕选项，以便在重新启动之间保留会话。当机器重新启动时，所有这些会话都丢失了，我不得不再次重新打开它们。我想找到一种方法来保存那些屏幕会话。

浏览 0提问于2010-09-21得票数 35

回答已采纳

1回答

使用Apache和mod_proxy_balancer实现稍微粘性的负载平衡

apache、load-balancing、mod-proxy-balancer

我们有一个设置，我们希望会话在大部分时间是粘滞的，但我们希望能够重新平衡流量。例如，假设只有一台后端服务器处于运行状态。100%的用户被路由到该服务器。当另一台服务器启动时，我们希望重新平衡50%-50%的负载。我们使用的是带有mod_proxy_balancer的Apache2.4。使用JSESSIONID cookie很容易设置粘性会话，但它们太粘性了-一旦为会话分配了路由，它就会保留该路由，除非该路由无效。也很容易配置轮询或其他平衡方案而不粘性，并动态控制不同后端

浏览 6提问于2016-05-12得票数 1

点击加载更多