0回答
我使用Spark (在java中)创建复杂对象的RDD。是否可以将该对象永久保存在内存中，以便将来再次使用该对象与spark？
(因为Spark在应用程序或作业后清除内存)
浏览 7提问于2016-07-07得票数 1
回答已采纳
我是Spark和Spark SQL的新手。如果我们将对象的RDD注册为表，spark会将所有数据保存在内存中吗？
浏览 87提问于2017-05-17得票数 74
回答已采纳
在Spark中，对象和变量是如何保存在内存中和不同执行程序之间的？
我试图了解这些元数据是如何跨不同的
浏览 3提问于2020-11-29得票数 0
回答已采纳
1回答
当我将Jprobe与weblogic集成并通过增加堆内存来运行它时，我得到的错误是"OutOfMemoryError: PermGen space failure“。这主要是关于jprobe，weblogic服务器和jvm的，请告诉我如何解决它。
浏览 4提问于2012-03-15得票数 0
我有一个不可序列化的对象，我需要这个对象一直100%地缓存在内存中。然而，由于spark job由于负载增加而需要更多的执行内存，它试图将缓存的对象逐出到磁盘中，并且由于对象不可序列化，我将得到"task not serializable“异常。有没有办法强制spark将我的对象一直保存在缓存
浏览 6提问于2017-02-22得票数 0
1回答
在Spark编程指南中，序列化RDD被提到是减少内存使用的技术之一。根据我的理解，序列化是将对象转换为字节，这样对象就可以很容易地保存到storage.So中，它如何占用更少的空间？
浏览 19提问于2018-01-03得票数 5
回答已采纳
3回答
据我所知，存储是一个状态列表，每个状态都可以直接访问他的前一个或下一个状态。如果我有大量的数据，并且每个状态都太大而无法保存在每个状态中，那么这个列表就会保存在应用程序内存中。如何永久删除旧的存储对象以避免内存积压？此时，我的代码看起来如下所示： login: loginReducer,
regi
浏览 0提问于2017-10-27得票数 1
我在EMR - Spark版本2.2.0 / 2.1.0上使用了spark-shell。在尝试广播简单对象时(我的CSV文件只包含1列，而且不到2MB)，我注意到它并没有保存在每个执行器内存中，而只是保存在驱动程序内存中，尽管它应该按照文档中的建议保存
在广播之前(即sc.broadcast(arr_collected) )和广播之后附
浏览 1提问于2017-11-07得票数 0
我有一个关于spark应用程序用法的问题。因此，我希望我们的Spark应用程序作为REST API Server运行，就像Spring Boot应用程序一样，因此它不会是批处理过程，相反，我们将加载应用程序，然后我们希望保持应用程序的活动状态(不调用spark.close())，并通过我们将定义的一些应用程序接口将应用程序用作实时查询引擎。我的目标是将其部署到Databricks。任何建议都是好的。我已经检查过Apache Livy，
浏览 1提问于2020-09-01得票数 1
2回答
问题是关于类中的静态数据。我是否可以在那里创建一个对象，该对象可用于每个调用的所有调用？IIS是否会将该dll永久保存在内存中，从而使单例始终保存在内存中？
如何使某些对象可用于所有WCF客户端调用？可以在IIS中
浏览 1提问于2012-06-14得票数 5
回答已采纳
spark delta表的用途是什么？它们是要永久存储数据，还是只保留处理数据直到会话持续。如何在spark集群中查看它们，以及它们属于哪个数据库。
浏览 0提问于2018-08-20得票数 1
我的android应用程序将用户信息作为序列化对象保存在一个".ser“文件中，该文件保存到内部存储中。数据可以很好地存储、检索和写入，但每当用户安装应用程序更新时，所有数据都会被擦除。我的问题是:当用户安装更新时，如何在不删除数据的情况下将数据保存到内存？我是否必须使用不同的方法，如SharedPreferences或SQLite？或者，我的<
浏览 1提问于2011-05-16得票数 2
我已经读了很多关于java内存管理、垃圾收集等的文章，我试图为我的有限内存(在一个小型ec2实例中为1.7g)找到最好的设置，我想知道我的代码大小和permgen设置之间是否有直接的关联。据sun说：
永久生成之所以特殊，是因为它保存虚拟机所需的数据，以描述在Java语言级别上没有等价性的对象。例如，描述类和方法的对象存储在<e
浏览 0提问于2010-03-10得票数 1
回答已采纳
3回答
我有一个要求，即使在SparkContext对象死后，也要将Spark中的数据以表格式保存在内存中，这样Tableau就可以访问它。我使用过registerTempTable，但是一旦SparkContext对象死了，数据就会被删除。存储这样的数据是可能的吗?如果不是的话，我可以查看如何将数据提供给Tableau，而无需从HDFS位置读取数据。
浏览 3提问于2016-03-11得票数 0
回答已采纳
我正在尝试保存一张给定URL的照片，并将其直接放入sqlite数据库中，而不是将其保存在永久内存中。目前，我要保存图像的代码是： output = open('filename.jpg','wb')
浏览 0提问于2014-07-24得票数 0
我是斯威夫特的新人。我有一个问题，如何将图像从url保存到永久缓存中。因为URL只存活30分钟，30分钟后过期，所以我使用sdwebimage并将映像保存在磁盘和内存缓存中。我的代码如下所示。问题是有时由于未知的问题而无法加载图像。我猜图像不是永久保存在cache..This中，这只是我的猜测。所以，我想保存图
浏览 0提问于2018-02-05得票数 0
2回答
我知道我可以在所有用户会话中共享一些对象，方法是将它们放置在server.R中，但不在对shinyServer()的调用之外。但是，即使没有人使用该应用程序，是否有办法将这些对象保存在内存中呢？从磁盘加载这些共享对象需要很长时间，因此我希望通过“永久”加载来加快用户的速度。
浏览 3提问于2015-07-14得票数 3
回答已采纳
1回答
我想知道如何利用spark在内存中进行处理。使用内存中的对象(如果有的话)运行spark的当前支持的方法是什么？
我目前对火花
浏览 3提问于2016-03-21得票数 0
回答已采纳
我正在使用带有NSFetchedResultsController的CoreData来跟踪数据模型中的更改。为了将CoreData项与UILocalNotifications项关联起来，我在每个UILocalNotification中添加了一个ID。好的，这在很大程度上是有效的，但我遇到的问题是，当我创建一个新对象并保存它时，在objectID仍然是临时的时候，我在NSFetchedResultsC
浏览 0提问于2011-09-07得票数 2
我们可以使用scala创建一个始终处于运行状态的spark应用程序吗？例如，它定期执行作业，但驱动程序将继续运行，这样我就可以访问作业创建的RDD，而无需将其存储到永久存储中(类似于应用程序上下文)。
摘要要求是在作业完成后仍将RDD保留在内存中。我是spark scala的新手，正在寻找您对此的指导。
浏览 0提问于2016-07-15得票数 0
云服务器
ICP备案
实时音视频
即时通信 IM
云直播
腾讯云开发者
