在Apache Ignite 2.0中减少内存占用

文章/答案/技术大牛

发布

0回答

key-value、ignite、key-value-store

我使用Apache Ignite 2.0作为键值存储。我的密钥将是10到15位数字，值是一个整数。我打算存储大约5亿个这样的键值对。在基准测试中，发现要存储100万个这样的键值条目，内存利用率约为90MB。为了只存储一个整数作为值，我不想投入这么大的内存。即以单个整数作为值的每个记录大约90Bytes。有人能解释一下如何减少key中使用的内存开销吗？有什么配置吗？因为我不需要任何压缩，我可以减少使用40Bytes或其他元信息的BinaryObjectI

浏览 12提问于2017-06-01得票数 1

1回答

Apache Ignite :数据区域内存不足[name=Default_Region、initSize=256.0 MiB、maxSize=68.0 GiB、persistenceEnabled=false

bigdata、ignite、in-memory-database、in-memory

我们的Apache Ignite生产环境中的数据区域内存不足，Ignite进程被杀死。我们已经配置了68 GB的堆内存。并且没有启用驱逐策略，因为我们不想从Ignite中丢失任何数据。此外，我们没有启用持久性，因为我们只想将整个数据存储在Ignite中。class org.apache.ignite.internal.mem.IgniteOutOfMemoryException: Out of memory in d

浏览 0提问于2019-11-04得票数 1

1回答

Apache Ignite和标准

java、ignite、yardstick

有没有人能给我解释一下Apache Ignite和Yardstick？当我运行Ignite时，它显示： [15:37:06] Topology snapshot [ver=1, servers=1, clients=0, CPUs=4, heapApache Ig

浏览 3提问于2018-05-19得票数 0

1回答

AWS中的Apache* Ignite自动缩放(linux)*

amazon-web-services、ignite

目前，我们使用具有16个RAM的Apache Ignite Image在AWS中托管Apache Ignite节点。我们希望在缓存负载增加的同时动态添加新节点。为此，我们需要以某种方式触发该节点将很快耗尽内存，我们需要添加额外的节点。有什么方法可以追踪到吗？我尝试用随机数据加载缓存，当java进程占用30-40%的内存时，缓存失败并返回OutOfMemoryException。" class="org.ap

浏览 20提问于2021-03-23得票数 0

2回答

Apache 2.1开始崩溃

java、memory、memory-leaks、ignite

我对Apache很陌生，我试图在本地machine.While上运行它，执行Ignite的bat文件，我得到了与Memory.How无关的错误--我可以解析it?.Ignite启动--但是由于消息队列限制，issues.Where在工作后崩溃>>> >>> Ignite d

浏览 0提问于2017-08-12得票数 1

回答已采纳

1回答

Apache可以使用另一个应用程序创建的Dataset<Row>吗？

java、scala、apache-spark、apache-zeppelin

我已经创建了一个应用程序，它可以从文件中清除和丰富一些数据，并且这些数据在某一时间以Dataset<Row>的形式可用。在我的理想世界中，Apache Zeppelin能够抓住它，我只会创建一个笔记本，然后轻松地为最终用户获取数据可视化。我试过Apache Zeppelin作为一个演示，但我从来没有真正参与其中。或者，我的应用程序是否必须将它创建的Dataset<Row>的结果存储到某些拼板文件中，然后在其一侧的Apache Zeppelin将这些数据重新加载到sessionCo

浏览 4提问于2020-04-16得票数 0

2回答

通过spark加载数据以点燃

apache-spark、ignite

我使用spark-ignite api加载数据()。我尝试了一些建议的配置(GC调优、堆上存储)，但都没有显著提高加载速度。由于ignite memory-store不会压缩数据，它需要更多的存储空间(我加载了0.2Bn行，这几乎占用</em

浏览 1提问于2019-06-18得票数 1

1回答

Apache :点燃堆上的缓存，占用堆中太多的内存。导致应用程序引发OutOfMemory异常

java、caching、out-of-memory、ignite

我使用Apache作为java应用程序的缓存机制。在特定情况下，我通过扩展Ignite的IgniteRepository类创建了一个缓存存储库。我设法获得了一个堆转储，分析表明，尽管缓存的集合非常小，而且很少占用几个MBs，但它在堆内存中所占的内存超过2.5GB。从泄密嫌疑人报告中可以看出，Ignite在缓存中保存了太多的地图。经过进一步的分析，我还注意到这个堆以org.apache.ignite.internal

浏览 2提问于2022-08-26得票数 0

1回答

如何在Apache* ignite中为单个ignite实例分配固定内存。(堆上，堆外)*

ignite

我们有3个实例的ignite集群，那么我们如何在Apache ignite中为每个ignite实例提供固定的内存。(操作系统:Ubuntu 14.05 Ignite verion:2.4)

浏览 12提问于2018-04-13得票数 0

1回答

如何连接/连接到退出的Ignite节点

c#、.net、ignite、in-memory-database

获取一个“未能获得默认Ignite实例:在尝试连接时没有启动的实例.”(使用)我试图使用Apache作为内存中的数据库。我的计划是在服务器中启动Ignite实例，然后使应用程序连接到该实例。我使用默认配置从逗号行启动apache点燃器。" type="Apache.Ignite.Core.IgniteConfigurationSection, Apache.Ignite</e

浏览 0提问于2018-05-09得票数 0

回答已采纳

1回答

在点燃部署示例之后，无法在azure kubernetes上运行点燃

ignite

我遵循了在ignite2.9文档中部署Azure的说明。但我不能用ignitevisorcmd.sh 如果运行它，就无法使用open命令选择配置文件，因为它从url 加载配置。因此，我将配置文件放置在点火器集群(/opt/ignite/apache-ignite/custom-config/cm-ignite.xml).上的某个位置。bean 'org.apache.ignite</e

浏览 4提问于2020-11-26得票数 0

回答已采纳

1回答

如何减少apache火花内存占用？

apache-spark

我在一台资源非常少(512 is )的机器上运行了一个apache全stack+ Apache，而这台机器正在崩溃。spark-1.4.1-bin-hadoop2.6/lib/datanucleus-rdbms-3.2.9.jar -Xms512m -Xmx512m -XX:MaxPermSize=256m org.apache.spark.deploy.master.Masterfile with more information is saved as: # /tmp/jvm-1

浏览 2提问于2015-08-13得票数 1

回答已采纳

1回答

.Net Apache* Ignite内存组内存不足*

.net、docker、ignite、cgroups

Apache Ignite内存cgroup内存不足我有一个单独的缓存服务器程序，我使用最新版本的Apache ignite 2.10进行了测试。我的控制台程序代码如下： using Apache.Ignite.Core.Binary;using Apache.Ignite.Core.Co

浏览 74提问于2021-04-06得票数 0

3回答

Apache Ignite在伸缩集群中是否支持PartitionAwareness？

c#、ignite

我正在使用.NET瘦客户端测试Apache Ignite集群。我已经使用dotnet launcher ("platforms\dotnet\bin\Apache.Ignite.exe")在本地机器上启动了3个ignite实例。实例相互发现，并自动占用10800、10801、10802个端口。在我的测试应用程序中，我创建了100个缓存，每个缓存中有1000条记录，然后尝试按顺序从缓存中获取元素。我们计划根据使用的内存</em

浏览 44提问于2020-07-10得票数 1

回答已采纳

1回答

在高速缓存销毁后，点燃不会释放内存

java、spring、caching、memory-management、ignite

我在Spring引导web应用程序中使用Ignite引擎作为bean。缓存配置如下：<property name="configuration"><bean id="ignite.cfg" class="org.apache.<

浏览 5提问于2016-01-29得票数 0

回答已采纳

1回答

为什么Apache系统线程消耗这么多内存？

java、out-of-memory、ignite

环境信息：在我的集群中有两个Linux机器(8U 16G 64位)节点。我启用了Ignite本机持久性。offHeap的内存是3.2G。点火器版本为2.6.0。我的问题:当我执行sql "select *“时，会重复出现”内存不足“的错误。我用MAT对转储文件进行了分析，发现一个线程消耗了这么多内存。，中创建了一个treeMap，并在7G内存附近花费了费用！(Lorg/apache/ignite/internal

浏览 1提问于2018-08-28得票数 0

1回答

Apache在使用驱逐策略时使用OOM

c#、.net、ignite

我编写了一些测试代码来观察缓存行为(对于过程缓存中的Apache / Redis / Memcached / .NET )。我和Win10 / VS2015一起工作。; {CacheAtomicityMode.Atomic; cacheConf.WriteBehindEnabled

浏览 2提问于2016-06-20得票数 1

回答已采纳

2回答

将ubuntu升级到19.04后，运行apache* ignite失败*

java、ubuntu-18.04、ignite

我是apache ignite的新手，正在尝试探索它，看看在内存数据网格中使用它是否可行。我在ubuntu 64位(v18.04)上安装了apache ignite，并按照ignite网站上的说明安装了debian软件包。所以它运行得很好。: Cannot write to work directory: /usr/share/apache-ignite/work at org.

浏览 40提问于2019-10-15得票数 1

1回答

直接对Apache* Ignite进行内存更新*

ignite、dma

我们使用Apache Ignite不断更新股票价格。由于这些价格存储在Ignite的RAM中，是否有某种方法可以确定特定股票价格的内存地址，并直接更新该地址？这样我们就可以绕过索引、查询解析等，并更快地更新Ignite！我们有足够的内存来保持整个数据库在内存中。

浏览 33提问于2021-09-29得票数 0

1回答

java.lang.OutOfMemoryError:直接缓冲内存Apache Ignite

jvm、ignite

最近我们使用ignite 2.10.0迁移到64位JVM，我们的缓存配置如下所示(在2.9.0中工作正常)， _cfg = new IgniteConfiguration() PersistenceEnabled = false, PageEvictionMode = Apache.Ignite.Core.Configuration.DataPageEvictionMode.Random2Lru*更新* 在

浏览 55提问于2021-05-10得票数 0

点击加载更多