Apache-ignite:持久化存储
Apache Ignite是一个开源的内存计算平台，它提供了分布式内存存储和计算功能。它可以将数据存储在内存中，以提供快速的数据访问和处理能力，并支持持久化存储，以确保数据的持久性和可靠性。
Apache Ignite的持久化存储功能允许将数据持久化到磁盘上，以防止数据丢失。它支持多种持久化存储模式，包括RDBMS（关系型数据库管理系统）和NoSQL数据库。通过将数据持久化到磁盘上，即使在节点故障或重启后，数据也可以被恢复和访问。
Apache Ignite的持久化存储具有以下优势：
- 数据可靠性：通过将数据持久化到磁盘上，即使在节点故障或重启后，数据也可以被恢复和访问，确保数据的可靠性。
- 高性能：Apache Ignite的持久化存储可以与内存存储结合使用，提供快速的数据访问和处理能力，以满足对高性能的需求。
- 灵活性：Apache Ignite支持多种持久化存储模式，可以根据具体需求选择适合的存储方式，如RDBMS或NoSQL数据库。
Apache Ignite的持久化存储在以下场景中具有广泛的应用：
- 金融行业：在金融交易和风险管理等领域，数据的可靠性和高性能是至关重要的。Apache Ignite的持久化存储可以确保交易数据的持久性，并提供快速的数据访问和处理能力。
- 物联网（IoT）：在物联网应用中，需要处理大量的传感器数据，并确保数据的可靠性和实时性。Apache Ignite的持久化存储可以提供高性能的数据处理能力，并确保数据的持久性。
- 实时分析：在实时分析场景中，需要快速地处理和分析大量的数据。Apache Ignite的持久化存储可以提供快速的数据访问和处理能力，以支持实时分析需求。
腾讯云提供了与Apache Ignite类似的产品，如TencentDB for Ignite，它是基于Apache Ignite构建的分布式内存数据库，提供了高性能的数据存储和计算能力。您可以通过以下链接了解更多关于TencentDB for Ignite的信息：https://cloud.tencent.com/product/ignite
相关·内容
2回答
我知道Apache Ignite的本机持久化模式允许在内存中存储尽可能多的数据-以及潜在的剩余数据在磁盘上。
是否可以手动选择我想要存储在内存中的表，以及我想要专门存储在磁盘上的表？如果我想节省成本，我应该只给Ignite大量的磁盘空间和少量的内存吗？如果我知道一些表应该尽可能快地返回结果，而其他表在速度方面具有较低的优先级(即使它们被更频繁地访问)，该怎么办？是否有在表级或任何其他级将数据存储到内存中的优先级功能？
浏览 1提问于2018-12-18得票数 1
2回答
Apache与Posgresql
postgresql、ignite
目标：用于扩展现有应用程序，其中PostgreSQL用作数据存储。
Apache如何帮助：我们有一个有许多模块的应用程序，所有模块都使用一些共享表。因此，我们只有一个PostgreSQL主数据库，它已经在AWS大型SSD机器上了。我们已经有了用于缓存的Redis，但是由于对Redis没有限制，所以对次要索引的部分更新和查询并不容易。
我们的用例：我们有两个大表，一个是成员，另一个是订阅。在许多关系中，一个成员在多个组中订阅，而我们在订阅表中维护订阅。成员表大小约为4000万，此表的大小约为40M x 1.5KB +更多~= 60 40。
挑战
一个挑战是，我们不能存档这些数据，因为每个成员都在
浏览 2提问于2018-05-30得票数 1
2回答
支持持久性的Hazelcast服务器
hazelcast、hazelcast-imap
我能知道Hazelcast支持磁盘持久化吗？换句话说，我可以使用Hazelcast作为常规数据库吗？(如apache ignite)。
浏览 128提问于2021-04-20得票数 1
1回答
Apache Ignite :数据区域内存不足[name=Default_Region、initSize=256.0 MiB、maxSize=68.0 GiB、persistenceEnabled=false]
bigdata、ignite、in-memory-database、in-memory
我们的Apache Ignite生产环境中的数据区域内存不足，Ignite进程被杀死。我们已经配置了68 GB的堆内存。并且没有启用驱逐策略，因为我们不想从Ignite中丢失任何数据。此外，我们没有启用持久性，因为我们只想将整个数据存储在Ignite中。
class org.apache.ignite.internal.mem.IgniteOutOfMemoryException: Out of memory in data region [name=Default_Region, initSize=256.0 MiB, maxSize=68.0 GiB, persistenceEnabled
浏览 0提问于2019-11-04得票数 1
1回答
点燃apache的使用与mongo db的使用-主要区别
database、mongodb、bigdata、ignite
点燃与蒙戈分贝
点燃apache和mongo的主要区别是什么？
mongo是一个数据库吗?我们保存在磁盘中，并在Ram中点燃内存？
你能一起用吗？如果是，你将如何将它们结合起来？
浏览 4提问于2017-10-10得票数 2
回答已采纳
3回答
Ehcache与DB持久化设计
java、database、ehcache
我正在设计一个应用程序，它必须使用来自多个来源的实时数据，并定期报告这些数据。使用的数据将被添加到Ehcache缓存中，报告将对其进行查询。一旦使用了实时数据，则只需将其持久化以用于恢复。如果应用程序重新启动，它将在连接到实时数据源(对新数据进行排队)之前用数据库中的历史数据填充缓存。
我倾向于将其实现为具有JDBC缓存的cache- as -sor：
从源接收数据Persist to DB Add to cache Confirm receipt with source
其中2-4封装在JTA事务中。
我还研究了Hibernate和Ehcache作为二级缓存，但这似乎并不合适。
我是Ehca
浏览 2提问于2012-02-18得票数 2
回答已采纳
2回答
当缓存刷新时，ehCache能返回旧的缓存值吗？
java、spring、caching、ehcache
我正在使用Spring框架和Java服务。
有几个客户端访问一个固定的数据列表，这些数据是从数据库获取的。由于从数据库获取是一个昂贵的调用，而且DB不经常更改，所以我认为缓存值是好的。
DB每天不定期刷新-> 15次
每15分钟刷新一次缓存->。
通过调用DB加载缓存需要15秒。
现在，如果通过调用DB来刷新Cache，则需要15秒。在这15秒内，如果客户端想访问数据，我可以在缓存中发送之前的数据。应用程序是可以容忍陈旧和过时的数据，而不是等待15秒(有一个增量函数，它在加载时间缓存之后带来数据，这非常便宜)。ehcache中是否有一种方法可以在加载新数据时返回缓存中的旧数据，而缓
浏览 7提问于2015-03-04得票数 3
1回答
缓存大数据
c#、.net、database、multithreading、caching
我有一个实时监控各种系统的应用程序。根据被监控的应用程序，我得到了不同字段的不同报告。我们每隔3分钟收集一次数据。并且这3分钟间隔可以是120mb作为原始json，以及2-3mb作为压缩或gzipped。我们压缩然后缓存到磁盘，通过从磁盘请求这些缓存，解压缩它们并将json数据加载到应用程序来避免数据库请求。根据报告类型的不同，我们会将这些缓存保留3天到30天。
多年来，我们一直使用磁盘缓存。压缩3分钟间隔数据，然后将其保存到磁盘。这导致我使用了大量的锁和互斥。
我知道我不是唯一一个有这种问题的人。我的缓存很大。我的问题是:有没有更好的方法来保存和获取这些数据？内存缓存对我来说不是一个解决方案
浏览 0提问于2013-06-05得票数 1
回答已采纳
1回答
对Hadoop的ORM支持
hadoop、orm
我正在尝试使用Hadoop和Spring (MVC、IOC、Data、Security )引导应用程序。我想知道哪种ORM适合这些技术。
浏览 2提问于2015-03-08得票数 1
回答已采纳
1回答
hadoop同步日志的体系结构
hadoop、real-time
我在几个云提供商之间有不同的环境，比如windows服务器、rackspace中的linux服务器、aws..etc。在这和内部网络之间有一道防火墙。
我需要构建一个实时服务器环境，在这个环境中，所有新生成的IIS日志、apache日志都将同步到内部大数据环境。
我知道有些工具，如Splunk或Sumologic可能会有所帮助，但我们需要在开源技术中实现这种逻辑。由于防火墙的存在，我假设我只能从云提供商那里提取日志而不是推送。
谁能和我分享什么是经验法则或公共架构来同步NRT中的大量日志(几乎是实时的)？我听说了Apache，Kafka，想知道这些是必需的，还是仅仅是使用rsync之类的东西而
浏览 4提问于2015-12-28得票数 0
回答已采纳
3回答
使用多种数据库类型对单个应用程序中的数据进行建模
mongodb、neo4j、graph-databases、polyglot、nosql
将应用程序的数据模型拆分到不同的数据库系统中是否有意义？例如，应用程序将所有用户数据和关系存储在图形数据库中(非常适合存储关系)，而将其他数据存储在文档数据库中，如CouchDB或MongoDB？这将要求用户图形数据库引用文档数据库中的唯一ids，反之亦然。
这是否使数据模型和应用程序过于复杂？或者这是否充分利用了这两种类型的数据库系统来扩展您的应用程序？
浏览 3提问于2011-08-13得票数 2
3回答
SQL或/with Nosql
postgresql、mongodb、transaction、nosql、rdbms
我正在设计一个具有基本功能的移动应用程序，例如注册、8月、帖子、实时消息等。我认为对于这类工作，Nosql应该更好地工作。但在很长一段时间内，我也想介绍支付交易。由于最终的一致性，NoSql在这里应该是一个问题(我可能错了)。因此，我只能将SQL用于来自Nosql用户数据的带有userid字段的事务。两者兼而有之是一种好做法吗。
我知道我从一开始就可以使用SQL数据库，但我认为基于扩展、分布式数据库等因素，NoSql将是一个很好的选择。
PS:我也是一个软件开发人员，但主要从事机器学习和计算机视觉方面的工作。对数据库没有多大作用。
浏览 0提问于2022-02-13得票数 1
回答已采纳
1回答
Python字典与数据库(例如SQL数据库)
python、sql、dictionary
我试图制作一个程序，接收来自网络上许多不同购物API的多个数据，涉及不同超市的一些产品价格。
我想将这些数据存储到我的程序中，然后通过在不同的超市中找到每种产品的最低价格来访问和操纵它们。数据不断变化，因此存储、获取和操作数据的速度应该尽可能快。
直到现在，我将它们存储在字典中，但我想知道一个SQL数据库(或另一个数据库)是否能使程序运行得更快。
例如，我已经在字典中接收并存储了以下数据(但超市的数量超过了100家，每个词典中的产品也超过了1000家)，.Would存储和从数据库中获取它们以进行操作要比字典快吗？
pricesDict = { "supermarket_1":
浏览 5提问于2022-09-13得票数 1
4回答
内存数据库如何提供持久性？
database、in-memory-database、durability
更具体地说，有没有不需要辅助存储(例如硬盘)来提供持久性的数据库？
注意:这是一个。
浏览 6提问于2010-07-27得票数 2
回答已采纳
3回答
特定情况的存储引擎
mongodb、memory、redis、rdbms、database
在这种情况下，您可以参考哪些数据库：
大量的插入和updatesSophisticated查询(或类似的)大量的数据，但是少量频繁访问(可以在内存中)--在崩溃(但不是所有)的情况下，松散部分数据(例如最近几个小时)是可以的
可能的解决办法和问题：
看起来不错，但它不支持复杂的queries.RDBMS (当前的解决方案)--保证ACID和硬盘的大量使用，所以更新太慢了，RDBMS+ RAM磁盘--将使用操作系统交换、恢复问题，而且一般看起来不太reliableMongoDB --在写操作上有服务器级别的锁定，真的很快吗？
浏览 1提问于2011-02-16得票数 1
回答已采纳
2回答
Hibernate -如何使hibernate和内存中的网格解决方案同时工作？
hibernate、caching、in-memory
在我的服务器中，我需要提供高的方法调用速率(每秒300次方法调用)。为了满足这一要求，我知道我需要一个缓存/内存中的解决方案。
当我使用hibernate:时，冲突在于如何做到这一点
如果我使用Hibernate二级缓存，不会保存实体，而是保存标识符，因此，它不适合。
如果我将内存中的解决方案用作Infinispan或Couchbase，我将需要开发一个doe的复制工作层(保存/删除/更新到DB和内存)。
有什么方法可以保存/更新/删除JPA实体到hibernate和内存中的网格而不开发这样的层呢？
我还试图找到Hibernate API文档，但它看起来不太可取(如果有人可以重
浏览 1提问于2012-12-10得票数 2
2回答
中数据项目需要选择哪个分布式数据库？
spring-boot、redis、nosql、hazelcast、ignite
现在，我们使用spring (Hibernate)在Spring 2上使用了带有PostgreSQL数据库的java项目。
对新架构的要求:在N台计算机上，我们有工作场所。每个工作场所都使用相同的程序，配置不同的配置(为重新分配数据库配置客户端)。计算机数量并不多-- 10/20个人电脑。数据库必须是可伸缩的(许多数据可以存储在磁盘~1/2 Tb上)。每天可以从一个工作场所将多达100万行插入到数据库中。每个工作场所都使用重新分布的数据库--这意味着每个节点必须能够读取/写入彼此修改的数据。并根据数据做出一些决策，在运行时由另一个工作场所进行修改(事务处理)。Datastore(磁盘数据库存档
浏览 1提问于2018-11-19得票数 0
回答已采纳
1回答
点燃持久的。模式表有时会消失
ignite、nlpcraft
我对基于点火器的数据库有问题。有时(我无法捕捉到确切的情况)在重启server/os等之后，系统以空模式启动(所有创建的表都消失了)
环境：
- Ignite 2.7, 2.7.5
- OS - macOS 10.14.5
- java 1.8.0\_121, Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)
- it's single node.
jdbc
jdbc {# Ignite JDBC和驱动程序。url = "jdbc:ignite:thin://127.0.0.1/
浏览 4提问于2019-07-09得票数 1
2回答
在没有数据库的Apache中使用SQL查询
sql、postgresql、ignite
我使用Apache作为分布式缓存，它的配置是基于使用Ignite Web控制台的现有数据库生成的--它是一个可以定期将缓存数据持久化到Postgres数据库的写操作缓存。但是，我希望用Java为我的项目编写单元测试，并且没有一个可靠的测试数据库可供使用。
我想测试的部分内容是我偶尔在Ignite缓存上运行的缓存查询--我想使用sql查询来实现这一点。但是，我想不出如何在没有数据库的情况下从缓存配置中保存queryEntities。我尝试为测试目的创建一个新的xml文件，该文件只配置我需要的缓存，并且只设置查询实体(不是数据存储或任何db信息)，但是当我运行测试时，会出现一个“未能初始化DB连接
浏览 0提问于2019-03-01得票数 0
回答已采纳
14回答
Java快速数据存储与检索
java
我需要将记录存储到持久的存储中，并按需检索。所需经费如下：
极快的检索和插入
每个记录都有一个唯一的键。此键将用于检索记录。
存储的数据应该是持久的，即在JVM重新启动时应该可用。
一个单独的进程将每天将陈旧的记录移动到RDBMS。
你们觉得怎么样？由于延迟问题，我不能使用标准数据库。像HSQLDB/ H2这样的内存数据库有性能限制。此外，这些记录是简单的字符串对象，不符合SQL的条件。我正在考虑一种基于平面文件的解决方案。有什么想法吗？有开源项目吗？我相信，一定有人曾经解决过这个问题。
浏览 0提问于2009-10-15得票数 8
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
