什么是Apache Druid中的中间持久化？
Apache Druid中的中间持久化是一种数据存储和管理机制，用于在数据处理过程中将数据持久化到磁盘上，以便在需要时进行快速查询和分析。
中间持久化在Apache Druid中扮演着重要的角色，它将实时数据流转化为可查询的数据集。当数据流进入Druid时，中间持久化将数据写入磁盘，以确保数据的持久性和可靠性。这种机制允许Druid在大规模数据集上进行快速的实时查询和分析，同时保持低延迟和高吞吐量。
中间持久化的优势包括：
- 快速查询和分析：中间持久化将数据存储在磁盘上，使得Druid能够在大规模数据集上进行快速的实时查询和分析，满足实时数据处理的需求。
- 数据持久性和可靠性：通过将数据写入磁盘，中间持久化确保数据的持久性和可靠性，即使在系统故障或断电情况下，数据也不会丢失。
- 扩展性和容错性：中间持久化支持水平扩展和容错机制，可以处理大规模数据集和高并发查询请求，保证系统的可扩展性和容错性。
中间持久化在以下场景中得到广泛应用：
- 实时数据分析：中间持久化使得Druid能够实时处理和分析大规模的实时数据流，例如日志分析、监控数据分析等。
- 业务智能和决策支持：中间持久化提供了快速的查询和分析能力，可以用于业务智能和决策支持系统，帮助企业做出实时的业务决策。
- 实时监控和报警：中间持久化可以用于实时监控和报警系统，通过对实时数据进行快速查询和分析，及时发现异常情况并触发报警。
腾讯云提供了一款与Apache Druid相似的产品，即TDSQL-AP，它是一种高性能、高可用的云原生分析型数据库，适用于实时数据分析和查询。您可以通过以下链接了解更多关于TDSQL-AP的信息：https://cloud.tencent.com/product/tdsql-ap
相关·内容
1回答
我在几个云提供商之间有不同的环境，比如windows服务器、rackspace中的linux服务器、aws..etc。在这和内部网络之间有一道防火墙。
我需要构建一个实时服务器环境，在这个环境中，所有新生成的IIS日志、apache日志都将同步到内部大数据环境。
我知道有些工具，如Splunk或Sumologic可能会有所帮助，但我们需要在开源技术中实现这种逻辑。由于防火墙的存在，我假设我只能从云提供商那里提取日志而不是推送。
谁能和我分享什么是经验法则或公共架构来同步NRT中的大量日志(几乎是实时的)？我听说了Apache，Kafka，想知道这些是必需的，还是仅仅是使用rsync之类的东西而
浏览 4提问于2015-12-28得票数 0
回答已采纳
近日，神州高铁与腾讯云计算有限责任公司签署了《框架合作协议书》。双方一致同意建立长期合作伙伴关系，充分发挥各自优势，共同推动互联网、大数据、云计算、物联网、人工智能等在轨道交通产业领域的应用。
浏览 1387提问于2018-07-24
为我的无知道歉。
我们正在建立一个实时数据库，捕获基于网站上的成员活动的记录。发出这些信息的应用程序是IBM MQ。我们计划将Apache Kafka设置为使用来自IBM MQ的这些消息，并将其存储在HBase for Analytics中。Kafka有没有可能直接将这些信息写入HBase，或者我们应该在Kafka和HBase之间设置一个像Apache Storm这样的实时流引擎？这就是Kafka --> Storm --> HBase。
感谢您的宝贵反馈。
浏览 1提问于2015-06-25得票数 1
有没有办法用BigQuery运行实时分析？我使用了CSV upload选项，该选项启动一个作业并以脱机模式加载数据，加载完成后可以对其进行分析。但在关于BigQuery的公告中，提到了使用BigQuery进行实时分析。如何才能做到这一点？我们可以将数据从Google Cloud数据库追加(无更新)到BigQuery中，以进行实时分析吗？
顺便提一下，我注意到BigQuery CSV数据加载速度比我本地PC上使用10 PC数据文件运行的LucidDB和InfiniDB慢一个数量级。完成BigQuery作业需要34分钟，而在InfiniDB和LucidDB上只需要5分钟。与InfiniDB相比，查
浏览 0提问于2012-05-02得票数 3
回答已采纳
Druid如何在将实时摄取的数据移交到深度存储之前进行持久化？ 在文档中，Druid有关于intermedatepersistperiod的配置，并且maxpendingpersists持久化。但它并没有太多地说明什么是中间持久化，它是如何工作的。 从字面上看，我假设它周期性地将实时数据保存在内存中。给定以小时/天为单位的数据段粒度，如果在数据段时间结束之前没有机制来持久化数据，则会产生可用性和可靠性问题。
浏览 20提问于2019-09-13得票数 3
2回答
我正在使用Spring框架和Java服务。
有几个客户端访问一个固定的数据列表，这些数据是从数据库获取的。由于从数据库获取是一个昂贵的调用，而且DB不经常更改，所以我认为缓存值是好的。
DB每天不定期刷新-> 15次
每15分钟刷新一次缓存->。
通过调用DB加载缓存需要15秒。
现在，如果通过调用DB来刷新Cache，则需要15秒。在这15秒内，如果客户端想访问数据，我可以在缓存中发送之前的数据。应用程序是可以容忍陈旧和过时的数据，而不是等待15秒(有一个增量函数，它在加载时间缓存之后带来数据，这非常便宜)。ehcache中是否有一种方法可以在加载新数据时返回缓存中的旧数据，而缓
浏览 7提问于2015-03-04得票数 3
在我们的大数据时代，您的IT基础架构可能会受到各种来源数据涌入的影响。最重要的是，客户要求“实时”查看他们的数据，没有任何延迟时间，因此您的服务器需要快速处理和显示数据。Kafka是一个分布式流媒体平台，使公司能够创建实时数据源。Uber，Twitter，Airbnb，Yelp以及今天财富500强公司中超过30％的公司都在使用它。例如，通过集成各种数据，如喜欢，页面点击，搜索，订单，购物车和库存，Kafka可以帮助实时将数据提供给预测分析引擎，以分析客户行为。
那么 Kafka有哪些好处，您的公司为什么要采用它，以及您的IT团队成功实施它需要哪些技能？
浏览 7064提问于2018-09-14
1回答
IoT设备的分析引擎
、、、、
我在一家M2M IoT提供商工作。现场部署了数以百万计的IoT设备。数据由边缘设备聚合并发送到我们的中央服务器。服务器对设备数据进行处理，并将处理后的信息发送给其他各个子系统。
我们正在构思与现有系统并行的分析引擎(AE)的概念。来自IoT设备的数据应输入此引擎，以进行不同类型的分析。示例:监控设备在过去24小时内发生的事件，找出运行状况或预测其他情况。在这方面，我们正尝试解答以下问题：
1)我们应在何处分流来自IoT设备的传入数据以馈送到新系统(AE)？如果我们点击现有的服务器，那么我们将在两个系统之间引入强耦合。在退出服务器上的任何停机时间也应将管道干燥到AE。对于这种情况，一般推荐的策略
浏览 1提问于2016-11-18得票数 0
2回答
nosql中的Bigdata分析
、、、、
我正在尝试将我们的postgres数据库迁移到更多的执行系统，该数据库包含数百万次点击(几年点击历史)。我们当前运行在postgres上的分析查询需要花费很长时间才能完成，并且会降低整个数据库的性能。我一直在调查可能的解决方案，并决定仔细研究两个选项：
HBase与Hadoop (mapreduce)
卡桑德拉与星火
我以前使用过NoSQL，但是从未将其用于分析目的。起初，我对这些数据库提供的分析性查询选项(缺少groupBy、count、.)有点失望。在阅读了许多文章和演示文稿之后，我发现，我需要根据我打算读取数据的方式来设计我的模式，并且存储层和查询层是分开的。这增加了更多
浏览 3提问于2015-06-02得票数 2
2回答
目标：用于扩展现有应用程序，其中PostgreSQL用作数据存储。
Apache如何帮助：我们有一个有许多模块的应用程序，所有模块都使用一些共享表。因此，我们只有一个PostgreSQL主数据库，它已经在AWS大型SSD机器上了。我们已经有了用于缓存的Redis，但是由于对Redis没有限制，所以对次要索引的部分更新和查询并不容易。
我们的用例：我们有两个大表，一个是成员，另一个是订阅。在许多关系中，一个成员在多个组中订阅，而我们在订阅表中维护订阅。成员表大小约为4000万，此表的大小约为40M x 1.5KB +更多~= 60 40。
挑战
一个挑战是，我们不能存档这些数据，因为每个成员都在
浏览 2提问于2018-05-30得票数 1
2回答
我们有一个盒子，每天有to的数据(10-20TB)，驱动器上的每个文件都在to到to的任何地方。
我们希望将所有这些文件发送到一组“披萨盒”，在那里他们将消费和处理这些文件。
除了distcp (hadoop)之外，我似乎找不到任何构建来处理如此大量的数据的东西。Robocopy/etc不能这样做。
有谁知道一个解决方案，可以处理这种类型的委托(在披萨盒之间分担工作)，并具有可靠的文件传输？
浏览 1提问于2010-10-06得票数 1
1回答
OpenStack Nova目前正在使用MySQL (由SQLAlchemy提供支持)作为其数据库后端。切换到Cassandra的利弊是什么？
浏览 0提问于2013-06-18得票数 0
1回答
利用Apache火花进行实时分析
、、、、
我使用Apache分析来自Cassandra的数据，并根据我们的查询在Cassandra中设计新的表，将数据插入Cassandra中。我想知道火花是否有可能实时分析？如果是，那怎么做？我读过这么多关于这方面的教程，但什么也没有发现。
每当数据立即进入我的表中时，我都想执行分析并插入Cassandra。
浏览 2提问于2015-03-31得票数 0
回答已采纳
4回答
构建流事件实时规则引擎的最佳方法
、、、、
我们正在开始构建一个IoT云平台项目。有一些众所周知的部分可以实现完整的IoT平台解决方案。其中之一是实时规则处理/引擎系统，它需要了解流事件与由具有可读性格式的最终用户动态定义的任何规则相匹配(SQL或Drools if/when/ are等)。
我很困惑，因为有很多的产品，项目(风暴，火花，弗林克，口水，世界语等)在互联网上，考虑到我们有三人开发团队(一名三年级、一名中高年级、一名高年级)，那么最好的选择是什么？
选择一个像Apache这样的流项目，然后好好学习？
选择一个完整的解决方案(AWS，Azure等)
浏览 9提问于2017-05-24得票数 7
1回答
因此，“主内存”和磁盘存储之间的区别之一是持久性--即使主机崩溃或失去电源，硬盘上的数据也将保持可访问性和不受影响。我们还可以使用分布式系统在多个服务器上复制数据，据我所知，在足够快的网络上，提供远程计算机RAM中的数据比从本地磁盘读取数据更快是常见的。因此，人们想知道，在RAM中存储数据的分布式机器系统是否能够比磁盘更快地进行读写，同时提供类似的持久性，只要有足够的副本。有关这方面的一些问题：
如果使用分布式机器系统将数据存储在RAM中，人们能获得类似硬盘的耐久性吗？
仅仅从这个系统中查询数据，而不是将数据存储在本地磁盘上，人们可能会看到性能的好处吗？(显然，如果我们希望保持一致，则网络分区
浏览 0提问于2015-08-17得票数 1
3回答
我正在设计一个应用程序，它必须使用来自多个来源的实时数据，并定期报告这些数据。使用的数据将被添加到Ehcache缓存中，报告将对其进行查询。一旦使用了实时数据，则只需将其持久化以用于恢复。如果应用程序重新启动，它将在连接到实时数据源(对新数据进行排队)之前用数据库中的历史数据填充缓存。
我倾向于将其实现为具有JDBC缓存的cache- as -sor：
从源接收数据Persist to DB Add to cache Confirm receipt with source
其中2-4封装在JTA事务中。
我还研究了Hibernate和Ehcache作为二级缓存，但这似乎并不合适。
我是Ehca
浏览 2提问于2012-02-18得票数 2
回答已采纳
2回答
透明流及批处理
、、、
对于流和批处理的世界，我仍然是非常新的，并且试图理解概念和描述。诚然，我的问题的答案是众所周知的，很容易找到，甚至在这里回答了一百次，但我找不到它。
背景：
我在一个大型的科学项目(核聚变研究)中工作，在实验运行期间，我们正在生产大量的测量数据。这些数据大多是带有纳秒时间戳的样本流，其中样本可以是从一个ADC值到一个这样的数组，通过深度结构化数据(多达数百个条目，从1位布尔到64位双精度浮动)到原始高清视频帧甚至字符串文本消息。如果我正确理解常用的术语，我将把我们的数据视为“表格数据”，在大多数情况下。
我们主要使用自制的软件解决方案，从数据采集到简单的在线(流)分析(如缩放、次采样等)到我们
浏览 0提问于2019-03-13得票数 0
回答已采纳
我试图制作一个程序，接收来自网络上许多不同购物API的多个数据，涉及不同超市的一些产品价格。
我想将这些数据存储到我的程序中，然后通过在不同的超市中找到每种产品的最低价格来访问和操纵它们。数据不断变化，因此存储、获取和操作数据的速度应该尽可能快。
直到现在，我将它们存储在字典中，但我想知道一个SQL数据库(或另一个数据库)是否能使程序运行得更快。
例如，我已经在字典中接收并存储了以下数据(但超市的数量超过了100家，每个词典中的产品也超过了1000家)，.Would存储和从数据库中获取它们以进行操作要比字典快吗？
pricesDict = { "supermarket_1":
浏览 5提问于2022-09-13得票数 1
我想在我的项目中为实时消息处理实现Storm。我观察到很多人使用“Apache”和“Storm”。
在我的项目中，客户端应用程序将向服务器端发送消息，服务器端应该对消息进行身份验证、处理并存储到HBase中。唯一的限制是消息不应该被丢弃，每条消息都必须持久化到HBase中，如果处理该消息只需几分钟就可以了。
我想知道
暴风中使用卡夫卡是强制性的吗？
在Storm中使用卡夫卡有什么好处？
如果我没有在风暴中使用卡夫卡会发生什么？
请你给我讲讲卡夫卡的用法。
浏览 0提问于2015-07-01得票数 0
回答已采纳
最近，我读到了关于Hadoop与Spark的文章：
坚持内存中的列式数据查询。这是一个致命的特性，它允许Apache在几秒钟内运行Hadoop需要几个小时或几天的查询。内存比磁盘访问快得多，任何现代数据平台都应该进行优化，以利用这种速度。此外，柱状数据存储大大减少了用于空数据或冗余数据的内存量。
有人能解释一下: 1) Apache和Spark是什么，2)它们有什么不同，3)这与内存和磁盘访问的关系如何。
浏览 0提问于2020-09-05得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
