如何最好地处理历史数据的存储？

文章/答案/技术大牛

发布

2回答

sql、database、data-storage

我试图确定应该如何存储历史事务数据。我是否应该将历史数据分解为单独的“历史”表，并且只将当前数据保存在“活动”表中。如果是这样的话，我如何才能做到最好呢？使用自动将数据复制到历史表的触发器？还是在我的应用程序中有逻辑？将有大量的历史数据(数十万行，最终可能有数百万行)

浏览 2提问于2009-01-15得票数 13

回答已采纳

2回答

Java理论:货币、期货和金属分析类设计

java、theory

个人项目寻找关于如何设计我的 a.货币(多种货币)所有相同格式。c.金属(多种金属)与货币相同的勾选格式。希望通过方法执行下列类型的数据操作 a.对所有历史数据的

浏览 7提问于2013-05-26得票数 0

回答已采纳

1回答

Kappa体系结构:当插入到批/分析服务层时

apache-spark、architecture、streaming、apache-flink、lambda-architecture

如您所知，Kappa架构是Lambda体系结构的某种简化。Kappa不需要批处理层，而是速度层必须保证历史数据重计算的计算精度和足够的吞吐量(更多的并行性/资源)。不过，Kappa体系结构需要两个服务层，以防需要根据历史数据进行分析。例如，年龄<2周的数据存储在Redis (流服务层)，而所有旧数据存储在HBase (批处理服务层)的某个地方。什么时候(由于Kapp

浏览 7提问于2019-10-15得票数 7

回答已采纳

1回答

我们的团队面临一个问题，就是在插入到表中的sql服务器块上查询大量数据。我们正在进行一个涉及保存和查询大量数据的.NET项目。该项目包含两个数据库，一个是实时数据库，另一个是历史数据库，都是SQL Server数据库，它们生活在不同的机器上。这两个数据库的表结构完全相同，只有四个表。历史数据库包含所有更新历史记录。当项目运行时，它将拍摄对Realtime的更新查询，并将查询插入到历史数据库中。每天将在历史数据库上执

浏览 4提问于2014-11-27得票数 2

回答已采纳

2回答

初始化Flink作业

apache-flink、flink-streaming

我们正在部署一个新的Flink流处理作业，它的状态(存储)需要使用历史数据进行初始化，并且在开始处理任何新的应用程序事件之前，这些数据应该在状态存储中可用。我们不希望大幅修改Flink作业来加载历史数据。我们考虑编写另一个单独的Flink作业来处理历史数据，更新它的状态存储并创建一个保存点，并使用这个保存点来初始化主Flink作业中的</

浏览 47提问于2021-04-23得票数 0

1回答

如何将InfluxDB数据导入TDengine数据库？

influxdb、tdengine

我在处理很多时间序列数据。我们将历史数据存储在InfluxDB中。然后如何将它们导入TDengine数据库？

浏览 13提问于2022-05-01得票数 0

11回答

如何存储历史数据

database-design、versioning

我和一些同事就存储历史数据的最佳方式展开了一场辩论。目前，对于某些系统，我使用单独的表来存储历史数据，并为当前的活动记录保留一个原始表。所以，假设我有一个表FOO。在我的系统中，所有活动记录都将放在FOO中，所有历史记录都将放在FOO_Hist中。FOO中的许多不同字段都可以由用户更新，所以我想准确地记录所有更新的内容。我的同事说，这是一个糟糕的设计，因为出于历史

浏览 3提问于2010-10-06得票数 176

回答已采纳

2回答

增量数据存储

apache-spark、amazon-s3、time-series、amazon-redshift

为了让模型成功运行，拥有一个包含历史数据的“合并的单一数据源”是很重要的。我必须使用AWS服务来存储结果。如果我存储在S3中，我将最终每天存储1个回填文件(太多文件)。如果我存储在Redshift中，它不会合并+ upsert，因此变得复杂。面向客户的数据在Redshift中，因此不能每天删除表并重新加载。我不确定如何巧妙地(定义为最小成本和后续处理)存储增量数

浏览 1提问于2018-09-25得票数 0

1回答

如何最好地存储信息？

java、database、memory、mobile

我是用爪哇写的。正在尝试编写我的第一个用户时间管理移动应用程序。我创建了一个user类和一个很棒的函数，它允许用户创建一组用户，其中他是管理员，他可以从该组中跟踪员工-- 它需要单独的数组吗？或者是关于数据库有什么我还不了解的？单个用户的所有信息都存储在哪里？对于菜鸟的问题，我提前道歉。

浏览 10提问于2020-06-21得票数 0

1回答

在执行差异备份时，日志文件会增加。

sql-server、sql-server-2012、backup、log

数据库服务器: Microsoft 2012 (SP1) - 11.0.3128.0我们有一个暂存历史数据库，它存储在实时数据库上执行的操作(插入、更新、删除)，并通过service传输到我们的历史服务器。该消息被处理并将数据存储在历史数据库中。我们最近发现了一个问题，即目标数据库的消息队列没有清除已处理的消息。我们开始清理队列，在这个队列中存储了320+ M记录。

浏览 0提问于2016-09-13得票数 1

回答已采纳

1回答

高效地存储Hadoop中的每日转储

hadoop、delta、datadesign、bigdata

问:这些历史数据如何在HDFS上构建，这样既节省了空间消耗，又有效地访问了.。一些作业处理所有可用的历史数据。这意味着，尽管保存历史数据很重要，但不应以严重放缓那些只想知道昨日停业时数据的情

浏览 4提问于2017-06-22得票数 2

2回答

不使用数据库的IBM/BlueMix仪表板线图(只用于实时工作)？

ibm-cloud、iot、watson-iot

(见图) 我可以看到数据库中正在正确地写入数据。当我在BlueMix IoT中的仪表板上放置一行图时，它确实显示了一个图形，但只显示了实时数据，它不使用现在存储在数据库中的历史数据

浏览 5提问于2017-04-02得票数 1

回答已采纳

1回答

在Hyperledger Fabric中获取事务历史记录的算法？

hyperledger-fabric

我正在寻找Hyperledger Fabric如何获得特定资产的交易历史的详细信息，包括使用了什么数据结构和算法。从理论上讲，特定资产的交易应该存储在不同的块中，而不是按顺序存储。也就是说，可能需要对区块链中的所有块进行线性搜索，以获得特定资产的所有交易。是那么回事吗？有没有关于这个问题的文档和代码推荐阅读？谢谢。

浏览 0提问于2019-07-28得票数 0

1回答

在不同服务器上的子域之间共享数据的最佳方式-- .jsp和.net？

.net

我们的电子商务网站位于不同的服务器上，并具有登录功能。一个是www.website.com，另一个是shop.website.com (相同的域)有没有办法在我们的两个站点之间传递家庭商店的位置(或其他一些信息)，这样就可以在任何地方(移动/桌面&#

浏览 2提问于2020-03-31得票数 0

1回答

更新单元表中的增量记录

hadoop、hive、hiveql、bigdata

我有一个包含超过TB大小的历史数据的表，我将每天接收增量(更新的信息)记录，这些记录将以GB大小存储在delta表中。现在，我希望将增量记录与历史记录进行比较，并使用delta表中的最新数据更新历史表。在Hive中实现这一点的最佳方法是什么，因为我将处理数百万行。我已经搜索了网页并找到了下面的方法。但我不认为这是一个最好的方法，在表现方面。

浏览 3提问于2016-04-11得票数 0

2回答

重新处理所有记录- DynamoDB流

amazon-dynamodb、amazon-redshift、aws-lambda、amazon-dynamodb-streams

我正在使用带有Aws lambda函数的DynamoDB流+ firehose来同步我的数据和红移。我想知道是否有可能将所有DynamoDB记录添加到流中以进行重新处理。如果不是，正确的方法是什么？

浏览 13提问于2016-09-17得票数 3

1回答

web应用程序中apache spark的web URL信息

apache-spark、ibm-cloud、pyspark、spark-streaming

我们从环境保护局收集的资料如下：但我们不仅收集历史数据，我们还希望通过每小时向web应用程序中插入新数据来更新数据。因此，关于这个问题，我有几个问题： 1)是否需要打开hdfs来存储所有数据？或者，我们是否可以通过URL检索数据并将其存储在数据帧中？IBM bluemix表示，它将提供5 GB的存储，那么如何利用这些存储来存储历史数据和每小时存储更新的数据呢？2)如果我们要通

浏览 4提问于2016-01-17得票数 0

2回答

Flink来实现一个作业，一旦其父作业完成引导，该作业就应该开始处理事件。

apache-flink、flink-streaming

我有一个要实现的用例，在这个用例中，在我的流作业开始处理实时事件之前，需要完成历史数据处理。那么我应该如何设计这个，我能想到的是以下几种方法：( a)首先处理历史数据，一旦完成，就不仅仅是开始流作业。b)

浏览 12提问于2022-10-31得票数 0

2回答

MySQL表为今天，昨天，每月日志设置

php、mysql、database-design

我正在编写一个PHP / MySQL stat日志记录程序，并试图为它找到最佳的MySQL DB结构。有一个部分，游客将能够看到的日期统计(即最新的20个参赛作品)，但也将能够看到今天的整体，昨天的总体，持续7天的整体和持续30天的总体统计。从我正在提取的数据中，实时数据将每60秒更新一次，每次更新至少有10个新条目。我的逻辑正确吗?设置两个表..。一个作为“今天”的统计数据，另一个作为整体的</

浏览 4提问于2012-04-01得票数 2

回答已采纳

4回答

对Server 2000数据库中的列进行加密

encryption、sql-server-2000

我的任务是加密存储在Server 2000数据库中的价值多年的敏感数据(不要问)。我需要对历史数据进行加密，并在新数据流经系统时提出一个加密和解密过程。编辑：生成数据的进程与消耗数据的进程不一样，因此我无法轻松地在Server之外实现解决方案。大多数解决方案似乎使用了扩展存储过程，这些过程调用必须安装在服务器上的dll。到目前为止，我看到的最好的是，这些工具是免

浏览 0提问于2009-07-09得票数 0

回答已采纳

点击加载更多