每日分区和归档

文章/答案/技术大牛

发布

2回答

sql、sql-server、sql-server-2016

我正在尝试按月对表进行分区，例如1月、2月、3月。我将通过其进行分区的列是一个datetime类型的列，其格式为'20190101'、'20190201'等。例如，我有1月、2月、3月的销售数据。我希望数据按daily分区。('20190101'、'20190201'、'20190301'等) E.X： 1月，2月，3月等。我也想保持较少的数据，所以我想删除每日明智的数据，只保留一个月的数据最大值，例如，我将创建1月31日

浏览 31提问于2019-09-10得票数 0

1回答

KAFKA分区数据实现每日数据

apache-kafka

在Kafka中，是否可以每天将数据归档到某个目录？同时让我知道是否有可能在每日基础上创建一个分区。

浏览 0提问于2018-04-27得票数 0

1回答

Sybase ASE :表分区

database、sap-ase、database-partitioning、archiving

所以，我需要归档一些行。我现正探讨以下方法：我是否可以alter一个现有的表并添加分区，或者我需要创

浏览 4提问于2020-03-20得票数 0

1回答

SQL Server分区策略

sql-server、partition

我有以下要求：日期-2010年目前，我们通过Server 2005分区来处理这个问题，如下所示：这个效果很好。我们一直在

浏览 0提问于2011-01-27得票数 0

1回答

访问、更新大型MYSQL表建议和指南

mysql、optimization、archive

我们有1000's的办公室用户整天更新，创造和编辑工作。我们也有10's在现场的成千上万的应用程序连接到这张桌子上，阅读他们的旋转，然后更新，如果他们时钟进进出出。由于应用程序只能看到1天前和7天前，而rota表从一开始就存储了所有的rota历史，所以我们正在考虑创建一个精确的作业表复制表。该表将存储昨天开始和向前7天的所有rotas，使用cronjob删除旧数据，并每晚添加新数据。然后，应用程序将连接到这个表，获取作业列表，并在输入或退出时更新原始表。概念2 只需将一年多前的工作归档到另一个表。如果用

浏览 0提问于2020-04-29得票数 2

回答已采纳

1回答

Oracel DB使用shell脚本中的可传输表空间移动巨大的分区。

oracle、partitioning、archive、tablespace、impdp

我们有一个巨大的数据库，每天有2000万份记录，由于这些数据很重要，不能被清除，存储也会在一段时间后耗尽，因此我们使用impdp和expdp来归档旧数据(我们保存了几个月)，并每月导出一个分区并将其导入归档DB。此方案的缺点是在完成导入后删除导出分区，没有完全释放存储，看来我们的表空间是问题所在。另一个缺点是数据不断增长，进出口时间已经超过了几个小时，将近2天，这影响了我们的服务质量。每日

浏览 7提问于2021-02-17得票数 0

回答已采纳

1回答

如何为VLDB OLTP解决方案( Server 2016，>100 to init )设计分区策略。大小)

sql-server、database-design、partitioning、sql-server-2016、vldb

它将用于特定类型的分析，需要使用各种方法和工具来发现趋势。r)。将有各种来源在“实时”的基础上输入数据库(S)，以及批量摄入的数据。由于大量事务、预计的并发用户数量(>250)以及用户使用数据的方式(稍后更多)，我们需要该解决方案具有高性能和可伸缩性。显然，数据需要在几个级别上进行分区，以支持数据使用者。用户将在每日、每周、每月和多年范围内运行趋势分析类型的工作量。大多数数据将提供日期字段，但客户名称、帐号和交易类型也在进行趋势分析的范围内。我向大家提出的问题如下:您的策略是如何设

浏览 0提问于2017-01-23得票数 3

回答已采纳

1回答

MYSQL:保持id唯一的分区表

mysql、partitioning、database-partitioning

COL4` datetime NOT NULL,PRIMARY KEY (`ID`)现在，我们希望在列存档中进行分区归档只能有2个值0或1和SO2分区。实际上，在我们的例子中，我们使用分区作为归档过程。要进行分区，我们需要将归档列作为主键的一部分。但这里的问题是，2行可以具有相同的ID，具有不同的归档列值。实际上，这并不

浏览 0提问于2015-05-20得票数 4

1回答

ClickHouse:如何从具有不同分区键的表中移动数据？

clickhouse

我计划在ClickHouse中重新设计表，以避免在使用ReplicatedReplacingMergeTree时出现一些性能和重复/版本控制问题。因此，我们计划保留一个表A，每天分区，与传入的数据。然后是表B，按月划分，其中将存储历史数据。查询将指向包含这两种内容的合并表(而不是MergeTree)。然后，我们设置了一个动作，将最新的分区从A移动到B，在一天结束后的每一天。但是，在中，移动分区是不可能的，因为其中声明“两个表必须具有相同的分区键”。一种方法是将数据从A的每日<

浏览 5提问于2020-06-01得票数 1

回答已采纳

1回答

如何在sql server 2008中进行分区

sql-server-2008、partitioning

我想在这张表上做每日分区。所以我使用了分区创建向导。我给出了分区模式，部分函数，一切。我将边界值设置为1.1.2011和10.1.2011，以及每日级别。然后我将值输入到该表中，每天一行(只是为了检查)，它将被插入到每个分区中。最后，每个分区包含1行。但我想以这样的方式，如果我在2011年1月11日进入，它将被加载到第一个分区并删除现有的数据。

浏览 6提问于2011-03-09得票数 0

1回答

OLTP上的表分区

sql-server、partitioning、archive

在SQLServer2017 Std上，我有一个SSIS包，每天在24×7任务关键操作数据库上运行一次，用于归档最大的事务表。数据被移动到单独的归档数据库上的表中，并且进程运行平稳，在活动数据库上有最小的锁定争用(删除将在很长一段时间内传播)。拥有一个单独的归档数据库具有许多优点:单独备份数据库；仅使用当前数据刷新测试环境；提高对当前数据的查询性能等。我们正在升级到企业版，并考虑为数据归档进行表分区，但是我读得越多，我就越担心实现和维护开销。到目前为止，我能看到的唯一真正的优势是应用程序

浏览 0提问于2020-07-15得票数 0

1回答

特定子分区的分区交换加载

sql、database、oracle、oracle11g、database-partitioning

而不是insert/delete例程--我在考虑使用分区交换。我想分割交换的是特定的国家。DEFAULT))加载的数据正确地落入分区和子分区中所有分区名称都是系统生成的。当我使用分区</e

浏览 0提问于2011-08-12得票数 0

1回答

配置单元表归档

hadoop、hive

我想对hive表应用存档和清除机制，包括内部和外部表以及分区和非分区表。我有一个用visit_date分区的site_visitors表。我想归档site_visitors表数据，其中用户在过去一年中没有访问过我的网站。同时，我不希望将这些存档数据保存在同一个表目录中。我可以把数据归档到某个特定的地方。

浏览 15提问于2017-12-11得票数 0

回答已采纳

1回答

log4j2是否提供了任何机制来每天转存文件并在月底归档日志文件

java、logging、log4j2

log4j2是否提供了每天转存文件并在月底归档日志文件的机制？我能够实现每日滚动，但一个月后，我想压缩所有日志并移动到归档文件夹

浏览 37提问于2020-08-06得票数 0

回答已采纳

1回答

在带有分区的BigQuery中运行调度查询

google-bigquery、partitioning

我是大查询的新手我已经设置了查询，但不知道如何在云控制台中指定新文件的文件名。在我的查询中，我有event_date字段我尝试过将$YYYYMMDD作为表名和目标表分区字段作为event_date，但这两个字段都不起作用，而且我得到了“无效的日期分区键: YYYYMMDD”。

浏览 4提问于2020-09-18得票数 0

1回答

在分区表中保留未分区的旧行

google-bigquery

我正在使用一个BigQuery分区表。分区基于数据中的Timestamp列(而不是基于摄入)。我们正在以每天几百万行的速度将数据流到这个表中。我们注意到，基于特定日期的查询扫描的数据比分区表中的数据多得多。以下是未分区分区的当前状态：我假设右下角的小闪点是正常的(今天早上插入的行的流缓冲区)，但是在11月中旬到12月初之间有大量的数据块存在于未分区的分区中，而不是被发送到适当的每日分区(在__我的两个问题是：为什么这

浏览 0提问于2019-01-09得票数 4

2回答

在oracle 10g中使用表分区

performance、oracle、plsql、oracle10g

我读过一些关于表分区的文章，但我仍然对它的用途感到困惑。我的案例如下。但是如果我主要看到我的查询，我将只获取一个日期的数据，因为日期字段是索引的，所以数据获取不是一个大问题。

浏览 0提问于2012-06-14得票数 0

回答已采纳

1回答

OLAP立方体部分处理

visual-studio、ssas、olap、olap-cube

有任何方法可以部分处理OLAP多维数据集吗？例如，我们有立方体，每1天有100万条记录。所以在新的一天里处理起来会更加困难。是否可以处理最近才插入的信息？

浏览 1提问于2015-11-01得票数 0

回答已采纳

2回答

访问日志数据库的分区

mysql、partitioning

为了保持事务的可管理性和良好的性能，我打算每周或每个月将表的内容转移到存档中。第二，移动内容的最佳方式是什么？

浏览 0提问于2015-05-31得票数 0

3回答

默认情况下，Server只使用主分区

sql-server、partitioning

我的数据库有两个分区文件:主分区，DATABASE_ARCHIVED。许多表都有一列“归档”。存档时，1行位于DATABASE_ARCHIVED分区中。存档为0时，行位于主分区中。为了提高性能，我开始在应用程序中通过在archive=0和WHERE中添加JOIN来修改请求。是否有办法强制主分区上的所有请求并按需使用归档分区？在应用程序中，有一个复选框来查看存档的数据。未选中:只查找主分区中的数据，选中:查看两个<e

浏览 0提问于2015-04-23得票数 2

回答已采纳

点击加载更多