在我们的数据库(Oracle 12c、Exadata)中,我们计划存储销售数据。包含销售数据的输入文本文件每天提供(每天约1,000个文件,每个文件包含约20000行)。文本文件被读取并以最快速度传输到数据库。根据我们的计算,它将在一年内增长到5TB。
数据格式:[transaction date][category][sales_number][buyer_id][other columns]
销售数据分为10个不同的类别,具有相同的字段。数据在逻辑上可以只存储在一个表中,也可以划分为10个表(根据类别)。
在oracle中存储这种大数据的最佳实践是什么?应该应用哪种分区和索引策略?
限制条件:数据应在2-3天内提供给市场部门进行分析。基于sales_number或类别、buyer_id或buyer_id列的查询。
发布于 2018-01-11 20:49:24
如果类别的数量是已知的并且是固定的,那么您可以为每个类别使用子分区。一种方法可以是这样的:
CREATE TABLE SALES_DATA
(
TRANSACTION_DATE TIMESTAMP(0) NOT NULL,
CATEGORY NUMBER NOT NULL,
SALES_NUMBER NUMBER,
BUYER_ID NUMBER,
[OTHER COLUMNS]
)
PARTITION BY RANGE (TRANSACTION_DATE) INTERVAL (INTERVAL '1' DAY)
SUBPARTITION BY LIST (CATEGORY)
SUBPARTITION TEMPLATE
(
SUBPARTITION CAT_1 VALUES (1),
SUBPARTITION CAT_2 VALUES (2),
SUBPARTITION CAT_3_AND_4 VALUES (3,4),
SUBPARTITION CAT_5 VALUES (5),
...
SUBPARTITION CAT_10 VALUES (10),
SUBPARTITION CAT_OTHERS VALUES (DEFAULT)
)
(
PARTITION P_INITIAL VALUES LESS THAN (TIMESTAMP '2018-01-01 00:00:00')
);
在sales_number和buyer_id上将需要本地索引。如果需要,您可以将每个(子)分区放入单独的表空间中。
https://stackoverflow.com/questions/48206768
复制相似问题