今日指数项目之数据实时业务开发（需求说明）【九】

实时计算业务流程

需求说明

实时计算业务总体分三大块，具体是：个股行情业务、指数行情业务、板块行情业务。

在这里插入图片描述

总体数据流程

在这里插入图片描述

分时、秒级

在这里插入图片描述

K线

数据存储规模

秒级行情(Hbase)：存储5日内秒级行情，数据量为2.88亿条 分时行情(Druid)：存储半年内分时行情数据，数据量为8.64亿条； 历史数据(Hive数仓)：以沪深市场2万只证券，存储时间按1年统计： 秒级行情： 210亿条以上 分时行情： 20亿条以上 K线： 1500万条以上

日数据采集总量统计 ： 20000（只）* 3600（秒）*4（小时）= 2.88（亿）≈ 85（GB）