数据转换任务

1. 数据提取

每天连接数据库，从数据库中抽取昨天的数据

2. 数据清洗

将数据中报警和异常字段的字符串类型转换为数字型

3. 数据压缩

将数据以序列化对象直接存储，相比通常的Excel,Csv格式文件大小减少了三分之一。

并且读取转换成内存对象的速度更加快。

内存型数据查询

• 伴随Web程序启动，将数据同时加载到Web程序的内存中，查询速度比传统的磁盘IO快100-1000倍
• 每个数据接口会检查是否有最新文件，如果有最新数据文件生成，调用接口时会自动将其追加到数据内存中，而不是重新加载所有数据。从而保持运行一次，无需重启，数据更新
• 支持千万级别数据的即席查询分析

核心分析方法

• 超过200个数据处理流程。
• 两种算法：15分钟数据插值算法，以及掉线统计算法
• 多种分析维度：可以按照日期，时间汇总数据。
• 在均值汇总上增加中值汇总，中值汇总可以避免因为过高或过低异常值对整个数据集统计结果的影响。

web交互体验

• 全局设备搜索栏，每个功能模块都可以根据它来选择将要对一个设备或多个设备进行分析。
• 自适应Bootstrap响应式布局，可适应平板友好体验。
• 伸缩式菜单，可以在较大空间内将图表展现。
• 多主题切换，可以切换不同风格的颜色主题。