数据量很大查询分析慢，一个方案完美搞定

随着公司业务的发展，各种数据无时不刻地生成，数据量变大已成为必然的事实。那么，数据部门要做分析，业务部门要看报表，要跑数据，要用BI，千万级及以上数据量的分析，性能该如何优化？

要知道，为了支撑起业务人员的数据分析，以及日常不考虑计算逻辑和技术难度，IT人员也是要花费很大的心血和精力啊，此处心疼运维人员n秒。

对于这种情况，也有很多种方法和优化的点。下面简单介绍一个完美方案。

现状分析

当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，查询时间以数小时甚至数天计，有的分析算法甚至根本无法运行。

我们知道，传统分析系统采用的批处理方式进行加载和汇总，无法满足时效性要求。需要分析的数据量越来越多，要汇总的业务也越来越多，留给数据批量加载和汇总的处理时间窗口越来越短，甚至根本无法完成。同时，批量加载方式使得数据的时效性得不到保障，重要的商业机会稍纵即逝。

另外，传统分析系统都是基于数据概要的统计分析，无法满足深度挖掘分析要求。然而尚待挖掘的有价值的业务规律，往往隐藏在数据细节中。传统基于数据概要的分析方法，阻碍了新的业务规律的发现，大大降低了业务数据的分析价值。

方案描述

1、系统架构

基于以上背景，亿信华辰面向大数据的实时分析平台应运而生，它采用全新的无共享大规模并行架构（MPP）、真正列式数据库技术以及超强报表分析引擎，完美解决传统数据库和分析系统在实时分析查询性能慢和扩展性不足等方面的问题。

此平台具有强大的功能，可迅速、可靠地管理大量数据，提供实时的业务数据以进行先进的大数据分析，从而将所有数据转变为效益。在执行查询方面，实时分析平台的速度比传统数据库快 50 到 1000 倍，同时消耗的成本和占用的硬件仅是原来的几分之一。

2、平台亮点

作为全新架构的实时分析平台，有很多的创新，最为突出特点包括：

a、列式存储和计算

基于Vertica数据库，通过列式计算和强大的主动数据压缩，大幅降低成本高昂的磁盘 I/O（主要是传统的以行为存储单位的 SQL 数据库使用），执行查询的速度可提升 50 到 1000 倍，存储成本最高削减 90%。

b、无共享大规模并行处理 (MPP)

基于Vertica数据库无共享的 MPP 架构，支持在线添加数量不限的 X86 工业标准服务器，可根据需求任意扩展解决方案。

c、实时秒级分析

通过Vertica内存与磁盘混合存储架构，支持数据实时装载分析，再结合亿信华辰的豌豆BI敏捷分析引擎以及亿信ABI全能分析引擎，实现百亿数据秒级实时响应，给用户带来极致产品体验，解决用户TB甚至PB级超大数据量分析难题。

应用效果

1、实现大数据实时分析

面向大数据的实时分析平台，基于Vertica无共享MPP架构和列式存储能力，可完美解决用户大数据量情况下数据实时分析问题，用户可实时捕捉数据运行情况，如电商运营大屏等，帮助用户实时决策，运营情况了然于胸。

2、实现报表查询秒级响应

面向大数据的实时分析平台，对于大数据量的明细数据、汇总数据，都能达到查询分析秒级响应，帮助各类报表用户解决报表慢的难题。

3、实现拖拽分析秒级响应

面向大数据的实时分析平台，满足业务人员面向百亿级明细数据，实现高性能敏捷拖拽分析场景，数据加载后业务人员自助探索体验可达到秒级响应，提升用户操作和分析体验。

以上，Vertica+亿信豌豆BI、Vertica+亿信ABI的搭配完美解决数据量大、查询慢、分析慢的困境。至此，作为公司的科技部门人员，也不担心业务部门来嚷嚷了。而且速度超快，体验很棒~