大数据数据分析架构探究

从范式角度来讲，维度建模是以2NF的方式来描述数据，实体关系建模是以3NF的方式进行数据描述，由于分布式数据架构的兴起，使得维度建模得到了技术支持。换句话讲，现在数据增长的速度，对于现在的数据技术架构不再是技术瓶颈。对于数据的存储运用完全用2NF的方式表达，甚至1NF都有可能。当然现在有一种趋势就是2NF到3NF转变的过程，这方面与Data Vault的设计初衷是一致的，试图在2NF和3NF寻找一个合适的数据整合方案。 从信息传播的角度来讲，1NF的方式传播信息是最有效的，但是也是最冗余的，但对于信息存储是一个挑战。现阶段来讲2NF成为现在互联网企业主要的存储方式，因为数据增长速度，数据关系的复杂度，与数据的计算能力与数据的存储方式相匹配。但当数据的增长速度和数据关系的复杂度这两个变量发生指数级变化的时候，2NF的方式的存储似乎就不太适合，3NF的数据存储方式必然是选择，甚至于更高范式。但范式越高，信息的专业程度越大。解释一下范式越高，信息越专业，比如：我们平常的生活对话大部分都是2NF的，只有大人与刚刚学会说话的小孩会1NF的，因为我们要做大量的解释。当我们去工作的时候，一般你是具有3NF的知识才能，才能与工作的其他人进行沟通，那一篇博士论文呢，那所处的范式那就更高啦。 现阶段数据的存储还是人与机器或者人与人之间的信息记录，用3NF或者BCNF能够解决。试问下当机器与机器之间交流将来是什么样的呢，还是3NF的吗？是3NF还好，我们还可以存储与整合加以利用和分析，不是3NF的呢，个人觉得很可能不是，因为机器的设计工作超过3NF，更何况机器与机器交流信息呢。我们如何处理这些信息，然后加以有效利用和分析，值得去深究！

发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/100976.html原文链接：https://javaforall.cn