4V:volume variety velocity value
海量性(volume):大数据的数据量很大,每天我们的行为都会产生大批量数据
多样性(variety):大数据的类型多种多样,比如视频、音频和图片都属于数据
高速性(velocity):大数据要求处理速度快,比如淘宝双十一需要实时显示交易数据
价值性(value):大数据产生的价值密度低,意思是说大部分数据没有参考意义,少部分数据会形成高价值
Apache开源软件基金会开发了运行在大规模普通服务器上,用于大数据存储、计算、分析的分布式存储系统和分布式计算框架--Hadoop。其两大核心如下:
总结来说,hadoop中的核心HDFS为海量数据提供了存储,而MapReduce则为海量数据提供了计算服务。
大数据计算模式:
大数据技术框架主要包含6个部分,分别是:
数据收集、数据存储、资源管理、计算框架、数据分析、数据展示
每部分包括的具体技术: