五大最核心的大数据技术

五大最核心的大数据技术

大数据技术有5个核心部分，分别是数据采集、数据存储、数据清洗、数据挖掘、数据可视化。关于这5个核心部分都有哪些核心技术？

一起来了解一下吧

预测分析

预测分析是一种数据挖掘方案，可在结构化和非结构化数据中使用算法和技术,进行预测、预报和模拟。许多公司利用大数据技术来收集海量数据、训练模型并发布预测模型来提高业务水平或者避免风险。当前最流行的预测分析工具当属IBM公司的SPSS，它集数据录入、整理、分析功能于一身，分析结果清晰、直观。

NoSQL数据库

NoSQL泛指非关系型的数据库，这种工具可以为大数据建立快速、可扩展的存储库。随着web2.0的兴起，传统的关系数据库在应付超大规模和高并发的SNS类型的web2.0纯动态网站遇到很多问题，而NoSQL数据库解决了大规模数据集合多重数据种类带来的挑战，对于解决大数据应用难题很有帮助。

数据可视化

数据可视化是成为研究数据展示、数据处理、决策分析等一系列问题的综合技术。目前正在飞速发展的虚拟现实技术也是以图形图像的可视化技术为依托的数据可视化技术。可视化能够把大数据变为直观的、以图形图像信息表示的、随时间和空间变化的物理现象或物理量呈现在研究者面前，帮助数据挖掘模拟和计算。

认知计算

认知计算用数据来支撑人机交互的一种模式。它包含信息分析，自然语言处理和机器学习领域的大量技术创新，认知系统专门获取海量的不同类型的数据，根据信息进行推论，从自身与数据、与人们的交互中学习。

流式大数据处理

流式计算是行业研究的一个热点，流式计算的典型范式之一是不确定数据速率的事件流流入系统，系统负载分流。最近Twitter、LinkedIn 、Intuit、Metamarkets等公司相继开源了流式计算系统Storm、Kafka等，流式计算持续升温。流式分析可以对多个高吞吐量的数据源进行实时的清洗、聚合和分析，对存在于社交网站、视频、新闻、电子感应器之中的数字格式的信息流进行快速处理并反馈的需求。目前大数据流分析工具有很多、如开源的spark，streams 。