初始大数据（Big Data）开发

一、对大数据的认识

在这里插入图片描述

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。

主要解决的是对海量数据的存储以及海量数据的计算分析问题

• 数据单位描述：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

大数据主要的特点：

• Volume（大量）：历史上全人类说过的话的数量大约是5EB，个人计算机目前容量单位为TB。
• Velocity（高速）：由于传输数据的量是非常庞大的，所以大数据在传输速率方面是高速的。
• Variety（多样）：以往的结构化数据相较于非结构化数据，非结构化数据越来越多，例如：音频，视频，地理信息等。对非结构化数据的处理能力要求较高。
• Value（低价值密度）：对复杂的，高效价值的数据进行提纯处理。

主要应用场景：

物流仓储、零售（纸尿布+啤酒）、旅游、商品广告推荐（推荐算法）、保险、金融、人工智能…

在这里插入图片描述

二、大数据开发岗位主要做什么？

数据采集【原始数据】 数据汇聚【经过清洗合并的可用数据】 数据转换和映射【经过分类，提取的专项主题数据】 数据应用 【提供api 智能系统 应用系统等】

• 大数据开发岗所处的位置以及相关其他岗位职责。

在这里插入图片描述

（图片来源于网络）

• 组织结构

在这里插入图片描述

三、大数据学习最全路线（推荐）

在这里插入图片描述