大数据开发主要做什么？

一个大数据平台架构通常如图所示，大数据开发涵盖了图中从下到上各层的实现，其中主要的部分是采集层、储存层、计算层、模型层和接口层，核心部分是储存层和计算层。
各层中功能模块的技术实现会根据实际业务场景不同而有所变化，但仍然是围绕着储存数据和数值计算这两大核心功能来进行的。
因此，大数据开发的作用主要集中在以下几个方面

1. 资源配置
大数据处理系统面向的是大体量、多来源、多类型的数据。因此，大数据开发需要综合考虑系统资源的合理设计和分配，综合考虑节点数量和角色的分配、硬盘容量和可能的扩展、后台任务和内存空间的分配以及程序设计时内存和并发量等问题。
如果这些资源问题没有处理好，会导致整个大数据集群性能和稳定性下降，极端情况下可能会导致集群部分服务异常关闭，甚至整个集群宕机。

2. 数据移动
数据移动问题包括数据从外部流入到平台、数据从平台流出到外部、数据在平台内的移动以及平台之间的数据移动。
在这个过程中，大数据开发需要充分考虑数据量大小和对数据实时性的要求，避免数据积压和数据丢失。

3.计算性能
如何保障大数据处理平台的计算性能是开发人员在大数据开发过程中需要考虑的问题。
根据不同的业务场景和数据类型，选择合适的计算方式，合理地设计数据存储机制与数据结构，可以在一定程度上保持并优化大数据计算的效率。

4.数据安全
数据安全指的是数据的可用性、完整性和保密性。在进行大数据开发时可以充分利用大数据技术框架所提供的相关数据安全机制，保障数据安全。

5.灵活性和容错性
灵活性是指大数据平台的应变能力，使其在面对不同应用需求时可以不用进行过多的改动和重构。
容错性是指在大数据平台出现部分功能故障时，仍能保证平台的主体功能不失效，或能够在主体功能受到严重影响前重启功能服务或启动替代功能服务。
大数据处理系统的基础设施规模通常比较庞大，采用的又都是廉价的商用设备，因此必须经过大数据开发工作的仔细设计，才能保证存储系统的灵活性和容错性，使其能够随应用一起扩容及扩展，并且稳定运行。