加米谷大数据：数据科学家和数据工程师有什么区别？

本文介绍了什么是数据工程师、什么是数据科学家，以及二者之间的差别。

什么是数据工程师？

数据工程师负责构建和维护数据科学项目的数据架构，他们必须确保服务器和应用程序之间的数据流是连续的。改进数据基础应用程序，将新的数据管理技术和软件集成到现有系统中，构建数据收集管道及其他各种各样的事情，都属于数据工程师的职责。数据工程中最受欢迎的技能之一是设计和构建数据仓库的能力。

什么是数据科学家？

数据科学从一开始就是一个交叉学科，要求从业者在计算机、数学领域具备一定的技能，同时还要具备在同人与生意打交道的经验。

数据科学家的主要目标是组织和分析大量数据，通常使用专门为此项工作而设计的软件。数据科学家的最终数据分析结果应便于所有投资利益相关者理解，特别是便于那些非IT人员理解。数据科学家专注于前瞻，即做出预测。顺带提一句，数据分析师则更多地聚焦在回顾，如分析历史数据。

数据科学家和数据工程师之间的区别

了解这两种角色之间的区别非常重要。从广义上讲，数据科学家综合使用统计学、数学、机器学习和行业知识来构建模型。必须使用组织支持的相同工具/语言和框架来编码和构建这些模型。

而数据工程师必须构建并维护适用于数据收集、处理和部署数据密集型应用的数据结构和体系架构。构建数据收集和存储管道，将数据汇总给数据科学家，从而将模型投入生产...这些只是数据工程师必须执行的任务中的一部分。

数据工程师通常有着工程背景，与数据科学家不同的是，这个角色不需要太多的学术和科学知识。因此，对构建大规模结构和体系结构的开发人员或工程师非常适合这个角色。

与数据工程相关的不同角色

数据架构师：

数据架构师为数据管理系统收集、整合和维护所有的数据源奠定基础，这个角色需要了解SQL、XML、Hive、Pig、Spark等工具。

数据库管理员：

顾名思义，担任此角色的人需要对数据库有着广泛的了解。职责包括确保数据库对所有需要的用户可用，适当地维护数据库，并且保证在添加新特性时没有任何中断。

数据工程师：

精通以上众多技巧的人。需要掌握数据库工具、Python和Java语言、分布式系统(如Hadoop)等知识，这个角色负责多种组合任务。

加米谷大数据www.dtinone.com