
在数据行业,我们经常会遇到形形色色的职位:大数据工程师、数据工程师、数据分析师、数据科学家,甚至还有机器学习工程师。如此繁多的岗位,有时难免让人眼花缭乱、摸不着头脑。今天,我结合从事 Databend 后开始从 OLTP 渗透着大数据圈子4年+对这些职位的认识做一个总结,让我们一起理清这些职位的职责和学习要点,帮你找到属于自己的方向。

从上图可以看出,数据相关工作涵盖了数据收集、数据移动与存储、数据治理、数据分析与标注、业务驱动分析直至创新领域几个层级(这是个人理解的划分)。人才需求和工作时长逐步递增,而薪资水平则在高层更为丰厚,学历要求也相对较高。不过,别担心,学历不是唯一通行证,实践经验同样是通往成功的捷径。接下来,我们一起来看看各职位对应的职责范围
大数据工程师
这是中国市场中颇具特色的职位。从培训课程或招聘JD来看,国内大数据工程师常常需要从金字塔底层做起,至少涉及到数据治理的部分工作。日常工作大多集中在CDC(变更数据捕获)开发、任务调度和数据抽取。主要使用Java、SQL及各种湖仓平台。目前国内大数据工程师的水平参差不齐,有些高手已近乎数据科学家的境界,更多则是数据工程师的范畴。职场上,这类人才需求稳固,工作内容日渐明确,重复工作占比大,有时甚至像“扫地僧”般默默耕耘。
值得一提的是,国内许多大数据工程师的角色与软件开发工程师交织在一起,涉及CDC工具开发、开源软件整合、权限管理,任务调度,可视化等多方面职责,导致职位边界模糊,甚至出现了“摸鱼”和“扫地僧”共存的现象。
数据工程师
这一职位多见于海外招聘,核心职责是为数据分析师准备和整理数据,对应于数据收集、数据移动/存储及数据治理, 数据查询对账等。海外市场以SaaS为主,对开发技能要求相对较低,更看重沟通能力。此岗位工作内容清晰且易于量化,但创新空间有限。
比较有意思的现在国内也开始有这个职位的招聘,也可以说是数据工作也越来越精细。
数据分析师
数据分析师是深度依赖业务理解和表达能力的角色。技能重点包括SQL和数据可视化工具(如Tableau、PowerBI)。除了日常报表外,分析师还需频繁跨部门协作,支持业务决策。技术能力约占40%,更多的是要洞察业务本质,将复杂数据转化为简单明了的洞见,以便向领导和客户传达,推动实际行动。
数据科学家
该职位通常位于金字塔顶层,通常涵盖AI和机器学习职位。该岗位产出不易量化,要求更高的专业技术和执行力。海外招聘多以博士和硕士为主,而国内则较为特殊,部分实战派专业人才也能胜任,但整体以研究生学历为主。
行业观察
过去,大数据工程师承担大量开发任务,如今开发比例逐渐减少,Hadoop逐步淡出舞台,取而代之的是更专业、更简便的湖仓平台,比如Snowflake、Databend等。大数据工程师、数据工程师和数据分析师通常可以通过培训快速上手,而数据科学家则更依赖扎实的学科背景。
总的来说,数据行业相对看重教育背景,除了做好本职工作,也建议适当投资个人教育,这是一项高回报的投资。当然,学历不是决定一切,团队协作强调互补性,找到自己热爱的领域,不断深耕,成为团队中不可或缺的一员同样精彩。对学历要理性看待,比如宇树科技创始人王兴兴若读博士,可能还创造不出现在的成就;Deepseek创始人梁文峰也未读博士。他们大学时期就已明确方向并坚持至今。因此,明确目标,持续努力,在实践中不断成长,终将成为领域的佼佼者。