专栏首页木东居士的专栏数据工程师的算法!

数据工程师的算法!

翻出来了17年自己梳理的数据工程师的算法学习内容,当时的理解和现在会有些许不同,但整体来看还是可以的,有一些比较细节的内容并没有花较多的时间来整理,留待大家自己补充了,在此不再做任何修改分享给大家参考,也算是对当时思路的一种保留吧。

该图中包含的算法范围可能会比较广,当然大家在学习的时候也可以有所取舍,根据居士个人经验,简单举例说明一下几大块算法对数据工程师的重要性,或者说是学习建议吧:

  • 分布式算法:大数据相关的同学必备,日常工作可能使用不多,但是遇到集群问题或者面试时,最好还是要做了解。
  • 大数据算法:偏ETL和基于大数据平台开发的同学最好多做了解,现在很多大数据处理的背后都隐藏了这些大数据相关的算法,比如ES、Kylin、Hadoop。
  • 数据结构:这里居士只列了图、树和一些高阶数据结构,有朋友问学算法在工作中到底有没有用,我可以很负责任地说,这一块是肯定有用的。
  • 学习算法:数据挖掘相关的内容,学一下扩展自己技能是很有必要的,因为数据开发很可能会做数据挖掘相关的平台,比如广告系统、推荐系统、机器学习平台等。
  • 其它算法:这里列了一些日常工作会遇到,但是一般不需要我们了解太深的算法,比如加密、压缩和调度算法,这些最好是有所了解知道不同算法的作用和区别,但是如果项目不太需要,不必学的特别深。

ok,大致就这些内容,如果此图对你有帮助,欢迎开启你的算法学习道路!

本文分享自微信公众号 - 木东居士(Data_Engineering),作者:木东居士

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 闲谈大数据和算法

    木东居士
  • 数据百问系列:数据开发需要了解机器学习算法吗?

    对于这个问题,有些群友认为是需要的,也有些群友认为是不需要的,本文根据大家的观点及作者的一些认知,对这个话题进行一个总结。

    木东居士
  • 我是不是应该转行机器学习?

    先说结论: 要不要转行,不妨先业余时间玩一把,看这个是不是真的适合自己,然后再去做决定。

    木东居士
  • 自动驾驶技术中的机器学习算法有哪些?

    如今,机器学习算法正大规模地用于解决自动驾驶汽车产业日益增多的问题。结合 ECU (电子控制单元)传感器数据,我们须加强对机器学习方法的利用以迎接新的挑战。潜在...

    机器人网
  • 【数据挖掘】详细解释数据挖掘中的 10 大算法(下)

    上一篇中作者解释了 C4.5算法、K 均值聚类算法、支持向量机、Apriori 关联算法、EM 算法,下篇继续解释 PageRank 算法、AdaBoost 迭...

    陆勤_数据人网
  • 业界 | 从集成方法到神经网络:自动驾驶技术中的机器学习算法有哪些?

    选自kdnuggets 作者:Savaram Ravindra等 参与:Lj Linjing、蒋思源 机器学习算法可以融合来自车体内外不同传感器的数据,从而评估...

    机器之心
  • 无人驾驶机器学习算法大全(决策矩阵、聚类、回归……)

    来源:机器人圈 作者:多啦A亮 本文长度为4600字,建议阅读6分钟 本文全面概述了无人驾驶现阶段使用的机器学习技术。 [导读]无人驾驶被认为是未来人工智能技术...

    数据派THU
  • 【数据挖掘】详细解释数据挖掘中的 10 大算法(上)

    在一份调查问卷中,三个独立专家小组投票选出的十大最有影响力的数据挖掘算法,今天我打算用简单的语言来解释一下。 一旦你知道了这些算法是什么、怎么工作、能做什么、在...

    陆勤_数据人网
  • 书单丨从0起步探秘算法世界 畅享编程之趣

    本书围绕程序设计典型算法,编织了一个扣人心弦又趣味横生的侦探缉凶故事。小说主人公运用高超的搜索技巧和精深的算法知识,最终识破阴谋、缉拿元凶,让你在愉悦的沉浸式体...

    博文视点Broadview
  • 盘点实际项目应用中的最佳机器学习模型

    关键时刻,第一时间送达! 作者简介:chen_h,AI 算法工程师,擅长利用 TensorFlow 处理 NLP 问题。曾任职蘑菇街(美丽联合集团)和 AI10...

    企鹅号小编

扫码关注云+社区

领取腾讯云代金券