数据挖掘工程师必备的技能有哪些?

本文将专注于数据挖掘领域,并总结需要的10个基本技能。

01

编程/统计语言

R,Python,C ++,Java,Matlab,SQL,SAS,shell / awk / sed…

数据挖掘在很大程度上依赖于编程,根据KD Nuggets的研究,R和Python是数据科学中最受欢迎的编程语言。

02

大数据处理框架

Hadoop,Storm,Samza,Spark,Flink

处理框架对系统中的数据进行计算,可以将其分为3类:仅批处理,仅流处理和混合。

03

操作系统:Linux

Linux是一种流行的操作系统,对于操作大型数据集而言,Linux更加稳定和高效。

04

数据库知识:关系数据库和非关系数据库

要管理和处理大型数据集,必须具有关系数据库的知识,例如SQL或Oracle,或非关系数据库,其主要类型为:列如Cassandra,HBase;文件:MongoDB,CouchDB;关键值:Redis,Dynamo。

05

基本统计知识

概率,概率分布,相关性,回归,线性代数,随机过程,相关,回归,线性代数,随机过程…

统计的基本知识对于数据挖掘者至关重要,它可以帮助您识别问题,获得更准确的结论,区分因果关系和相关性以及量化发现结果的确定性。

06

数据结构与算法

数据结构包括数组,链表,堆栈,队列,树,哈希表,集合等,而常见的算法包括排序,搜索,动态编程,递归等。

精通数据结构和算法对于数据挖掘至关重要,它可以在处理大量数据时为您提供更具创造性和效率的算法解决方案。

07

机器学习/深度学习算法

机器学习算法可建立样本数据的数学模型,以进行预测或决策,而无需进行明确编程即可执行任务。深度学习是更广泛的机器学习方法家族的一部分。

08

自然语言处理

NLP被广泛用于分词,语法和语义分析,自动摘要和文本包含。对于需要处理大量文本的数据挖掘者来说,了解NLP算法是必不可少的技能。

09

项目经验

项目经验是您数据挖掘技能的最省力的证明。

10

沟通与表达技巧

数据挖掘者不仅处理数据,而且还负责向其他人,甚至是非技术受众,例如营销团队,解释从数据中获取的结果和见解。您应该能够以口头,书面和陈述的方式很好地解释数据结果,讲故事。

本文分享自微信公众号 - 加米谷大数据(DtinoneBD)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-09-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

悉尼科大徐亦达教授:1000+页机器学习讲义,32 份主题推介

悉尼科大徐亦达教授近日在GitHub更新了他2019年以来的机器学习新材料,超过1000页的讲义,总共涵盖 32 个主题。

14830
来自专栏ATYUN订阅号

(PyTorch)50行代码实现对抗生成网络(GAN)

2014年,蒙特利尔大学(University of Montreal)的伊恩•古德费洛(Ian Goodfellow)和他的同事发表了一篇令人震惊的论文,向全...

13320
来自专栏相约机器人

NeurIPS 2019:国科大提出新一代通用物体检测方法FreeAnchor

中国科学院大学联合厦门大学和深圳鹏城实验室,提出一种自由锚框匹配的单阶段(One-stage)物体检测方法FreeAnchor。

15720
来自专栏相约机器人

【Github】ML-NLP:机器学习、NLP面试中常考到的知识点和代码实现

此项目是机器学习(Machine Learning)、深度学习(Deep Learning)、NLP面试中常考到的知识点和代码实现,也是作为一个算法工程师必会的...

19630
来自专栏数据派THU

IEEE最新薪资报告 | 手机开发者年入153万,机器学习并非最高

有趣的是,在这份调查了 8800 余人的报告中,我们得到了一些出人预料的结论:在北美工程师的行列中,收入最高的是开发智能手机和手表相关产品的那些人——他们的年收...

12020
来自专栏ATYUN订阅号

语言生成实战:自己训练能讲“人话”的神经网络(下)

在昨天的学习当中,我们了解了培养一个会说话的语言生成模型所需要的如何创建数据集这一模块,今天我们继续学习构建语言生成模型。

7630
来自专栏斜述视角

互联网新闻情感分析

赛题简介:“互联网新闻情感分析”赛题,是CCF大数据与计算智能大赛赛题之一。对新闻情绪进行分类,0代 表正面情绪、1代表中性情绪、2代表负面情绪。(赛题官网h...

57130
来自专栏MixLab科技+设计实验室

机器学习VS动量、反转效应,量化交易1

这是2018的一篇论文《A Machine Learning View on Momentum and Reversal Trading》的观后感。作者探索并比...

11020
来自专栏ATYUN订阅号

使用Tensorflow Lite在Android上构建自定义机器学习模型

机器学习有许多用处,并提供了一个充满未知性的世界。然而,有些人可能会退缩,认为它太难了,其实并不是这样的。使用TensorFlow Lite并不一定都是机器学习...

13130
来自专栏新智元

NeurIPS 2019:国科大提出新一代通用物体检测方法FreeAnchor

中国科学院大学联合厦门大学和深圳鹏城实验室,提出一种自由锚框匹配的单阶段(One-stage)物体检测方法FreeAnchor。

14340

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励