峰会演讲嘉宾李御玺：数据分析人才培养之道

谢谢主持人，谢教授、各位专家，大家好！

现在我给大家介绍一下数据分析人才的知识结构，事实上这两天的论坛，这两天的演讲，要做数据分析的人他应该具备哪一方面的知识和能力，介绍这方面的专家已经很多了，我把这几天讲的综合起来。

到目前具备数据分析能力的人相当缺乏，这是我从另外一个报道里面统计的，据麦肯锡预估全美需要14到19万名具有专业能力的工作者。数据挖掘结束以后，他如何通过数据挖掘的结果来进行营销和风险控制，这方面的人缺口更多。根据全球数据科学调查报告，显示数据报告性的增长，但是分析增长增长的速度却没有改善，速度增长很快，但是人才增长有限。在未来五年内会有人才的荒。

这项调查涵盖的范围包括英国、美国、德国和中国大陆。有的调查是针对美国的，有的是针对欧洲的。它的涵盖范围比较广。所以以上的调查结果反映出全球各地迫切需要大数据人才，尤其在未来几年之内，人才的缺口恐怕会越来越多。

另外，根据Information Weeek在大数据人才争夺战趋势报告中指出，企业对大数据人才需求日益增长并展开新的工作职称。一般来讲，我们在求职人才的网站应聘，好像很难找到工作。很多演讲者讲到，其实数据分析师分布在市场各个领域里面，一直没有适合他的工作。所以数据科学家是后来提出来的新名词，希望大家将来要找的数据分析师，可以在人才网站上找数据科学家。

数据科学家他不再局限于理工背景，一个完备的数据科学家需要具备哪方面的知识。大家在网络上应该可以找到，这是IBM的首席架构师，把数据分析人才认为需要具备的能力有哪些，比刚才讲三大领域又更细，他们切成十项技能，这是完备的大数据分析人才，它从开始到结束，中国经过很多站，每一站都是你必须要学习的。可以看出来这是很惊人的，也是很可怕的。包括一些跟数学相关的知识，接下来是跟统计相关的，然后是跟编程相关的。因为我们做分析的时候会用很多工具，这些工具都有一个基本的假设。比如说数据量大到一个程度，我们可以通过编程的方式来对数据进行处理。当然处理完以后，接下来这个工作可以交给工具来做。有时候工具有一些局限性，这时候我们要看跟编程相关的能力。如果你不是计算机的，也必须要学一下编程，将来你才不会在某些地方感觉到困难。这是我个人的感觉，因为我对一些工具都不是很熟悉。

这些软件我个人的使用，各有它的优越的地和擅长的地方。因为我之前做到某个地方发现好象有点捉襟见肘，有些软件在这个部分确实没有另外一个软件来的好。最近几年我开始用觉得还不错，最多学习下面的分析软件，编程方面你最起码要学一种，当你遇到问题的时候可以用其中的一种来解决。

我们大量套用工具和套用现成的软件，当你发现有些问题是当今工具没有办法解决的时候，你必须要懂得原始的算法，它的基本原理是什么，为什么它没有办法解决这个问题，你甚至可以改变原来的想法，想出一个新的办法。我们也经常在做，来解决目前工具没有办法解决的问题，我们要有比较强的背景，因为没有一个算法是完美的。大家不要觉得，即使在这里解读也是非常难的，他是用怎样的逻辑在做这样一件事情。你做这个项目配合它的时候，你要把关键不好的地方找出来，这时候我们会觉得相当困难。

第五个必须要有文字勘探的技能，大家都听到在大数据，如果你没有文字勘探的技能，将来会遇到困难。另外就是数据可视化，你做完数据怎么样去呈现，一个好的视觉化在你展现高端的时候，现在我们遇到的最大的问题常常产生报表一大堆，这样的话没有办法看。但是视觉化其实做的更好，如果是这样一张可以取代三十张报表，为什么不告诉我这样的东西，以后报表统统改成这样的状态。我再拉一张图就可以看到，所以说这是视觉化的重要性。

跟大数据相关的当数据量很大，比较多的时候，我们怎么样处理大数据。因为当你分析数据量很大的时候，你按下去可能要等很久才能出来，当你按下去半小时才会有第一个回应，你的思绪没有办法连贯。所以大数据的量非常大的时候你怎么做。

接下来是跟数据截取和数据转换有关的，最后就是跟工具类相关的。所有的东西你都要自己来的话，要做语义分析、情绪分析，现在在全世界都还是很难的一个事情。你怎么知道它是正面的还是负面的，这些都很难。如果你能够通过一些工具，其实是可以加速学习的部分。比如说我个人的经验，有些东西你必须要深入了解，可以的话你尽可能去了解。每次做的都是以失败开始的，这个时候你怎么样让不好变成好，这个才是你成功了。

这个时候你要从你分析的每个环节一个一个去讲，到底是哪个环节出了问题，在想的过程里面，出来的结果不对，你也连调参数的能力都没有。所以基础能力越好，当你遇到问题的时候你才有解决问题的方法，你才能出来，这是IBM的首席架构师，他认为合格的大数据分析人才应该具备这几项技能。

如果你揭开大数据的话可以分为这三个阶段，一个是大数据的品牌与管理。

第二层是大数据的储存云处理，大数据要怎么存，一个是怎么管，一个是怎么存，这里特别强调SQL，做大数据的储存。之前我也没有太大的感觉，至少我在处理三亿五千万笔交易数据的时候发现真的是（英文），没有办法在里面处理这么大的数据，三亿五千万交易数据汇入到（英文）里面花了整整十个小时，那我还怎么分析。实际上数据部不仅仅处理数据，还有很多东西，数据的安全性，数据的权限，我们用一个编程的方式处理好几亿的数据，我不单读数据，还处理数据，五分钟处理完毕。最重要的是大数据分析，大数据的核心是最后一个阶段，你要找到合格的人必须具备这么多相关的知识。当然这些不是你要全部学的很透彻，哪一个部分要学的比较透彻一点，哪一个部分我要知道一点就可以，这些都要知道。你要学到从一到十的相关技术，从大数据的平台与管理储存到大数据的应用，我们各个水平里面老师们都会针对相关议题来做比较正规化的教学工作，把它对应到三个阶段。这是详细CDA的理论基础，它需要你会什么软件等等，大家有兴趣可以看一下。

我这里要特别强调一点，除了这些技术之外，一个合格的分析人员除了技术之外还要有热情，这几天不少演讲者，像谢教授，一直在跟我们叮咛，一定要热情。如果你看到数据很烦，那就放弃吧。做这个不是为了要求高薪，你必须要对数据有热情，看到数据就想要去分析它，这个就是你的热情。例如说你现在看到一些高仓分析，经过高仓，商务仓、头等仓我都会分析一下到底谁在坐商务仓、头等仓，你如果经常做这一类分析的时候，你本来不太关心的东西你现在会变得非常关心，而且你会非常注意，原来搭高仓人的图像在你的脑海里就有，将来你再做分析是非常有帮助的，你实时都在关注你周遭发生的一些事情，实际上你也是在收集大数据，收集到脑袋里面，经过转化再做分析的时候对你是相当大的帮助。所以我说除了技术之外你还要有热情，还要有解决问题的冲动，你要一步一步把每个环节搞清楚，到底错的地方在哪里，一旦你把这个问题解决之后这个就变成你的功力，而且是别人学不来的功力，你解决了不同类型的问题，这个问题会转化成你的内在功力，技术是一项，但是热情跟想要解决问题的冲动也是非常重要，更加重要。

CDA这几年发展还不错，我们最近也要跟谢邦昌教授的中华资料采集协会形成联盟，到时候我们会共同办研讨会，出书、培训等等方面的合作，甚至之后证照的承认，这样的话可以把中国台湾跟中国大陆这两边，因为中国台湾是谢教授主持的中华资料采集协会，我觉得证照本身不是绝对重要，主要是你有没有学到东西。但如果你把这两个证照拿到，在大陆就能扩大它的影响力。我今天先报告到这里，谢谢大家。

主持人：谢谢李老师。李老师刚刚提到证照不是最主要的，其实我们除了数据分析是技术也是艺术这句话外，我们还有另外一个口号叫真本事新舒适，其实也挺好的。包括我在台下看李老师讲的时候，看的特别入神的时候，时长会跳到中国台湾综艺节目里面去，但是又赶紧跳回来，毕竟是李老师在讲课。我不知道他上课的时候学生会不会有这种感觉，我始终觉得特别舒服，尤其是谢教授和李老师能够参与到我们的峰会，包括和我们经管之家合作，中国大陆跟中国台湾的这样一种合作，共同推广数据分析行业的发展，也是意义深远的。不仅仅是从数据分析行业来说，从祖国统一的角度这也是非常意义深远的，掌声鼓励。（via：人大经济论坛）