数据猿导读
在人工智能和大数据技术在实施过程中你可能会陷入三个误区:业务部门没有清晰的大数据需求和规划;企业内部数据孤岛非常严重;组织架构未能有效支撑大数据实施。这三个误区是最常见的,该怎么规避以上误区呢,在“中欧微论坛|数据猿·超声波”活动上,360大数据中心副总经理傅志华作了分享。
作者 | 傅志华
2017年2月16日,由数据猿、中欧商学院、腾讯直播共同举办的《中欧微论坛|数据猿·超声波》活动在中欧商学院北京校区圆满落幕。此次活动大咖云集,共吸引了600+人报名,并最终筛选出300+观众莅临现场,更有超过20000名观众收看了在线直播,开启了一场大数据、人工智能领域的头脑风暴,台上台下、线上线下共同畅想科技引领下的商业未来!
作为数据猿推出的主题为《大数据的2016,我的2016》2016—2017年度大型策划活动的一部分,在2016年底征稿期,活动就受到了100+大数据领域内知名企业的高度关注,收到了36位业内领袖的投稿,并入驻成为数据猿专栏专家。
以下是“360大数据中心副总经理傅志华”的精彩文字版演讲内容:
今天主要跟大家分享我十几年来在数据行业中踩过的那些坑,希望能够带给大家一些新的启发,在日后可以少走弯路。我们先从实际生活中的一个案例开始:
生活中的人工智能-多能看家能手
这是我们家的人工智能,为什么要装这个呢?因为有一天的凌晨三四点,我们家的红外线报警器突然报警了,虽然我练过武术,但还是有点害怕。然后我就拿着双节棍去每个房间和客厅包括院子里检查。虽然说艺高人胆大,但实际上这样做还是有点危险的。后来也没找到陌生人,我猜应该是小猫小狗把红外线报警器触发了,我就把角度稍微调了调。但这也不是办法,能不能让我的报警器变得聪明点?
这个问题怎么解呢?首先得让它有看得见的能力,至少得让它看得见,我用手机也可以看得见,这样就不用拿着双节棍到院子里检查。所以我就加上了360公司的智能摄像头。
生活中的人工智能-看家报警示例
加上以后,有一天我上班的时候它也报警了,收到一条信息,说我家里的门窗被打开了,我心里面也是有点害怕。看了摄像头传来的照片,最上面一张确实阳台的玻璃门打开了,有点紧张了。再一看,原来是老爸去晒衣服时把玻璃门打开了,所以还好。
又有一天报警器又报警,原来是客厅里的妈妈和孩子在活动时触发报警了,大家感觉是不是有点报警过度,还是不太聪明。怎么让它更加聪明呢?这个问题又怎么解?所以这就是接下来要谈的大数据和人工智能,我们需要这个摄像头每天采集我们家里所有跟人相关的图片。
单单只是采集还远远不够,这一点大家要了解人工智能现在做到什么程度了?比如给它很多图片,但分不清谁是谁?你需要给它标记,比如这张照片是妈妈,这张照片是爸爸,这张照片是孩子,标记的越多,它的训练集就会越大,它识别图像里面的特征就会越准确。然后就可以去区分家里面的家人,其他遇到一些非家人的照片,它就认为陌生人,这时候报警就会更加准确。这是现实中已经发生在实际生活中的人工智能案例。
我希望通过以上的案例让大家了解到,人工智能是怎么工作的?需要什么样的材料?
除此之外,我再举一个洗衣机的案例,未来的洗衣机会很聪明,它会用对话的方式跟你交流:
洗衣机:主人,我肚子里面已经有黑色的裤子,白色衬衣尽量不要放在一起洗。 主人:好的,请帮我分开洗涤。 洗衣机:没问题。
上面的场景用到了什么技术?图像识别、语音识别和语意理解。
我们再看一个场景:
洗衣机:主人,现在是秋天,而且明天阳光充足,建议您不要选择烘干啊,可以省省电哦。 主人:好的(在南方很多人都会选择烘干洗,因为衣服不太好干)
这里面用到什么大数据技术?数据打通很重要。因为洗衣机把天气预测的数据打通了,如果洗衣机没有这个信息,它就不会那么聪明。
我们再看下一个场景:
洗衣机:主人,您这件衣服今年已经洗了100次了,最近这个品牌在打折,您是否考虑买一件新的? 主人:呵呵哒,可以有……
这就是大数据产生新的商业模式,这个将来肯定会发生在我们身边。
洗衣机:主人,您平常洗衣服的时候一般都会看《康熙来了》,电视马上要开始了,我帮您打开电视吧
它为什么有这个动作,因为它知道你这个习惯。因为这个企业把洗衣机的数据和电视的数据关联打通了,它才能够分析出这个习惯出来,所以这就是打通的魅力。当然这里面也有图象识别的技术,有可能它会滞后,如果你数据库更新的不及时,你会发现原来《康熙来了》已经停播了,这是数据没打通好。
主人:好啊,你太聪明了! 洗衣机:跟主人比我可是差太远了,您可是人工智能的博士呢!
大数据和人工智能的关键技术
它为什么知道你是人工智能的博士啊?这就需要大数据来做用户画像,才会有你的信息。所以从这个生活的案例,大家应该有一些感觉,大数据在实际应用中需要什么样的技术?
我们看右下角,这是我们刚才提到的人工智能博士,包括你看电视的行为,洗衣服和看电视是并发的。然后我们会看到上面这些动作分析的技术,包括图像识别、语音识别、语意理解、深度学习等等,由于时间关系这里我就不展开讨论了。
大数据在实施过程中的三个误区和发展策略
今天跟大家重点强调的是,在这些技术实施的过程中你可能会陷入三个误区,而且是也最常见的。(我做大数据这么多年,也被坑过很多次)
第一,业务部门没有清晰的大数据需求和规划。业务部门不知道大数据有什么用?更不知道具体在什么场景里能用到大数据?所以技术团队、大数据团队就很难办了,它只能去学习、研究、探索,但是产出有可能会不明显。
第二,企业内部数据孤岛非常严重。咱们回去看看企业不同业务部门的数据库都是独立工作的,跨部门想看个数据都非常难。
第三,组织架构未能有效支撑大数据实施。这三个最常见也是最难的问题怎么解?
我们有两点建议:第一做好数据的业务规划,第二调优组织架构。
具体怎么做呢?先看第一点,我们先找到应用场景来解决这个问题。举一个反面例子,这个反面例子有可能会导致企业在实施大数据的过程中会失败。比如你挖一个大数据领域的牛人组建大数据团队,你就会发现,老板会说你们自己去研究吧,反正你很牛,你去研究,看看大数据如何能帮助企业成长?往往这种情况就会失败。
因为企业做了一年发现,等你报产出的时候,发现老板也听不懂,也很难衡量你的产出。你跟他讲一些你在深度学习上的探索和研究,包括图象识别的准确率,语音识别的准确率提升等等,他会疑惑,这对我的业务有什么帮助?
为了避免这种情况,所以我们应该反过来做,先从结果出发,从应用场景来看,大数据能帮我做什么?这个是需要企业的领导人、业务的负责人和大数据专家三方去认真的探讨和规划。需要基于企业的现状和企业未来两到三年的发展规划,在这个大框架底下去看,大数据在哪些应用上对我的发展规划是有帮助的?要么提高效率,要么提升业绩,就这两方面。
规划完,确定应用场景之后,再去看数据模型怎么建?产品怎么建?再看基于我这些应用场景,需要做什么样的数据?如果数据不够,再去看和外面合作或者交易什么样的数据?是这个思路,否则就会陷入误区。
企业应用场景的金字塔模型
既然应用场景那么重要,在企业里面应用场景都有什么?我们可以看一下,这是我总结的目前比较常用的大数据在企业里面的金字塔,应用的金字塔。
最底层,就是我刚才说的数据基础平台,这个数据基础平台大家要理解,非常重要。是把客户的数据形成客户画像存在公司级的数据仓库里面。就像前面说的,只有做了这个工作,洗衣机才会知道你是人工智能的博士。所以要先把这个基础打好,跟炒菜一样,先把料准备好。
再来看应用层,第一层包括产品研发,一方面可以提升产品研发效率,另外是现在比较热的个性化的产品研发,通过规模化的手段实现个性化的定制,个性化和规模化貌似是相对的,在做个性化生产和个性化产品时候,我的生产似乎是不能够规模化的,但是现在可以做,有案例。
第二方面,通过大数据监控异动,比如大家最关心的KPI,互联网企业可能每天都关注。假设你的KPI下滑了之后,你能不能快速发现,发现以后要定位,问题出在哪里,这是大数据要努力的方向。这样做决策就足够简单了,我通过看一个可视化的图,就知道原来这个点出问题了。如果你不能快速知道,几个月才发现这个问题,有可能会导致很多的损失。
再上面,怎么做客户体验的优化,智能客服,包括精准营销、战略分析、市场分析等等很多方面,如果全展开讲,估计两到三天才能讲完。时间关系,今天就不展开了。
应用场景示例:客户生命周期的六个阶段
我再说一个大家可能都关心的话题——客户管理。企业就通过客户的收入支撑着企业的运转,我的客户管理怎么通过大数据支撑?在这我跟大家介绍了是基于大数据的客户生命周期管理,这个方法要解决两个方面的问题:
第一个问题,客户价值的计算和预测,能不能通过大数据的手段去精确的计算每个客户的价值,现在的价值和未来的价值,这样你才有一个很好的基础做客户的VIP管理,这是基础。
第二个问题,能不能做客户生命周期的识别、分类和预测。我问一个问题,大家可以举手表示。你们回到企业里面,随便挑一个客户出来,能不能清晰的看到这个客户的状态?状态的意思是说有可能这个客户过两天就跑掉了,但现在还在,你能看到吗?能看到举手,好像不到1%。
然后就是,你能不能看到你这个客户处于磨合期,他现在磨合的不爽,你要引导他,可能不知道。或者说你知道这个客户现在处于成长期,他特别兴奋,跟谈恋爱一样,属于蜜月期,能不能趁热打铁多卖几个产品?那就是交叉销售,能不能通过他的行为、爱好做精准的关联推荐和个性化推荐等等,这是要解决这个问题。所以这是我举例的,怎么通过大数据做客户生命周期管理的缩影。
合理的大数据组织架构和团队
刚才说的解决方案是组织架构的问题,这个是非技术的问题,但是它很重要。这里面有两个负面案例,估计现在很多企业都是这种架构的。
第一个是什么呢?上面这个组织架构一,每个事业部里面,或者每个部门里面都有数据团队,大家觉得很自然,没什么问题,它的问题在于什么呢?数据各自为政,可能不同部门的数据仓库标准都是不一样的,没法做关联,数据资产就流失了,因为没关联在一起。
第二种案例是什么呢?所有数据都放在一个中央级的数据部门里面,进行集中化管理。这种结构有什么问题?距离不能产生美吧,业务部门觉得你这些数据部门高高在上,也不了解业务,你们天天就是一个存储部门,数据就变成存储部门,发挥不了价值,所以这两个组织架构是最常见的。如果你真的要实施大数据,组织架构至少需要一些微调。
首先要设立一个中央级的数据部门,第二是每个事业部里面都有数据团队,他们分工是有差异的。中央级的定位更多是数据的整合、公司级数据产品的建设、平台的建设、计算能力的建设等等。事业部门更多考虑,公司级大数据资产怎么在业务部门怎么快速响应业务需求,推动业务的发展。
当然还有一个很重要的角色是CDO,他管这个大数据部门,能够向老板汇报,这样一方面可以让大数据在决策层发挥威力。第二方面,刚才我说了大数据整合有很多部门层,如果level不够高的话,很难推动。这是我十几年来的工作感悟,用20分钟的时间给大家汇报一下。
最后,快速的跟大家总结一下我们的建议:
第一个,尽可能获取相关的数据,越多越好。
第二,从战略上做好规划,切入有利于业绩提升的场景,做助手而不是取代人,它的定位是助手。
第三,集中+分布式的策略。
谢谢各位!