作者:David Loshin
翻译:Eunice
来源:TechTarget
通过部署和使用大数据分析工具,分析流程可以帮助公司提高运营效率,产生新的利润,获得竞争优势。企业可选择的数据分析应用程序有很多。比如描述性分析善于描述已发生的事情,揭示因果关系。描述性分析主要输出查询、报表和历史数据可视化。
另外,更复杂的预测模型和规范模型可以帮助企业获得商机,做出影响市场战略,提升客户体验,避免设备故障的决定。在预测分析中,历史数据集有了预测分析,历史数据集可用于分析未来的状况和行为,规范分析承接预测分析,建议决策者采取某种行为。在很多情况下,先进的分析程序由于处理和数据存储的需求过高,限制了它的发展,但这些缺点也不是不可克服的。大数据平台和大数据分析工具的流行,让预测分析和规范分析也能通过扩展,处理来自广泛数据源的大量数据集。
本质上,大数据分析工具是能够支持运行在大数据计算平台上的预测分析应用程序和规范分析应用程序的软件产品。一般我们所说的都是基于商业服务器集群,可扩展的分布式存储和技术的并行处理系统,比如Hadoop和NoSQL数据库。这些工具可以帮助用户快速分析大规模数据,有时能做到实时分析。
另外,大数据分析工具提供了使用数据挖掘技术分析数据、发现类型、使用分析模型的框架,来认识和应对特定的数据类型,提高业务流程。例如,大量的运输数据,交通数据流,天气数据和供应商历史数据都可以用不同的数据模型来进行分析,用于优化特定地域内的运输线路,降低送货延误或损坏货物的风险。
大数据分析工具可以消化广泛的数据种类,包括结构化数据,比如关系型数据库中存储的交易数据,半结构化数据,比如Web服务器或移动应用程序文件,和非结构化数据,比如文本文件、文档、电子邮件、文本信息和社交媒体信息等。
下面来介绍一下大数据分析的厂商,很多厂商提供支持分析流程的大数据平台和工具,比如数据集成、数据准备和其他类型的数据管理软件。我们关注能够满足下列要求的工具:
另外,工具必须包含必备的一些功能,包括集成算法和支持数据挖掘技术,包括(但不限于):
这只是预测分析和规范分析的子集。另外,不同的供应商很可能提供不同的算法支持不同的方式。
高级分析工具市场随着时间发展不断进步,不同成熟度的工具类型都可选择。有些来自历史悠久的传统厂商,比如IBM、Oracle和SAS。也有厂商通过收购有一定历史的工具,增强实力,比如微软、戴尔、Teradata 和SAP。
一些小公司也提供大数据分析产品,包括Angoss, Predixion, Alteryx, Alpine Data Labs, Pentaho, KNIME 和 RapidMiner,有时公司会开发自己的算法。其他采用了开源算法R语言,提供预测模型和规范模型能力,或使用开源Weka项目软件。
第三类产品就是开源技术。之前提到的R语言就是一个例子,还有Hadoop下的Mahout软件,以及Weka。
在一些情况下,尤其是大厂商,大数据工具往往被打包到大数据套装中。其他情况下,大数据工具会单独出售。在后者,客户需要自己将工具和已有的大数据平台集成起来。大多数的工具都提供虚拟化界面指导分析流程,比如数据挖掘与发现分析,模型的判断和积分,与运营环境集成。在大多数情况下,供应商都提供帮助客户搭建和运行软件的指导和服务。
企业里的一些人着眼于探索设计新型预测性模型,另一些人关注将这些模型嵌入他们的商业流程中,还有一些人想要理解这些工具会给他们的业务带来什么整体变化。
所有这些角色通常都会在模型发展生命周期中共同合作。数据科学家将一套大数据集置于无目标分析的条件下,然后观察那种模式符合商业利益。在与业务分析师一起检查模型工作方式,并评估出发现的每个模型或模式对于企业存在何种潜在积极效应,企业经理和IT小组这个时候就需要介入,来将模型嵌入或将模型整合进商业流程,或者围绕该模型设计新流程。
但是从市场角度来说,考虑环绕大数据分析的业务种类是很有趣的。许多大数据技术的早期用户都是网络公司(例如,Google,Yahoo,Facebook,LinkedIn和Netflix)或者分析服务提供商。这些公司都依赖运行性和分析型应用,这些应用需要引入高速数据流来进行处理、分析然后将结果反馈以持续改善表现。
在更为主流的产业中,对于数据扩展的胃口也越来越大,大数据分析也在这些更为普遍的企业人口中找到了位置。在过去,大规模分析平台的成本因素使得只有超大型公司才能实现。但是,通用型主导的大数据平台越来越平易近人(如那些通过亚马逊网页服务实现的),而能实现大数据具象呈现的平台也越来越多,像Hadoop本地一样不需要大量投资,降低的准入门槛。此外,开放数据集和社交媒体渠道提供的救火管数据供给的可获取程度为与内部数据集相混合的大规模数据分析准备了原材料。
大型企业可能还是会选择高端大数据分析工具,但是低成本替代品在更加符合成本效益的平台上运作,使得中小企业得以评估和启动大数据分析恒旭,并取得预期的商业发展成果。
现在我们已经分析过了不同类型的工具和他们的用户,下一步就是要确定怎样用这些工具为公司谋利。看一看对于大数据分析不同案例下的使用,你就能开始理解如何权衡一般大数据分析能力来创造和增加价值。
END
版权声明:
转载文章均来自公开网络,仅供学习使用,不会用于任何商业用途,如果出处有误或侵犯到原作者权益,请与我们联系删除或授权事宜,联系邮箱:holly0801@163.com。转载大数据公众号文章请注明原文链接和作者,否则产生的任何版权纠纷与大数据无关。