大数据项目产品选型的五个建议

原创作者:曾勇,Elastic工程师。

数据如今对企业来说可谓是头等大事。使用欺诈检测来降低财务风险或是建设推荐系统来改善用户体验,都需要数据来为企业解决这些日益复杂的问题提供支撑。

既然数据已成为企业的重要元素,那我们这几年在数据这个领域都学到了什么?市面上有多种不同的软件模式,包括私有专属软件、云端SAAS软件和开源软件,因此,现在开展大数据分析项目时,开发者、架构师及数据科学家要在众多软件中进行选型,某些软件可能需要昂贵的前期投资或需要投入庞大资源,当然也有一些工具恰到好处,既容易部署又为构建原型(prototype)提供了广泛的支持。

寻找合适的工具对提高项目成功率及避免落入常见陷阱至关重要。以下为在大数据分析项目中进行产品选型的五个建议:

从简单的小规模起步

企业构建数据分析项目常见的最大错误往往是贪大求全。特别是如果项目是从上往下推,执行团队很有可能会被要求构建一套既没有明确成效却又十分复杂的解决方案,造成项目成本高昂且工期很长。 企业不如从规模较小的项目起步,让决策者很快可以看到成效,提升他们对同类项目的信心。利用现代化开源技术,企业不但不用作大量的前期投资,更可以让开发者迅速投入工作,在几天或几周内就能构建出所需的应用程序或是原型。

及早考虑可扩展性

即使只是构建一个框架,也应尽早测试其可扩展性。很多项目之所以失败,全因应用程序在构建时并没有测试其扩展性,也可能是因为其所选技术并不是为处理大数据而设计的。 确保性能测试不是事后的事。先预计在这段时间内将会产生多少数据,并进行测试和评估,构建合适的架构,同时确保当数据量增加并需要横向扩展时,也不会影响业务。

数据实时性很重要

我们都经历过应用程序或网站没反应或是缓慢的那种痛苦,时至今日,任何不能实时响应的事情我们都不能接受。如果有一个请求没有被及时处理,用户可能很快就会因缺乏耐性而离开该网站或程序,从而导致客户流失及营收下降。 企业要确保所用的软件不但能处理大量数据,还要有能力实时响应这些请求。建议使用具备聚和与地理位置分析功能且能与实时搜索相结合的数据分析软件。

采用灵活的数据模式

现今的系统主要包括结构化和非结构化数据。但不要被那些为结构化图表及数据而设计的关系型数据库所限制。这类数据库很难被加上索引,解析、搜索及分析这些日积月累的大量数据往往很难。 企业应采用具备通用数据结构的软件。很多用于数据分析的软件包括NoSQL数据库及Elasticsearch等均采用JSON作为数据格式,支持文字、数字、字符串、布尔值、数组和哈希等结构化和非结构化数据类型。

挑选开发者易于使用的工具

现今数据流量之多让企业或开发者在应对大数据分析项目时,很难去使用不包含开放API接口的软件。 API接口被用作数据录入、索引及数据分析,这些数据一般来自不同的数据源或是业务系统本身的数据。 企业应提供给开发者一套拥有丰富、开放及资料完整的应用程序API接口,让他们更快速有效地解决问题。久而久之,当项目壮大时,开发者亦能不断创新及改进这套应用程序。

总结

基于以上五点为大数据分析项目挑选最适合的工具,将有助改善项目的价值时间,并确保企业已为长远的成功作好准备。很多如华为、联想、BBC、高盛集团、英国卫报等大企业均已采用这方式,挑选如Elastic Stack这样的开源软件来解决其关键项目。只要方法正确,企业所需的数据分析其实可以很迅速、简单及划算。

原文发布于微信公众号 - 互联网数据官(internetcdo)

原文发表时间:2017-03-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏BestSDK

从SDK到应用,一文读懂指纹识别的“前世今生”

在互联网发展初期,人们发现商业的边疆可以被极大的拓展,我们可以跟某个素不相识的人在一秒以内完成一笔真实交易。但是,更多的机会也带来了更多的风险。很多在人们看来理...

17430
来自专栏ThoughtWorks

西安活动 | 第32届BQConf中国软件质量大会

如果你曾参与过ThoughtWorks 今年3月在西安举办的BQMeetUp活动,在引导者们手把手的教学下,你一定get到了不少干货吧?本期BQConf将承接上...

9710
来自专栏Java帮帮-微信公众号-技术文章全总结

【大牛经验】如何成为一名优秀的全栈工程师

如何成为一名优秀的全栈工程师 什么是全栈工程师 全栈工程师一词,最早出现于Facebook工程师Calos Bueno的一篇文章 - Full Sta...

37160
来自专栏DevOps时代的专栏

DevOps 实践的10个误区

? 译者:suren,本文由 DevOps时代高翻院翻译发布。 (下面的列表是基于我们的 CTO Rob Zuber 和 Andrew Homeyer 在 ...

29650
来自专栏云加头条

王琰:万物智联,腾讯云 IoT 边缘计算揭秘

本文整理自腾讯云加速产品总监王琰在2018腾讯云云+未来峰会上的分享,介绍了腾讯云如何助力加速物联网+,提供低门槛的一站式开发管理平台。

1.3K70
来自专栏我是攻城师

如何成为一名优秀的全栈工程师

42660
来自专栏架构之美

转转大数据平台从 0 到 1 演进与实践

15120
来自专栏云计算D1net

IDC转型成为云服务重要参与者

“云”是生活在数据中心的,依赖于数据中心存在。在当今不断变化的环境中,更多业务和数据放在数据中心,现在数据中心几乎被用于存储所有的东西。事实上,今天几乎所有的新...

26550
来自专栏ytkah

微信小程序与传统APP十大优劣对比

        随着微信公众平台的开放,微信端小程序涌现市场,带来很很多便利和简单的原生操作,询:微信端小程序是否会替代传统的APP应用?两者的优劣如何?我们一...

2.4K50
来自专栏北京马哥教育

业务运维部门的岗位价值 V2

业务运维部门有四个方面的岗位价值,按照实现的难易程度排序 效率 质量 成本 安全 效率 这是最容易实现,也是能够输出最大的价值地方。现在的竞争,更多的是 ti...

38740

扫码关注云+社区

领取腾讯云代金券