大数据处理:云应用应具备哪些特征?

在波士顿大数据创新会议上的一个对话会上,IBM云数据服务事业部产品开发副总裁迈克·奥罗克(Mike O’Rourke)表示,所有四个特性,包括在论证中的数据所有权的问题,在推动业务敏捷性上都各自扮演着一个重要角色。大部分现代云应用处理的数据都来自外部资源,在使用前必须清理。

“开发团队必须敏捷,这样他们才能迅速反应,提供应用程序的快速更新。”他说。“这意味着,在处理大数据时,你必须有不同的思考方式。”虽然奥罗克(O’Rourke)并没有过于发挥到引用阿甘的“生活就像一盒巧克力”的格言,但他明确表示,当应用程序收集、处理和存储大数据时,你永远不知道会得到什么。因此,基于云的应用程序的设计必须足够灵活,以保证无论遇到何种数据,运行不间断。

奥罗克解释4个V的概念。他说,首先,高容量是最主要的。因为云和移动应用需要处理交互的数据量,不论是事务型数据还是流数据,正从TB级到PB级飞涨。

多类型是说,应用程序必须能处理结构化和非结构化的多种形式的数据。视频数据是非结构化的,但应用程序必须了解其内容。奥罗克解释,“如果你是一个广播公司,你不希望在有许多人丧生的严重车祸的影片后,广告出现说,买一辆雪佛兰车吧。这两者放在一起违和。”

高速度,或者说动态数据,正变得越来越重要,尤其是在数据容量突飞猛进的现实情况下。奥罗克说,“物联网通过传感器收集的和社会化的海量数据,正向我们涌来,你的应用程序必须能够提供实时决策。” 收集数据供以后分析或处理的概念已经过时了,他补充道。

准确性是指在处理的数据的可靠性各异的情况下(这被称为数据的不确定性),应用程序需表现出灵活性。奥罗克举例,电池没电或突然失去通讯联系时,健身设备和手机传来的数据可能突然中断。“你的应用程序能处理这样的突发情况吗?”

传统上,无论是零售交易、工厂车间的工艺控制,或是保险的保费和效益跟踪的案例,企业都是自己收集数据、自己处理。但云时代世界不一样了。奥罗克说,“当构建应用程序或做应用分析时,可能遇到的情况是,不论你在哪间公司,大部分需要处理的数据都不是公司自己拥有的。

他举了一个批大学工程专业学生夏天在IBM实习的例子。这些学生为纽约市搭建了一个应用程序,用来精确定位不安全道路的位置。学生们利用的数据包括机动车交通事故、天气、日出、日落、空气的湿度、道路是否湿滑、道路指示牌和道路标志的地理空间信息等。所有的数据都是公共数据,来自公共领域。

在几个星期内,这组学生创建了一个应用程序,标识了需要维修或重新设计具体道路的地点,司机可能会受益于更早展示警告标志的地方,和交通信号需要改变的十字路口。

“因为大部分需要处理的数据不是你自己拥有的,所以我可以提供给开发人员的最好建议是:在检视和分析数据之前,必须有必要对数据进行清理、标记和储存。” 奥罗克总结说。

原文发布于微信公众号 - 云计算D1net(D1Net02)

原文发表时间:2016-01-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏JAVA高级架构开发

过了技术面却在HR面被刷?必备40问!从容应对HR,斩获N多大厂offer!

“当时技术好,但就是不会面试。”朋友公司一高级程序员摸着锃亮的光头,喜欢和刚入行的程序员讲以前的故事。

8100
来自专栏吾真本

Release It! 第2版中译稿试读:赞誉、致谢、前言及第1章生产环境的生存法则第2版赞誉致谢前言第1章 生产环境的生存法则

迈克是软件行业最深刻的思想家,也是最清晰的沟通者。与第1版相比,第2版不仅同样文笔优美,还用现代技术对内容进行了扩展(最显著的是持续部署、云基础设施和混沌工程)...

881
来自专栏PPV课数据科学社区

【经典好文】揭秘我所知道的网站分析

因为上一家雇主的缘故(国内Top2的专业数据分析公司),常会有很多电商的朋友来问我,到底网站分析(WebAnalysis,以下简称WA)是什么,有什么用,有没有...

2986
来自专栏java一日一条

关于软件开发你真正需要知道的几个事情

我之所以写这篇文章是因为有一个朋友最近决定跻身软件工程行业。我的这位朋友聪明,精力充沛,品貌兼优,又善于学习:每个人都认为这样的人才必将有一番作为。但是,在踏出...

821
来自专栏PPV课数据科学社区

【推荐】如何一步一步制作出高品质数据信息图?

译者注:Infographic就是 information+graphic的组合,透过图像的力量让生硬的数据显出趣味与生命力,也让读者可以轻松的理解并在脑海中留...

2624
来自专栏杨建荣的学习笔记

最近处理的一些技术难题的感悟

我从自己的实践来说下对于一些技术难题的思路。当然不同的人对于“难”的定位差异很大,对我而言,难主要在两个地方:一个是自己不熟悉的技术方向或者具体的技术,...

1023
来自专栏分布式系统和大数据处理

非暴力沟通

知道这本书是一次在和朋友跑步时听她提起,因为我有去京东上面看图书畅销榜的习惯,无意中又看到了这本书,朋友正好看完了,就借来读一下。

1314
来自专栏行者悟空

架构之路(一):目标

1504
来自专栏互联网杂技

专业科班的答案!一个完整的交互设计流程是怎样的?

编者按:初学交互设计的新人,因为没有做过任何的设计项目,所以不知道整个交互设计师的工作流程会有哪些内容,今天这篇文章请了专业科班出身的设计师来科普他们在实际项目...

38812
来自专栏程序员互动联盟

从学生到程序员

还未毕业就在百度实习了,两年多的磨练,有被磨平的棱角,也有精彩的收获;谨以此文献给在百度并肩奋战两年多的兄弟姐妹们。忘不了离职日那场特殊的告别午餐;忘不了这两年...

3125

扫码关注云+社区