实时数据分析:未来之路

即使商业世界仍在处理如何充分利用来自各种不同客户接触点的业务以及交易和相互作用产生的大量数据的问题,我们也看到了另一方面数据的曙光 ,即实时流数据 ,如果不是更多的话可能具有与存储和历史数据一样多的价值。

但是一些至今没有使用大数据分析的人会说,这是一个没有实现的愿景。这是由于经验证的使用案例数量较少,而最好的结果是显而易见的,而且还有很多事实在我们看到一些真正的价值之前完成, 实时流数据似乎对商业和普通用户有很大的保证。

实时分析的使用案例

许多行业和活动可以通过实时流处理得到很大帮助。这种情况很快就从管理已经生成亦或是很久以前的数据转变为处理连续的数据流。如果企业可以像从传感器(GPS,温度),相机,新闻源,卫星,股票代码,网络爬行,服务器日志,Flume,Twitter,传统数据库甚至Hadoop系统等各种数据源流入数据一样快速,那么它可以被证明是一个商业决策工具,可以提高业务绩效。

话虽如此,每个行业都会有独特的实时数据分析使用案例,使管理层或负责人员当从风险数据中产生的信息中发现风险和机会时能够立即采取行动。实时数据分析具有实现优化决策的潜力,促进对关键事件更快速的响应,并且通常提取要点,从而大大提高业务洞察力。更重要的是,由于大多数的见解都可能是可操作的,主要是因为它们实时捕获,所以利益相关者可以看到业务发生的情况。

  • 医疗保健和生命科学:
    • ICU监测 - 有效的监督能够主动和及时关注处于重症监护的患者。
    • 远程医疗监护 - 这在远程医疗监护方面也非常有效,可以轻松获取并了解患者的病史,从而确保他们适时得到适当和优质的治疗,从而也可以减少不必要的成本。
    • 临床试验和医疗设备数据 - 仪器数据流分析可能指向不寻常或令人不安的行为或揭示未知的方面,可用于更好的诊断和治疗。换句话说,它也有助于检测疾病的早期征兆,确定多个患者之间的相关性,并计算被给予的治疗的疗效。
    • 流行预警系统 -实时传感器数据分析可以作为预防和准备的预警系统,帮助检测可能爆发的流行病。
  • 保险
    • 欺诈识别
    • 更好的案例管理
    • 政策登记过程中的易感性检查
    • 政策绩效评估
    • 更好地预测未来事件,并相应地设计、开发和提供产品
    • 细分为合适的产品价格组合
    • 基于当前销售趋势的销售预测分析
    • 尽可能的预测未来,实时筛选出不需要的被保险人

  • 电信提供商可以深入了解客户行为,向其客户提供定制和相关服务(例如,基于位置的服务,优惠或建议等),并通过跟踪移动会话,分析使用情况、偏好、趋势等来实现忠诚以及惠顾。这有助于实现许多其他功能,例如改进的计费,提供的服务质量,安全性和防欺诈。
  • 能源
    • 智能电网是能源领域实时数据分析的一个经过验证的用例。更多的使用案例将在适当的时候发展,为一个非常节能的世界做出贡献。
    • 预测特定条件下设备的行为
    • 检测许多设备的阈值水平以减轻故障(状况)的影响
    • 通过对勘探和生产数据的实时分析,降低在现场的人员的风险

  • 电子商务
    • 客户分析
    • 建议
    • 社交媒体情绪分析可用于损害控制或纠正方向。

  • 运输
    • 通过GPS实时跟踪
    • 智能交通管理,在繁忙时间缓解繁忙路线的拥堵
    • 能够连接车辆进行即时和自动远程信息处理

  • 投机市场
    • 情绪分析
    • 动量计算器
    • 天气对股市和股价的影响
    • 超低等待时间的市场数据分析。

  • 执法
    • 智能警务(传感器,已安装并与中央云数据库连接的CCTV摄像头,牌照识别,语音识别,已知犯罪嫌疑人和罪犯的GPS跟踪等)
    • 监视发现不寻常的活动或行为或事件,以便更快更及时地做出决策,既可以预防也可以减少犯罪事件。
    • 刑事侦察
    • 监测执法部门与公众之间的互动
  • 技术
    • 网站流量分析和参与度(大多数浏览过的页面,花在页面上的最长时间,访问者行为,用户导航模式等)
    • 分析移动应用程序的下载、会话、偏好、交易、使用模式等,以便有效地进行客户分析和设计服务,从而更好地服务他们

实时数据处理的挑战

处理流式传输的速度是一项艰巨的任务,因为实时事件/事务/交互所产生的数据以每秒数百万事件的速率流入,并且需要由系统收集。即使在收集数据时,系统也应该足够健壮并且能够并行处理数据。然后执行事件关联的复杂任务,以便能够从数据中提取有意义的信息。就好像这已经不是令人生畏的事情了,所有这些都需要以容错和分布的方式进行 , 这意味着为此目的而采用的系统应该是低延迟的,从而能够实现更快的计算,从而便于更加实时地响应事件。

如何去做

为了解决这个复杂的需求,必须使用一些工具的组合。Apache Kafka用于收集数据流,通过Apache Storm或Apache Spark(基于系统需求)路由到HIVE / HDFS,然后允许分析引擎提取洞察信息并将其发送到仪表板。

它如何能够简单地完成

来自包括Web抓取数据,传感器数据(GPS,温度传感器),服务器日志,Flume或Twitter在内的任何来源的数据都会暂时收集并存储在卡夫卡群集中,其中按照Zoo-Keeper-> Broker-> Topic机制执行。然后,它会通过Storm或Spark Streaming发送到HIVE / HDFS,后者会进一步发送到分析引擎(例如SAS VA)进行处理 -。所有这些都是实时发生的,并推送到仪表板供用户评估事物和行为。

最终,为了能够从任何实时数据分析中获得最大的收益,人们可以想象企业绝对需要有能力的人。大数据中经过验证和展示的能力是选择分析合作伙伴的起点。然后,合作伙伴熟练掌握工具、技术和机制使实时数据分析真正有效。最后,合作伙伴应该通过广泛接触各种垂直行业反映出对各自业务及其复杂性的深刻理解。

因此,选择具有这些特点的合作伙伴会达到事半功倍的效果。把另一半留给技术合作伙伴来负责!

总结:对于许多与终端用户有着众多接触点的企业,以及负担公共福利和安全责任的国家机构,每一秒钟都是一个决定性时刻。如果他们能够即时了解正在发生的事情以及可能发生的事情,他们的努力将会更加富有成效。实时数据分析为他们提供了获得这种能力的选择或者更多!

本文的版权归 一零 所有,如需转载请联系作者。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯数据中心

互联网数据中心运营发展及实践

Kenny: 各位领导、各位专家、各位嘉宾,大家下午好! 先自我介绍一下,我叫郁智华,在腾讯负责数据中心运营工作。非常高兴今天有这个机会能够向在座各位嘉宾、领导...

44012
来自专栏机器之心

业界 | Stack Overflow 2018开发者调研结果公布:DevOps和机器学习行业收入最高

选自Stack Overflow 机器之心编译 参与:路雪、黄小天、刘晓坤 近日,Stack Overflow 公布了其第八次年度开发者调查结果,这次参与者超过...

2796
来自专栏吾真本

Release It! 第2版中译稿试读:赞誉、致谢、前言及第1章生产环境的生存法则第2版赞誉致谢前言第1章 生产环境的生存法则

迈克是软件行业最深刻的思想家,也是最清晰的沟通者。与第1版相比,第2版不仅同样文笔优美,还用现代技术对内容进行了扩展(最显著的是持续部署、云基础设施和混沌工程)...

921
来自专栏张善友的专栏

浅析软件开发的3个层次

早上在微博上看到郭安定老师的微博,我在微博上也改了下发了一条,萌生写这篇文章。 ? 已故的中国社会学家费孝通认为文化应包含三个层次:第一个层次是生产、生活的工具...

1817
来自专栏腾讯云技术沙龙

常青:小程序音视频技术实现以及在相关行业的实际应用

我演讲的内容是小程序音视频背后的一些技术支持。先讲一些术语,解释一些术语的概念,最后再说这些技术怎么去用起来,但是我觉得这比较容易陷入到大家都开始睡着的阶段。所...

76610
来自专栏ytkah

林兴爆料小程序很快可以支持各个 App 直接打开小程序

2302
来自专栏ytkah

微信公众号刷量工具崩溃原来是接口变了

  这两天微信公众号刷点击阅读量的工具崩溃了的消息漫天遍布,原来是腾讯在9月27号晚上将接口key改为了“cookie”,公号刷量工具就不能通过post的方式进...

5738
来自专栏速成应用小程序开发平台

门店老板怎么样去把握微信小程序流量红利快速打开市场?

微信小程序甫一诞生,即引发业内外人士的高度关注和热烈讨论。“好的产品是用完即走”,小程序正是一款能够实现“用完即走”的产品,无须安装、触手可及,却能连接起许许多...

1092
来自专栏Java学习网

技术团队负责人应该具备怎样的能力

技术团队负责人应该具备怎样的能力 正好写2015年终总结,其实今年不太想写的,但是公司层面要求有个人总结要弄,写了个开始就情不自禁多写了一些,谈谈这方面的总结...

3156
来自专栏程序员互动联盟

从学生到程序员

还未毕业就在百度实习了,两年多的磨练,有被磨平的棱角,也有精彩的收获;谨以此文献给在百度并肩奋战两年多的兄弟姐妹们。忘不了离职日那场特殊的告别午餐;忘不了这两年...

3165

扫码关注云+社区

领取腾讯云代金券