玩转大数据,你需要了解这8种项目类型!

在过去的 12 个月里,笔者一直在大数据的战壕里挖掘。好吧,其实大部分时间我只是坐在比我更聪明的人旁边,看他们怎么在战壕里挖掘数据,再把所做的事情进行简化以上报给管理层。

很少有真正独具一格的 IT 项目,那些听起来比较特别的项目最终也只是大同小异。不过你们今天有眼福了,因为我决定出来冒个泡儿,跟大家分享一下过去 12 个月里接触到的8大项目类型。

1

探索交易周期

那些做电子商务的公司想当然地认为,装几个工具就能掌握网页访客从销售到付款的成交情况。但是很多公司处理的数据集远远不止网页成交率,而且这些数据集主要来自经销商。

每个经销商提供格式各异的不同数据集。当然,从根本上说,这是一个带有BI/可视化前端的核心ETL/数据整合项目。但是,对许多公司而言,要真正了解交易的生命周期(从开始、进展到结束)比想象中要困难。你需要整合大量的 CRM 数据、网站分析数据和财务数据,最后才能肯定地说:“是的,PPC(点击付费广告)带来了交易,但是40%的客户连第一笔交易都未能成功走到付款,那么……”

2

挖掘潜在客户

很多公司都想知道你在做什么,然后再根据你的活动情况向你推销产品。例如,你手机上可能装了一个提供遥测数据的 app,这样公司就会知道你在商场的哪个位置。凭借这些大数据,他们就能预测你在任意时刻的购买需求。

3

衡量营销效果

营销人员做事讲求效益,他们想知道具体要做哪些事情,以及这些事情对KPI有何影响。从本质上说,这又是一个 BI 项目,而且往往涉及到大量的变更数据捕获(CDC)和 ETL 数据整合工作。他们测量的实际KPI变化很大,有时还涉及到 Kylin 或 Greenplum 等工具中的数据库。至于其他情况,可能属于下一个类别——社交媒体。

4

测量社交媒体热度

通常,公众会在公开或半公开的社交网络上谈论你(或你的公司)。在这些地方你可以获取很多有用的信息,比如大家怎么看待你的品牌,你的营销活动是否有成效。既然美国地震勘探局可以通过 Twitter 探测到地震和震级,那么你也可以通过这样的平台了解刚推出的广告活动效果如何。随着越来越多的专业社交平台出现,对于某些垂直行业而言,其数据采集范围远远不止 Twitter 和 Facebook。

5

专攻日志文件

无论是为了入侵检测还是应对安全审计,你都需要捕获并收集日志文件并使其可检索。在这一领域,Splunk 无疑大赚了一笔。当然,在大数据中还有其他更灵活的选择。

6

因为不想买Teradata!

现在已经不是 Teradata 独统天下的时代了,大数据正在从边缘向核心发展,而且 Apache Kylin 的数据库已对所有人开放。得益于 Impala、HAWQ 和 Greenplum,MPP 分布式系统的地位也更加重要。那些价格昂贵、功能单一而且还不能兼容其他数据分析的工具,其发展空间越来越小——更别说是那些只能依靠某单一供应商的私有云。

7

经久不衰的ETL

ETL (Extract-Transform-Load)可能依旧是如今最常见的Hadoop工作负载——而且我敢说,ETL 是适用于 Spark 的最常见的非流式工作负载。顺便提一下,现在已经有上百个创业公司冒出来说自己能够处理这种任务了。

8

先捕获传感器数据再想办法处理

不管是电网、制造业、水泵,还是老司机开的车,都在向我们传递信息。这些信息都需要捕获。甚至有些人已经弄清了该如何处理这些数据。但是,及时捕获数据才是最重要的一步,因为很多人都觉得从技术上来说捕获数据并不那么容易。

此外,笔者还经常督促大家在大数据项目初期就要考虑数据分析问题。为什么呢?因为预先设计并确定好数据流的大小,远比数据已经准备好时再重新考虑整体布局要容易得多。但是有时候还是得细细咀嚼,做最好的打算。

近一年来,笔者见过不少其他项目类型,但是大多数用例都属于以上八种之一。不知各位老司机是否还有补充?

内容来源:OneAPM

原文发布于微信公众号 - 灯塔大数据(DTbigdata)

原文发表时间:2016-06-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏互联网数据官iCDO

坏数据滋生不良销售线索:为B2B销售周期清理数据

引言:我们创造的数据比以往任何时候都多——但是大部分数据都不好。这对于B2B营销人员及其线索产生(Lead Generation)/销售线索意味着什么?

642
来自专栏较真的前端

从前端技术到体验科技——蚂蚁金服SEE Conf 2018分享[含分享现场视频]

6299
来自专栏直播系统源码

短视频APP开发带飞你的创业梦

创业的本质就是找到风口,顺势而为,就像罗永浩说的那样,只要站在风口上,猪都能起飞。

2412
来自专栏量子位

微软CEO:别被Google的TPU诱惑,Kinect“复活” | Build 2018

大会首日,微软集中火力大谈人工智能、云计算、物联网、AR等技术。在今天的Build大会上,微软宣布目前已有超过7亿台设备运行Windows 10系统。去年这个数...

1382
来自专栏携程技术中心

微分享回放 | 数据分析在携程产品设计中的应用

【携程技术微分享】是携程技术中心推出的线上公开分享课程,每月1-2期,采用目前最火热的直播形式,邀请携程技术人,面向广大程序猿和技术爱好者,一起探讨最新的技术热...

3618
来自专栏张善友的专栏

浅析软件开发的3个层次

早上在微博上看到郭安定老师的微博,我在微博上也改了下发了一条,萌生写这篇文章。 ? 已故的中国社会学家费孝通认为文化应包含三个层次:第一个层次是生产、生活的工具...

1827
来自专栏PPV课数据科学社区

如何从一开始就设计好数据分析的基本框架

【引子】 Porterfield的最新创业项目是Looker,一个商业数据分析解决方案提供商。主人公在下面这篇文章中向我们讲解创业者们如何可以从一开始就设计好数...

3177
来自专栏java系列博客

如何从菜鸟程序员成长为(伪)高手

2214

实时数据分析:未来之路

即使商业世界仍在处理如何充分利用来自各种不同客户接触点的业务以及交易和相互作用产生的大量数据的问题,我们也看到了另一方面数据的曙光 ,即实时流数据 ,如果不是更...

4617
来自专栏光变

成功项目管理的七条原则和三十个秘诀

美国著名软件工程专家勃姆(B.W.Boehm)在总结软件工程准则和信条的基础上,于1983年提出软件…

1172

扫码关注云+社区

领取腾讯云代金券