专栏首页kk大数据数据分析:数据采集是根基

数据分析:数据采集是根基

1

一个典型的数据产品流程

数据采集,数据产品的第一步就是数据采集,也是整个数据产品的根基

数据传输,指的是数据以何种方式流入到存储介质,比如日志是通过logstash还是filebeat采集到kafka的,前端的操作记录是通过http请求发送的

数据建模/存储,指的是对数据清洗、加工并存储的过程

数据统计/分析/挖掘,产生数据价值的流程,也是数据处理的重点

数据可视化,其实不要觉得这个词多高大上了,用 excel 展示数据也是可视化,用 ppt 展示数据也叫做可视化

2

数据采集是根基

数据采集有下面几个方面的要求

(1)完备性

(2)多维度

(3)及时性

(4)准确性

所谓完备性,就像如果只有订单的业务数据,而没有用户下单之前的操作数据,那就没法去优化页面。往往用户的操作行为是最有价值的数据。

多维性,就是前面讲的,维度要多,维度越多,才有可能满足后续复杂的分析需求

比如,前端的维度,需要客户端的浏览器信息,操作系统,ip解析出来的省份和城市,渠道

用户,需要用户的基本属性,性别,年龄,职业,收入状况等

商品,需要商品的基本属性

及时性,比如,某次新增一个 H5 页面,那么就需要及时的知道,这次效果怎么样,而不是等到一个礼拜之后,才能看到

准确性,这也是非常重要的,根基没法做到准确,上层的数据也根本没法做下去

3

数据采集的对象

(1)前端操作

JavaScript,IOS,Android 产生的按钮点击,下拉框选择等用户操作行为日志

(2)后端日志

Nginx、UI、Server

像浏览、检索、购买、支付,一般后台都会有相应的业务日志

(3)业务数据

数据库,CRM

会提供物流、进货、客服等关系型数据库数据

本文分享自微信公众号 - kk大数据(kkbigdata)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-08-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 贝壳网流式数据的平台化实践与挑战

    (文末有福利!) 今天为大家分享贝壳找房流式数据的平台化实践与挑战,具体介绍下如何建设流式数据平台来满足业务方的需求。

    kk大数据
  • 大数据时代,移动计算 OR 移动数据

    一秒钟看完全文:数据是庞大的,程序比数据小的多,将程序分发到数据所在的地方进行计算。

    kk大数据
  • Flink 编程接口

    现实世界中,所有的数据都是以流式的形态产生的,不管是哪里产生的数据,在产生的过程中都是一条条地生成,最后经过了存储和转换处理,形成了各种类型的数据集。

    kk大数据
  • 数据科学中的强大思维

    人类擅长在所有的事物中寻找对应的模式。真模式,假模式,命名的模式。我们是那种能在薯片上找到猫王的脸的生物。如果你倾向于将模式与洞察力等同起来,请记住有三种数据模...

    AiTechYun
  • 思考 | 从百度医疗竞价说起,大数据需要科学和正直的品格

    最近几天,一篇“一个死在百度和部门医院之手的年轻人”的新闻刷爆网络,又一次将百度的医疗竞价排名推到了风口浪尖。 大数据是新出现的事物,作为一门深刻洞察社会规律...

    灯塔大数据
  • 大数据培训出来后就业前景及工资怎么样?

    作为新一轮的技术热点,大数据所受到得到关注是空前的,并且在这两年的发展当中,企业对于大数据的重视程度还在进一步上升,企业基于大数据业务开展所需要的相关岗位人才,...

    加米谷大数据
  • 数据中台建设五步法

    数据中台建设五步法是我们在十几个数据中台项目落地实践中总结出的一套方法论。在数据中台项目落地中,我们可以根据具体项目情况对其中的一个或者几个部分的内容做重点的加...

    王知无
  • 【观点】大数据对于数据分析师意味着什么?

    ? 大数据从无人谈及,到现在的大肆炒作,到底什么才是大数据,对于数据分析师,它有意味着什么?本文将为您解答。 以下为译文: 我用Google搜索了一下“Big...

    小莹莹
  • DataHub——实时数据治理平台

    首先,阿里云也有一款名为DataHub的产品,是一个流式处理平台,本文所述DataHub与其无关。

    用户6070864
  • 大数据引发第二次数据革命

    【核心提示】与传统数据相比,大数据的资源性特征尤为突出,成为各国重视开发大数据的依据。在知识的演化过程中,数据既是产生信息、知识、智慧的基础,又同时贯穿于其中。...

    小莹莹

扫码关注云+社区

领取腾讯云代金券