00:00
好,接下来呢,我们就正式的开始上品会数据仓库这个项目,那首先我们来看一下第一章数据仓库。那这里面提到了一个仓库的概念。那你像宋宋老师他家里的仓库,哎,主要用来存储海口人参丸呢啊,还有一些相关的提高自己身体能力的一些补品。对吧?哎,那咱们这个数据仓库用来存储什么内容呢?很显然我们这个仓库是用来存储公司当中的数据。啊是存储数据的,那好,那下面我们来看一下说数据仓库啊,是为企业制定决策提供数据支持的。可以帮助企业改进业务流程,提高产品质量。其实很简单啊,数据仓库说白了就是把公司各个部门所有的数据汇总到一起。然后领导看到这些数据的一些指标情况,然后为他未来的企业规划,哎,做这个战略支撑。
01:00
哎,就这种情况,那下面呢,我给大家画张图啊。我们画一下我们的数据仓库。换一个框。然后呢,说我们这个数据仓库啊,是为企业。做决策的数据仓库。为企业。决策。提供数据支撑。啊,干这么一件事,那他是不是只是来把公司的数据存储在这个书场里面就完事了呢?哎,其实并不是这样的哈,比如说你光存储进来,那肯定是没有用的。那他除了存储之外,他还会干什么事呢?这个书城。哎,他还要对它进行一个分析。计算。对吧,哎,把一些数据经过总结归纳整理之后,让领导能够看到这种诶非常清晰的可视化报表。这就是我们数据仓库啊要做的事情。
02:00
好,那大家思考一下,说我们这个公司这个数据仓库啊,他要结合公司各个部门各种数据。那它到底包含哪一类数据呢?哎,其实它包含这么几大类哈,我来画个图啊。好空框,它这里面包含主要的有三大类数据。啊,比如说像我们这里有的叫。业务数据。嗯,业务数据还有一类呢,叫用户行为数据。用户行为数据。那再有还有就是爬虫的数据,哎,大家先有概念,一会儿给大家一个一个去解释啊对应的含义。爬升出去,哎这么几大类啊,稍把这次题调小一下。OK吧,啊,有这么多类的数据,那首先什么叫业务数据?好同学,这个搞不清楚,说业务数据是干嘛的。
03:00
那好,那我们现在啊,打开这个京东网站。搜索京东。然后点击进来。来到这里面你搜索什么呢?诶搜索这个海狗人参丸。海狗人参。嗯。对吧,哎,搜索完之后,哎,我这是模拟宋老师操作啊,啊跟我没关系啊,宋老师平常呢,来到这网站,诶点开这个商品。那它的下一个反应就是什么,将它要添加到购物车里面去,对吧?哎,比如说添加到购物车。啊,这里面需要扫码登录,那我登录一下。OK,登录上来了,登录上来之后,那接下来宋老师的操作就是去购物车结算。对吧,那这一系列过程,诶,浏览商品添加到购物车,然后进行结算,物流发货,那这一系列过程,它就是业务数据。
04:07
那你看这个业务数据,它有什么特点呢?来给大家看一下啊,其实呢,你在这个。在他前边会有一个叫客户端。哎,客户端。调小一点。那这个客户端啊,它包括像这个PC网站。APP小程序,安卓iOS等等,它都是啊,都是这一类,那么这一类它都会跟后台,比如说你这个网站的后台进行一个业务的交互。比如说你这个用户对吧,哎,通过这些客户端手段会访问你这个项目的后台,那么项目的后台他必然会去哪里拿数据呢?诶通常是他的数据库。那数据库比较常见的数据库像。白色。哎,这就是比较常见的数据库,那么在数据库里面他要做什么操作呢?做一些增删改查的操作。
05:06
对吧,我这个客户买了一些商品,那在这个MYSQ数据库里面,商品的个数是不是要减一呀。对吧,诶类似这样的啊,或者这个商品我已经进行支付了,那在买这Q里面状态是不是应该修改为该商品已经支付。那也就是说这里面,哎,这个叫。好啊,拿一根线啊。这个业务数据啊,跟这个。他们之间是进行相互的一个交互的。啊,那这种数据就是业务数据。那好,那还是这个客户,那这个客户呢,来到这个网站,他没有进行下单和支付,他干了什么事,他只是在这里面来回来哈,现在。我只在这里面搜索了海狗人参丸。对吧,那这里面会产生这个页面嘛,对吧,哎,我搜索这个海狗妊娠纹。然后我摁一下F12。
06:02
在这网站,然后啊,这里面要注意,我们要选择这个net,然后log,在这里面搜索log啊,这个log你可以把它删掉,哎,然后你打这个log搜索。搜索,然后在左边这块有一个刷新对吧,哎,你刷新哎刷新你看这里面就会产生大量的数据。那些数据啊,大家可能来看一下,好像海哥我看不太懂,哎,看不太懂,看不太懂我们就需要把它翻译一下右键。Copy copy之后copy link address好,Copy完之后在这里面URL,然后。解析。哎,随便哈,在百度上啊,搜索URL网站解析就可以了。将你这个复制内容往这里面一粘,然后点击这个解码,OK。解码之后你会发现这里面看到吗?哎,我们搜索的骸骨人参丸对吧?哎,你搜索的什么商品对吧?然后呢,这里面说用的是UTL8啊这个编码方式。
07:00
哎,还有你看这个还有一些其他的一些事去啊一些信息。他都给你进行了一个记录,也是在前单网站上可以记录这个用户来到这个网站干了什么事情。那这些数据是跟JAVA1后台买售后通信吗?不是,那他跟谁通讯呢?哎,他你可以将这个数据说买点,这叫买点啊。比如说用户来到这个网站。我们可以对他进行买点记录,记录他在网站干了什么事,然后将这个数据发送到日志服务器。不是Java后台对应的买售后数据,诶又来了一个日志服务器。往这里去发送,它是这样关的啊。买点放在这吧。然后诶对客户端产生买点数据,然后买点数据呢,我把它发送到。用这个。发送到日志服务器。
08:01
那日志服务器里面一般是以什么形式存在呢?通常情况下呢,我们是以文件的形式进行存储。哎,这是这块啊,这叫买点数据啊,那买点的用户行为数据我们也知道了啊,那这个有啥用啊,这个买点用户行为数据啊,其实呢,我们通过这个买点数据可以分析用户的一个心理,比如说刚才宋老师啊,将这个海手人参丸添加到购物车之前,他通常的做法是这样的。把它删掉啊。他会打开它。他来到这个商品详细页面啊,他会在这儿等待很长时间。哎,你看在这等待很长时间,观察这里面详细的参数,那么如果说我们捕捉了这个信息,说宋老师来到这个网站停留了超过五分钟,详细浏览了这里面各种这个具体的参数。那说明什么意思,哎,说明书老师非常关注这一类商品,那我们后续啊,就会给他大量推荐,哎相关类型的这种产品能够进一步的产生消费爱,为公司呢,带来更高的一个收益。
09:02
哎,好啊,这是这块,这是用户行为数据。那行,那继续在在企业当中还有一类数据呢,叫爬虫的数据。那这个爬虫的数据啊,那它是怎么玩的呢?其实呢,它是爬取的是别的网站的数据。叫爬取其他。网站。的数据,那这个好不好呢?大家思考问题,这个好不好?比如说你去别的公司网站上去拿数据啊,比如说就是这样吧,哎,我是这个淘宝的工作人员,我来到了一个京东,哎,我会爬取这个京东网站,他到底卖哪些商品。然后每一个商品卖的价格是多少啊,比如说哈,这里面说,哎这个还有是什么这个品牌的,他卖128,那我排询到得到这个信息之后,我回去我就调整他,我说我卖127。哎,我价格上始终比你便宜一块钱。对吧,啊,那这个爬虫的数据啊,其实不建议大家去使用啊,因为这个爬虫啊,你毕竟是拿的是别的公司的数据,那在这种法律上呢,其实是啊属于违法的,那之前啊,在去年啊,有一家公司啊,有四五个程序员啊,其实就是从事这个爬虫工作,扒取了别的公司的这个敏感数据,结果呢,就被抓起了。
10:19
啊,钱没挣多少啊,下半身幸福没有了,所以说这个呢啊,不建议大家啊去使用啊,那好,那现在呢,就是在企业当中,哎,我们通常处理的就是这三类数据,业务数据,用户行为数据以及爬虫的数据。我们通过其他技术手段将这些数据传输到哪里啊?哎,我们的数据仓库里面,然后对它进行存储、分析、计算。然后为老板的企业决策进行一个技术支撑。那我们就干这事儿。好,那我们先了解到这儿。
我来说两句