腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
首页
视频
081_尚硅谷_实时电商项目_内容回顾
081_尚硅谷_实时电商项目_内容回顾
2022-12-02
2022-12-02 08:02:24
播放
34
腾讯云提供技术支持
播放
播放
静音
0:00
/
0:00
加载完毕
: 0%
进度
: 0%
媒体流类型
直播
0:00
播放速度
2x
1.5x
1.25x
1x
, 选择
0.5x
1x
节目段落
节目段落
描述
关闭描述
, 选择
字幕
字幕设定
, 开启字幕设置弹窗
关闭字幕
, 选择
音轨
全屏
This is a modal window.
开始对话视窗。离开会取消及关闭视窗
文字
Color
白
黑
红
绿
蓝
黄
紫红
青
Transparency
不透明
半透明
背景
Color
黑
白
红
绿
蓝
黄
紫红
青
Transparency
不透明
半透明
透明
视窗
Color
黑
白
红
绿
蓝
黄
紫红
青
Transparency
透明
半透明
不透明
字体尺寸
50%
75%
100%
125%
150%
175%
200%
300%
400%
字体边缘样式
无
浮雕
压低
均匀
下阴影
字体库
比例无细体
单间隔无细体
比例细体
单间隔细体
舒适
手写体
小型大写字体
重启
恢复全部设定至预设值
完成
关闭弹窗
结束对话视窗
file ID:
request ID:
media type:
mime type:
provider:
resolution:
rate:
frames:
buffer:
connection speed:
info:
[X]
点赞
0
分享
收藏 0
举报
3.尚硅谷大数据学科--项目实战/尚硅谷大数据电商项目(实时处理)/视频/081_尚硅谷_实时电商项目_内容回顾.avi
原链接:http://www.atguigu.com/
视频文本
温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
说一下啊,因为今天到目前为止,咱们的日活呢,就已经正式结束了,咱们开始新的需求对吧?那么如果说想做我们的日活对吧,那么大家呢,首先呢,你得知道说我们现在这个日活到底是干什么的,早就说人人以后说诶你做过实时项目是吧?你都统计过哪些指标啊,你都做过什么事啊对吧?哎,那么首先第一个啊,我们对统计过对吧,当前对吧,我们现在这个网站,它的一个分时日活数对吧,或者统计的一个日活,这个日活下面咱们是不是其实也按照不同的指标进行统计了,比如说我现在对吧,我当前对吧,这个啊,今天的日活它的一个地区分布情况,它的一个渠道分布情况对吧,然后接下来我现在呢,它的一个分时指标,就这都属于我们的个日活,对吧?那么具体的流程什么样的呢?对吧,如果你要给人描述的话,那么首先第一件事,对吧,你们怎么描述,有个加包模拟实时数据是这样描述吗?对吧,不应该吧,对吧,那应该什么应该是。
01:00
我们现在对吧,在我们这个前端,然后呢,有一些我们的日志买点对吧?然后接下来那么这个买点呢,会采集一些我们日志,这个日志呢,主要分两大类,一个呢是我们这个行为日志,一个呢是启动日志,那么这个日活呢,我们主要通过我们的启动日志对吧来获取数据对吧?然后接下来那么我们现在呢,因为对这个具体要处理啊,是我们这个大数据项目组到队进行处理,所以说呢,那我们把这个日志呢接触到之后,对吧?那是我们自己来进行处理的对吧?我们处理的时候呢,我们使用的是我们这个spring boot对吧,来开发我们spring程序对吧?那么对日处理呢,主要是两个操作,一个呢是落盘保存一份,那么另外一个呢,对吧,那我们是保存到或者发送到我们的卡夫卡,它对应的我们的主题中啊,对应的主题里边,那么落盘咱们怎么实现的呢?落盘我们直接使用的是我们对日志支持的框架,我们使用的是log back啊,直接利用我们这个log back。
02:00
来完成落盘,那么我们现在的网卡的话,里边去写的话,我们会根据当前日志的不同类型,是启动日志还是事件日志来把数据呢,写到不同的我们的主题中去,对吧?那么同时呢,咱们在处理我们这个数据的时候,处理日志的时候,对吧?那我们呢,使用NG来做的是我们这个负载均衡,那如果使用NG来做负载均衡的话,那么大概其实我们主要操作的是不是,其实就是我们现在这个配置文件对吧?你想一想,我现在如果要想去操作的话,那么这个时候主要呢,我们操作就是我N这配置文件,对,在配置文件里边,如果想实现负载均衡的话,那其实两个配置,一个是location拦截请求,拦截请求之后呢,咱们通过一个process pass的这样的一个啊,这个参数来指定对吧,那我们现在这个反向代理服务器,然后接下来反向代理服务器通过upstream来指定它到底代理哪些服务器,对吧,然后接来在咱们里边来把这个服务器呢。
03:00
给配置一下对吧,这块呢是到这儿了啊,这个到这儿了,然后接下来那么我们现在呢,要对我们的卡卡数据啊,来进行一个我们的处理,对对卡卡数据进行处理,那么如果对卡卡数据进行处理的话,同学们,那么咱们现在这里干什么,是不是得使用SPA推敏来对我们的卡卡数据,对吧,来做一些操作呀,对吧,那个请一下。
展开
我来说两句
0
条评论
登录
后参与评论
作者
腾讯云开发者课程
关注
【合辑】尚硅谷大数据电商项目(实时处理)
(81/174)
1
2分19秒
001_尚硅谷_实时电商项目_项目介绍
36
0
2
11分53秒
002_尚硅谷_实时电商项目_离线架构回顾
35
0
3
11分46秒
003_尚硅谷_实时电商项目_实时架构讲解
37
0
4
8分45秒
004_尚硅谷_实时电商项目_项目需求介绍
38
0
5
10分32秒
005_尚硅谷_实时电商项目_模拟生成数据
40
0
6
7分3秒
006_尚硅谷_实时电商项目_SpringBoot介绍
36
0
7
20分2秒
007_尚硅谷_实时电商项目_SpringBoot程序创建
36
0
8
25分2秒
008_尚硅谷_实时电商项目_创建LoggerController接收模拟器生成数据
39
0
9
17分6秒
009_尚硅谷_实时电商项目_利用logback将日志数据落盘
34
0
10
25分23秒
010_尚硅谷_实时电商项目_将日志发送到kafka对应的主题中
36
0
11
12分36秒
011_尚硅谷_实时电商项目_内容回顾
33
0
12
20分20秒
012_尚硅谷_实时电商项目_打包日志处理程序到单台Linux上运行
38
0
13
11分23秒
013_尚硅谷_实时电商项目_负载均衡介绍
32
0
14
22分58秒
014_尚硅谷_实时电商项目_Nginx安装和启动
32
0
15
12分58秒
015_尚硅谷_实时电商项目_Nginx配置文件说明
33
0
16
14分0秒
016_尚硅谷_实时电商项目_Nginx常用应用场景
32
0
17
17分53秒
017_尚硅谷_实时电商项目_整体流程测试
42
0
18
7分32秒
018_尚硅谷_实时电商项目_编写脚本启动Nginx以及日志服务
33
0
19
15分13秒
019_尚硅谷_实时电商项目_日活业务介绍
36
0
20
16分1秒
020_尚硅谷_实时电商项目_上午内容回顾
43
0
21
21分35秒
021_尚硅谷_实时电商项目_ElasticSearch介绍
49
0
22
9分10秒
022_尚硅谷_实时电商项目_RestFul编程风格
41
0
23
18分56秒
023_尚硅谷_实时电商项目_特点
35
0
24
9分36秒
024_尚硅谷_实时电商项目_Lucene、Nutch、ElasticSearch关系
44
0
25
25分48秒
025_尚硅谷_实时电商项目_ElasticSearch安装以及单节点启动测试
33
0
26
30分59秒
026_尚硅谷_实时电商项目_Kibana安装以及测试
33
0
27
13分43秒
027_尚硅谷_实时电商项目_内容回顾
32
0
28
33分2秒
028_尚硅谷_实时电商项目_相关概念介绍
42
0
29
18分56秒
029_尚硅谷_实时电商项目_对索引的操作
43
0
30
27分7秒
030_尚硅谷_实时电商项目_对文档的操作1
36
0
31
19分36秒
031_尚硅谷_实时电商项目_对文档的操作2
34
0
32
17分34秒
032_尚硅谷_实时电商项目_按分词查询
28
0
33
25分29秒
033_尚硅谷_实时电商项目_查询操作1
37
0
34
10分46秒
034_尚硅谷_实时电商项目_查询操作2
35
0
35
13分30秒
035_尚硅谷_实时电商项目_聚合操作
33
0
36
15分0秒
036_尚硅谷_实时电商项目_ik分词器
40
0
37
7分34秒
037_尚硅谷_实时电商项目_自定义词库(本地)
37
0
38
17分7秒
038_尚硅谷_实时电商项目_自定义词库(远程)
37
0
39
27分3秒
039_尚硅谷_实时电商项目_mapping
38
0
40
24分20秒
040_尚硅谷_实时电商项目_内容回顾
37
0
41
18分55秒
041_尚硅谷_实时电商项目_别名
31
0
42
19分58秒
042_尚硅谷_实时电商项目_索引模板
36
0
43
30分8秒
043_尚硅谷_实时电商项目_JestFactory对象的创建
33
0
44
15分35秒
044_尚硅谷_实时电商项目_向ES中插入单条数据方式1
39
0
45
19分6秒
045_尚硅谷_实时电商项目_向ES中插入单条数据方式2
32
0
46
6分39秒
046_尚硅谷_实时电商项目_根据id查询索引中的单条文档
32
0
47
19分57秒
047_尚硅谷_实时电商项目_根据查询条件查询多条文档1
42
0
48
23分56秒
048_尚硅谷_实时电商项目_根据查询条件查询多条文档2
42
0
49
6分45秒
049_尚硅谷_实时电商项目_日活业务介绍
32
0
50
13分25秒
050_尚硅谷_实时电商项目_搭建日活开发环境
28
0
51
9分50秒
051_尚硅谷_实时电商项目_读取配置文件的工具类
38
0
52
17分59秒
052_尚硅谷_实时电商项目_读取Kafka数据的工具类
26
0
53
16分30秒
053_尚硅谷_实时电商项目_获取Redis客户端工具类
32
0
54
28分10秒
054_尚硅谷_实时电商项目_编写SparkStreaming程序消费kafka数据
38
0
55
11分44秒
055_尚硅谷_实时电商项目_内容回顾
39
0
56
16分28秒
056_尚硅谷_实时电商项目_已经登录设备去重思路分析
43
0
57
15分10秒
057_尚硅谷_实时电商项目_通过Redis对已经登录的数据进行去重方式1
42
0
58
18分24秒
058_尚硅谷_实时电商项目_通过Redis对已经登录的数据进行去重方式2
38
0
59
29分52秒
059_尚硅谷_实时电商项目_将采集到的数据批量保存到ES中业务实现
31
0
60
15分46秒
060_尚硅谷_实时电商项目_批量保存ES代码的实现
37
0
61
9分51秒
061_尚硅谷_实时电商项目_去重和保存到ES总结
31
0
62
20分29秒
062_尚硅谷_实时电商项目_kafka内容回顾1
43
0
63
12分17秒
063_尚硅谷_实时电商项目_kafka内容回顾2
32
0
64
27分34秒
064_尚硅谷_实时电商项目_kafka内容回顾3
33
0
65
14分17秒
065_尚硅谷_实时电商项目_kafka内容回顾4
33
0
66
21分5秒
066_尚硅谷_实时电商项目_精准一次性消费方案分析
35
0
67
8分30秒
067_尚硅谷_实时电商项目_手动提交偏移量+幂等性处理分析
38
0
68
20分13秒
068_尚硅谷_实时电商项目_从Redis中获取偏移量
36
0
69
18分25秒
069_尚硅谷_实时电商项目_内容回顾
31
0
70
24分53秒
070_尚硅谷_实时电商项目_从指定偏移量读取Kafka数据并获取偏移量位置
33
0
71
20分22秒
071_尚硅谷_实时电商项目_保存偏移量到Redis
35
0
72
12分33秒
072_尚硅谷_实时电商项目_关于去重
34
0
73
25分31秒
073_尚硅谷_实时电商项目_通过kibana进行可视化展示
50
0
74
14分34秒
074_尚硅谷_实时电商项目_发布查询接口架构介绍
42
0
75
18分26秒
075_尚硅谷_实时电商项目_搭建项目架构
40
0
76
23分36秒
076_尚硅谷_实时电商项目_获取当前日活数的Service方法实现
34
0
77
14分23秒
077_尚硅谷_实时电商项目_获取日活Controller处理
33
0
78
19分58秒
078_尚硅谷_实时电商项目_获取分时日活数Service方法实现
37
0
79
15分12秒
079_尚硅谷_实时电商项目_获取分时日活数Controller处理
36
0
80
11分28秒
080_尚硅谷_实时电商项目_前端访问数据接口测试
38
0
81
3分22秒
081_尚硅谷_实时电商项目_内容回顾
34
0
82
25分11秒
082_尚硅谷_实时电商项目_首单业务分析
38
0
83
14分35秒
083_尚硅谷_实时电商项目_canal使用场景
36
0
84
6分40秒
084_尚硅谷_实时电商项目_canal工作原理
42
0
85
24分37秒
085_尚硅谷_实时电商项目_MySQL前期准备工作
35
0
86
24分26秒
086_尚硅谷_实时电商项目_canal配置以及单机测试
34
0
87
10分6秒
087_尚硅谷_实时电商项目_canal高可用
39
0
88
11分19秒
088_尚硅谷_实时电商项目_上午内容回顾
43
0
89
32分22秒
089_尚硅谷_实时电商项目_使用canal进行分流处理
38
0
90
14分35秒
090_尚硅谷_实时电商项目_封装向Kafka发送数据工具类并对canal分流进行测试
29
0
91
26分5秒
091_尚硅谷_实时电商项目_maxwell的安装以及配置
39
0
92
27分58秒
092_尚硅谷_实时电商项目_编写BaseDBMaxwellApp对数据进行分流
33
0
93
3分12秒
093_尚硅谷_实时电商项目_总结
42
0
94
7分18秒
094_尚硅谷_实时电商项目_内容回顾
38
0
95
35分26秒
095_尚硅谷_实时电商项目_Hbase回顾1
36
0
96
33分54秒
096_尚硅谷_实时电商项目_Hbase回顾2
38
0
97
6分54秒
097_尚硅谷_实时电商项目_Phoenix客户端连接工具
40
0
98
26分40秒
098_尚硅谷_实时电商项目_封装Phoenix查询工具类
38
0
99
12分36秒
099_尚硅谷_实时电商项目_客户端工具问题解决
34
0
100
23分23秒
100_尚硅谷_实时电商项目_从kafka订单主题中读取数据
34
0
101
12分3秒
101_尚硅谷_实时电商项目_判断是否首单方案1
32
0
102
18分17秒
102_尚硅谷_实时电商项目_判断是否首单方案2
44
0
103
20分32秒
103_尚硅谷_实时电商项目_更新Phoenix中用户消费状态
30
0
104
6分14秒
104_尚硅谷_实时电商项目_Phoenix客户端连接工具2
31
0
105
18分42秒
105_尚硅谷_实时电商项目_尚硅谷大数据_实时项目_同批次状态修正
40
0
106
6分58秒
106_尚硅谷_实时电商项目_总结
35
0
107
16分29秒
107_尚硅谷_实时电商项目_内容回顾
43
0
108
27分7秒
108_尚硅谷_实时电商项目_维度表关联分析
37
0
109
19分48秒
109_尚硅谷_实时电商项目_省份维度表的处理1
41
0
110
24分40秒
110_尚硅谷_实时电商项目_省份维度表的处理2
33
0
111
25分40秒
111_尚硅谷_实时电商项目_用户维度表的处理1
42
0
112
18分2秒
112_尚硅谷_实时电商项目_用户维度表的处理2
29
0
113
9分52秒
113_尚硅谷_实时电商项目_上午内容回顾
32
0
114
5分27秒
114_尚硅谷_实时电商项目_和省份维度关联思路
29
0
115
22分35秒
115_尚硅谷_实时电商项目_和省份维度关联方案1
30
0
116
18分37秒
116_尚硅谷_实时电商项目_和省份维度关联方案2
35
0
117
13分0秒
117_尚硅谷_实时电商项目_和用户维度关联
36
0
118
19分23秒
118_尚硅谷_实时电商项目_保存订单数据到ES中
37
0
119
11分37秒
119_尚硅谷_实时电商项目_使用Kibana进行可视化
32
0
120
2分55秒
120_尚硅谷_实时电商项目_总结
35
0
121
11分2秒
121_尚硅谷_实时电商项目_内容回顾
35
0
122
13分16秒
122_尚硅谷_实时电商项目_实付分摊介绍
35
0
123
11分37秒
123_尚硅谷_实时电商项目_从Kafka中读取订单明细数据
33
0
124
21分24秒
124_尚硅谷_实时电商项目_维度表的创建
35
0
125
19分9秒
125_尚硅谷_实时电商项目_维度数据处理代码实现
37
0
126
13分32秒
126_尚硅谷_实时电商项目_订单明细和商品维度关联
35
0
127
10分58秒
127_尚硅谷_实时电商项目_订单明细和维度关联测试
34
0
128
18分40秒
128_尚硅谷_实时电商项目_订单和订单明细数据写回Kafka
33
0
129
26分24秒
129_尚硅谷_实时电商项目_OrderWideApp接收双流数据测试
31
0
130
27分52秒
130_尚硅谷_实时电商项目_双流Join问题解决方案
31
0
131
28分8秒
131_尚硅谷_实时电商项目_双流Join代码实现
30
0
132
12分57秒
132_尚硅谷_实时电商项目_双流合并测试
33
0
133
18分35秒
133_尚硅谷_实时电商项目_实付分摊需求
37
0
134
9分38秒
134_尚硅谷_实时电商项目_实付分摊思路介绍
38
0
135
35分10秒
135_尚硅谷_实时电商项目_实付分摊代码实现
36
0
136
7分38秒
136_尚硅谷_实时电商项目_实付分摊测试
36
0
137
27分10秒
137_尚硅谷_实时电商项目_内容回顾
40
0
138
18分53秒
138_尚硅谷_实时电商项目_ClickHouse介绍
42
0
139
7分21秒
139_尚硅谷_实时电商项目_安装前准备工作
38
0
140
16分20秒
140_尚硅谷_实时电商项目_单机安装
37
0
141
20分46秒
141_尚硅谷_实时电商项目_数据类型
33
0
142
22分55秒
142_尚硅谷_实时电商项目_三个属性讲解
36
0
143
9分43秒
143_尚硅谷_实时电商项目_二级索引
39
0
144
7分19秒
144_尚硅谷_实时电商项目_TTL设置
36
0
145
10分18秒
145_尚硅谷_实时电商项目_ReplacingMergeTree
34
0
146
8分46秒
146_尚硅谷_实时电商项目_SummingMergeTree
28
0
147
16分29秒
147_尚硅谷_实时电商项目_SQL操作
40
0
148
16分20秒
148_尚硅谷_实时电商项目_副本
40
0
149
15分6秒
149_尚硅谷_实时电商项目_分片的读取和写入流程
37
0
150
20分25秒
150_尚硅谷_实时电商项目_分片集群配置
29
0
151
19分50秒
151_尚硅谷_实时电商项目_保存双流Join后的数据到ClickHouse中1
40
0
152
25分21秒
152_尚硅谷_实时电商项目_保存双流Join后的数据到ClickHouse中2
33
0
153
11分21秒
153_尚硅谷_实时电商项目_数据接口架构介绍
38
0
154
9分40秒
154_尚硅谷_实时电商项目_配置文件属性说明
37
0
155
17分19秒
155_尚硅谷_实时电商项目_Mapper接口的创建
43
0
156
8分46秒
156_尚硅谷_实时电商项目_Mapper配置文件说明1
40
0
157
15分47秒
157_尚硅谷_实时电商项目_没有得到分摊数据问题排查
38
0
158
15分54秒
158_尚硅谷_实时电商项目_MyBatis映射文件配置
35
0
159
18分23秒
159_尚硅谷_实时电商项目_上午内容回顾
32
0
160
19分15秒
160_尚硅谷_实时电商项目_Service层处理代码
33
0
161
19分40秒
161_尚硅谷_实时电商项目_Controller层处理代码及测试
38
0
162
17分23秒
162_尚硅谷_实时电商项目_ADS层聚合思路
30
0
163
16分18秒
163_尚硅谷_实时电商项目_数据库表创建以及查询MySQL工具类封装
38
0
164
9分9秒
164_尚硅谷_实时电商项目_从MySQL中获取偏移量的工具类封装
32
0
165
15分9秒
165_尚硅谷_实时电商项目_将数据写回到Kafka
42
0
166
31分30秒
166_尚硅谷_实时电商项目_内容回顾
42
0
167
30分51秒
167_尚硅谷_实时电商项目_从Kafka中读取dws层数据
30
0
168
5分16秒
168_尚硅谷_实时电商项目_scalikejdbc工具介绍
32
0
169
25分53秒
169_尚硅谷_实时电商项目_保存数据到MySQL(精准一次性第二种实现)
38
0
170
16分56秒
170_尚硅谷_实时电商项目_发布数据接口程序介绍
41
0
171
14分38秒
171_尚硅谷_实时电商项目_抽取方法避免踩坑
39
0
172
17分17秒
172_尚硅谷_实时电商项目_发布数据查询接口
36
0
173
36分36秒
173_尚硅谷_实时电商项目_DataV数据展示
44
0
174
37分47秒
174_尚硅谷_实时电商项目_阶段总结
34
0
相关推荐
1时18分
云函数 Web Function 落地应用实践—大咖分享
腾讯云serverless团队
1.4K
14
2分8秒
【蓝鲸智云】社区版基础套餐简介
腾讯蓝鲸助手
1.4K
10
11分52秒
【HarmonyOS 专题】03 简单了解 Text 文本属性
阿策小和尚
1.4K
17
9分32秒
中华田园敏捷【技术创作101训练营】
大龄程序员老羊
1.4K
25
14分3秒
【技术创作101训练营】线上CPU过高怎么办.mp4
IT小马哥
1.4K
9
2分8秒
腾讯云AI 8月大事件速览
腾讯云TI平台
1.4K
14
领券
首页
学习
活动
专区
圈层
工具
返回腾讯云官网
我来说两句