首页
学习
活动
专区
工具
TVP
发布

最新最全的大数据技术体系

专栏成员
751
文章
642738
阅读量
35
订阅数
每天一道大厂SQL题【Day08】
大家好,我是Maynor。相信大家和我一样,都有一个大厂梦,作为一名资深大数据选手,深知SQL重要性,接下来我准备用100天时间,基于大数据岗面试中的经典SQL题,以每日1题的形式,带你过一遍热门SQL题并给出恰如其分的解答。
Maynor
2023-02-17
2560
大数据成长之路------hadoop集群的部署(2)Hadoop集群安装部署
7、启动集群 a)格式化集群 在第一个节点执行 hadoop namenode -format
Maynor
2022-11-30
4350
大数据成长之路------hadoop集群的部署 配置系统网络(静态) 新增集群(三台)
将eth1 改为eth0(当前网卡编号) address 必须与前面的唯一标识相同,若不相同,需要将address改为和MAC相同
Maynor
2022-11-30
3040
工作总结之linux防火墙配置命令适用centos7、centos8
在CentOS 7中,开启指定区域(zone)中的指定端口8080,或者端口3306、或者指定范围内的端口8080-8088。
Maynor
2022-06-08
3.3K0
[新星计划]大数据故事集__从超市收银来看网站系统的发展
一家小超市,一个收银员,同时还兼着干点其他的事情,例如,打扫卫生、摆货。来买东西的人多起来了,排队很长,顾客受不了,于是增加了一个收银台,雇了一个收银员。忙的时候收银员根本没时间去打扫卫生,超市内有点脏,于是雇了一个专门打扫卫生的。随着顾客不断增加,超市也经过好几次装修,由以前的一层变成了两层,这个时候所做的事情就是不断增加收银台、收银员和打扫卫生的人。在超市运转的过程中,老板发现一个现象,有些收银台排很长的队,有些收银台排的人不多,了解后知道是因为收银台太多了,顾客根本看不到现在各个收银台的状况。对于这个现象,一 种简单的方法就是继续加收银台。但一方面,超市没地方可加收银台了,另一方面,作为老板,当然不需要雇太多的人,于是开始研究怎样让顾客了解到收银台的状况,简单地加了一个摄像头和一个大屏幕,在大屏幕上显示目前收银台的状况,这样基本解决了这个问题。排队长度差不多后,又出现了一个现象,就是有些收银台速 度明显比其他的慢,原因是排在这些收银台的顾客买的东西特别 多,于是又想了一招,就是设立专门的10件以下的通道,这样买 东西比较少的顾客就不用排太长的队了,这一招施展后,顾客的满意度明显提升,销售额也好了不少,后来就继续用这招应对团购状况、VIP 状况。在解决了上面的一些烦心事后,老板关注到了一个存在已久的现象,就是白天收银台很闲,晚上则很忙,于是从节省成本上考虑,决定实行部分员工只在晚上上班的机制,白天则关闭一些收银台,顾客仍然可以通过大屏幕看到哪些收银台是关闭的,避免走到没人的收银台去,实行这招后,成本大大降 低了。 这个生活中的例子及其解决的方法,其实和互联网网站发展过程中的一些技术是非常类似的,只是在技术层面用其他名词来 表达了而已,例如,有集群、分工、负载均衡、根据QoS分配资 源等。
Maynor
2021-12-07
1.1K0
大数据开发岗面试复习30天冲刺 - 日积月累,每日五题【Day25】——Spark12
1)原理: 计算能力调度器支持多个队列,每个队列可配置一定的资源量,每个队列采用 FIFO 调度策略,为了防止同一个用户的作业独占队列中的资源,该调度器会对 同一用户提交的作业所占资源量进行限定。调度时,首先按以下策略选择一个合适队列:计算每个队列中正在运行的任务数与其应该分得的计算资源之间的 比值(即比较空闲的队列),选择一个该比值最小的队列;然后按以下策略选择该队列中一个作业:按照作业优先级和提交时间顺序选择, 同时考虑用户资源量限制和内存限制 2)优点: (1)计算能力保证。支持多个队列,某个作业可被提交到某一个队列中。每个队列会配置一定比例的计算资源,且所有提交到队列中的作业 共享该队列中的资源; (2)灵活性。空闲资源会被分配给那些未达到资源使用上限的队列,当某个未达到资源的队列需要资源时,一旦出现空闲资源资源,便会分配给他们; (3)支持优先级。队列支持作业优先级调度(默认是FIFO); (4)多重租赁。综合考虑多种约束防止单个作业、用户或者队列独占队列或者集群中的资源; (5)基于资源的调度。支持资源密集型作业,允许作业使用的资源量高于默认值,进而可容纳不同资源需求的作业。不过,当前仅支持内存资源的调度。
Maynor
2021-12-07
2160
手把手教你大数据离线综合实战 ETL+Hive+Mysql+Spark
两个主要方面的业务: ⚫ 第一个、数据【ETL 处理】 ◼依据IP地址,调用第三方库解析为省份province和城市city; ◼将ETL后数据保存至PARQUET文件(分区)或Hive 分区表中; ⚫ 第二个、数据【业务报表】 ◼读取Hive Table中广告数据,按照业务报表需求统计分析,使用DSL编程或SQL编程; ◼将业务报表数据最终存储MySQL Table表中,便于前端展示; 上述两个业务功能的实现,使用SparkSQL进行完成,最终使用Oozie和Hue进行可视化操作调用程序ETL和Report自动执行。
Maynor
2021-12-07
1.3K1
SpringCloud微服务之Nacos集群搭建
其中包含3个nacos节点,然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。
Maynor
2021-12-06
4800
SpringCloud微服务之Nacos集群搭建
其中包含3个nacos节点,然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。
Maynor
2021-11-16
7340
大数据错题集----集群的机架感知配置
目标:掌握集群的机架感知配置 机架感知需要人为进行配置,编写Python脚本“RackAware.py”。内容为服务器IP与交换机的对应关系。(开源hadoop,使用RackAware.sh)
Maynor
2021-04-09
2810
大数据成长之路------hadoop集群的部署(2)
7、启动集群 a)格式化集群 在第一个节点执行 hadoop namenode -format
Maynor
2021-04-09
3070
大数据成长之路------hadoop集群的部署
将eth1 改为eth0(当前网卡编号) address 必须与前面的唯一标识相同,若不相同,需要将address改为和MAC相同
Maynor
2021-04-09
2890
Linux基础Day01
详情请参考 资料(环境) 中《01_开启电脑虚拟化》,《02_安装虚拟机软件》word文档!
Maynor
2021-04-09
7350
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档