大数据面试题
Linux部分
①列举你使用的常用指令？ ②怎么查看服务是否开启？后面的参数都是什么意思？ ③怎么查看服务器内存使用情况？ ④日志查看指令？ ⑤跨机房怎么传输文件？
Hadoop部分
①怎么搭建一个Hadoop集群？ ②Hadoop的Shuffer机制？ ③切片概念？文件256M时，几个切片？ ④Mr任务提交到yarn流程？ ⑤数据倾斜概念？
Hive部分
①hive本质？ ②group by、sort by、oreder by、distribute by、cluster by、partition by区别？ ③开窗函数理解？ ④UDF实现过程？ ⑤有出现过HQL执行出现OOM的现象吗？ ⑥hive导入数据和到处数据的方式？
HBase部分
①集群角色以及作用？ ②client写过程和读过程？ ③布隆过滤器？ ④Hbase存储特点、与mysql相比？ ⑤rowkey的设计？ ⑥cell组成？ ⑦compact触发时间？作用？
Kafka部分
①为什么要使用Kafka？好处？ ②集群角色？ ③kafka中数据写入过程？Follwer与leader如何实现数据同步？ ④kafka消费者组概念？
Flume部分
①Flume组件成员以及含义？ ②Flume传输数据方式？ ③Flume传输数据会丢失吗？怎样避免丢失
Flink部分
①Flink最小计算单元？ ②Flink任务提交至yarn流程？ ③Flink时间语义几种、含义？ ④Flink窗口类型？ ⑤Flink状态后端类型？一般使用哪种类型？ ⑥watermark水位线机制？如何设置数据延迟？ ⑦checkpoint和savepoint区别？有什么好处？ ⑧怎么理解Flink是保证数据不丢失的？端到端一致性含义？ ⑨Flink提供了几层api？分别都适用哪些场景？
Spark部分
①角色组成与作用？ ②spark提交任务至yarn流程？ ③RDD含义及其特性？ ④宽依赖与窄依赖？