2018-08-08

1、spark程序停-启，实时数据量一下子太多，如何处理 2、spark程序数据丢失，如何处理？duration是多少？

Checkpointing

一个流应用程序必须全天候运行，所有必须能够解决应用程序逻辑无关的故障（如系统错误，JVM崩溃等）。为了使这成为可能，Spark Streaming需要checkpoint足够的信息到容错存储系统中， 以使系统从故障中恢复。

Metadata checkpointing：保存流计算的定义信息到容错存储系统如HDFS中。这用来恢复应用程序中运行worker的节点的故障。元数据包括 Configuration ：创建Spark Streaming应用程序的配置信息 DStream operations ：定义Streaming应用程序的操作集合 Incomplete batches：操作存在队列中的未完成的批 Data checkpointing ：保存生成的RDD到可靠的存储系统中，这在有状态transformation（如结合跨多个批次的数据）中是必须的。在这样一个transformation中，生成的RDD依赖于之前 批的RDD，随着时间的推移，这个依赖链的长度会持续增长。在恢复的过程中，为了避免这种无限增长。有状态的transformation的中间RDD将会定时地存储到可靠存储系统中，以截断这个依赖链。 元数据checkpoint主要是为了从driver故障中恢复数据。如果transformation操作被用到了，数据checkpoint即使在简单的操作中都是必须的。

3、kafka的consume group概念，kafka工作原理 4、spark去重 5、hbase读写流程 6、乐观锁，悲观锁，并发 7、命令行查看java进程 8、java程序崩溃，没有日志，如何排查问题

启动java时把输出重定向到文件，java xxx >> logfile 2>&1; echo $? >> logfile。另外有时java退出是coredump了，ulimit -c 把core打开

9、hbase，hive，hadoop调优 10、hadoop小文件处理，spark小文件处理 11、jvm内存 12、hbase模糊查询

惰性操作/延迟计算（Lazy Evaluation） RDD的创建和转换方法都是惰性操作，并不会立即执行 例如，当使用SparkContext的textFile方法从HDFS中读取文件时，Spark并不会马上从硬盘中读取文件，数据只有在必要时才会被加载 Spark仅仅记录了这个RDD是怎么创建的，在它上面进行操作又会创建怎样的RDD等信息，为每个RDD维护其血统信息，在需要时创建或重建RDD Spark对RDD的计算，在第一次使用action操作的时候才会执行 Spark通过内部记录metadata表，以表明transformations操作已经被响应了

缓存 回顾RDD的创建有两种方法，可以从存储系统中读取数据，也可以从现有RDD（集合）的转换操作而来

默认每次在RDDs上面进行action操作时，Spark都遍历这个调用者RDD的血统关系图，执行所有的转换来创建它重新计算RDDs 如果想要重复利用一个RDD（直接利用之前计算出的某个RDD结果），可以使用cache()/persist()

cache 把RDD存储在集群中执行者的内存中，实际上是将RDD物化在内存中

persist 是一个通用版的cache方法，通过传参的方法告知，缓存级别、缓存在哪：