是我自己作为面试者和作为面试官都会被问到或者问到别人的问题，这个总结里面有大量参考了网上和书上各位老师、大佬的一些原文答案，只是希望可以给出更好的回答，一般上我都会把原文链接贴上，如有侵权请联系删除！...Local: Local 模式即单机模式，如果在命令语句中不加任何配置，则默认是 Local 模式，在本地运行。...说说Yarn-cluster的运行阶段 在 Yarn-cluset 模式下，当用户向 Yarn 提交一个应用程序后，Yarn 将两个阶段运行该应用程序: 第一阶段是把 Spark 的 Driver 作为一个...而在细粒度运行模式下，Spark 应用程序是以单个任务的粒度发送到 Mesos 中执行，在执行过程中 SparkContext 并不能与 Executor 直接进行交互，而是由 Mesos Master...如何区分 Appliction(应用程序)还有 Driver(驱动程序) Application 是指用户编写的 Spark 应用程序，包含驱动程序 Driver 和分布在集群中多个节点上运行的 Executor
一个是集群模式(cluster), 一个是客户端模式(client). 1.4 基于Kubernetes(即k8s)部署 可以看到，这几种部署模式提交作业的方式都是有固定格式的，可谓大同小异，下面将介绍一下提交任务的命令及参数...3.3.0 Documentation deploy-mode 决定将驱动程序部署在工作节点(cluster)上还是作为外部客户端(client) 本地部署（默认:client) conf 键值对格式的任意...下面四个参数在执行任务时可能需要根据实际情况调试，以提高资源的利用率，可重点关注一下： driver-core 指定驱动程序的内核数量，默认值为1。...(yarn-cluster only) driver-memory 指定应用程序在驱动程序上分配多少内存的参数； 比如1000M，2G。默认值是1024M。...获取集群资源的外部服务(例如独立管理器、Mesos、YARN、Kubernetes) Worker node 可以在集群中运行应用程序代码的任何节点 Executor 是集群中工作节点（Worker）
测试环境规划 以下是在我准备好的k8s环境上对ceph osd做的规划： 主机名 IP 角色 数据磁盘 k8s-b-master...192.168.11.9 k8s worker、ceph osd 5个1TB硬盘 在一个由1个master节点和2个worker节点组成的Kubernetes集群上使用Rook作为后端存储管理器来运行...总之，具体的规划方案取决于实际的需求和资源限制，我的是本地测试环境，所以目前就先给到2个工作节点。...「方案二：」 另一种选择是将osd放置在一个独立的节点上，而不是在每个worker节点上运行一个osd。...然后，可以在Rook的cluster.yaml中指定该OSD节点的名称和其他详细信息，以便Rook可以管理该节点。在这种情况下，需要确保在Rook和Ceph之间正确配置网络连接以便通信。
传统的设计方法都是把计算跟存储尽量绑定在一起的，这种架构在数据量不大的时候是很好的选择，但是当发展到如今这种超大数据规模的时代，这种架构已经不是最优的了；而且 Google 机房内带宽很高，要访问的数据到底在计算节点本地还是在远端几乎没有太大的区别...UDF Server 是 Google 比较创新的一个概念，它是一个 UDF 的仓库，而且是在执行引擎之外的，执行引擎通过 RPC 与 UDF Server 进行交互。...F1 Query没有透露关于这个算法更详细的信息。 在交互式的执行模式下, 查询基本都是在内存里面执行的，因为没有中间落盘的过程，纯内存的计算速度非常的快，这样才可以保证“交互性”。...在实际过程中，执行时间在一个小时内的查询还是比较可靠的，超过一个小时的查询往往会不停的失败，这种情况下使用 Batch Execution 更好。...UDF Server 这样设计的好处我理解有两个; 把 UDF 的概念从具体的执行引擎里面拿出来了，使得各种不同的数据执行引擎可以共用同一个 UDF Server，而不需要重复开发。
Spark的架构 1、概述 为了更好地理解调度，先来鸟瞰一下集群模式下的Spark程序运行架构图。...此外，cluster manager会在Worker Node上启动一个执行器（专属于本驱动程序）。 SparkContext对象和Executor进程交互，负责任务的调度分配。...2>Executor 负责运行Task计算任务，并将计算结果回传到Driver中。 3>Task 在执行器上执行的最小单元。...接下来，就是在Executor中运行Task任务，如果缓存中没有计算结果，那么就需要开始计算，同时，计算的结果会回传到Driver或者保存在本地。...任务调度流程图 根据对以上信息的理解，我自己画了一个任务执行流程-关系图，如下： 上一篇：Spark框架核心概念 下一篇：
基础概念理解 Application 用户在 spark 上构建的程序，包含了 driver 程序以及在集群上运行的程序代码，物理机器上涉及了 driver，master，worker 三个节点....Cluster Manager 集群的资源管理器，在集群上获取资源的外部服务。 拿 Yarn 举例，客户端程序会向 Yarn 申请计算我这个任务需要多少的 memory，多少 CPU，etc。...然后 Cluster Manager 会通过调度告诉客户端可以使用，然后客户端就可以把程序送到每个 Worker Node 上面去执行了。...，从而提供了低延迟性 cores 每一个 core，相当于一个 worker 上的进程，这些进程会同时执行分配到这个 worker 上的任务。...简单的说，就是 spark manager 把一个 job 切分几个 task 分发到 worker 上同步执行，而每个 worker 把分配给自己的 task 再切分成几个 subtask，分配给当前
：驱动程序 (3) Cluster Manager：资源管理器 (4) Worker：计算节点 (5) Executor：执行器 接下来分析在计算逻辑方面的核心抽象： 1....在Spark中，我们通过对RDD的操作表达我们的计算意图，这些计算会自动地在集群上并行执行。Spark最神奇的地方就在于自动将函数分发到各个执行器节点上。...这样只需在单一驱动程序中编程，Spark让代码自动在多个节点上并发执行，即简化并行、移动计算。...它基于Spark自己的Master-Worker集群。 (2) 第二种是基于YARN的yarn-cluster模式。...缺点 真正面对大数据时候，在没有进行调优的情况下，可能会出现各种各样的问题，比如OOM内存溢出。而MapReduce虽然慢，但不至于OOM。
PySpark 如何实现某个worker 里的变量单例 从前面PySpark worker启动机制里，我们可以看到，一个Python worker是可以反复执行任务的。...在Spark standalone 和 local模式下，dics.zip在各个worker的工作目录里并不会被解压，所以需要额外处理下： def __init__(self, baseDir,...： SparkFiles.getRootDirectory() + '/' + zfilename 所以如果你不是运行在yarn模式的情况下，你需要先解压，然后进行加载。...另外，在使用UDF函数的时候，发现列是NoneType 或者null,那么有两种可能： 在PySpark里，有时候会发现udf函数返回的值总为null,可能的原因有： 忘了写return def abc...比如你明明是一个FloatType,但是你定义的时候说是一个ArrayType,这个时候似乎不会报错，而是udf函数执行会是null. 这个问题之前在处理二进制字段时遇到了。
驱动程序包含 Spark 应用程序中的主函数, 定义了分布式数据集以应用在集群中. ...2.2 executor(执行器) SparkContext对象一旦成功连接到集群管理器, 就可以获取到集群中每个节点上的执行器(executor). ...执行器是一个进程(进程名: ExecutorBackend, 运行在 Worker 节点上), 用来执行计算和为应用程序存储数据. ...我们可以对这些文本行运行各种各样的操作. 2.4 cluster managers(集群管理器) 为了在一个 Spark 集群上运行计算, SparkContext对象可以连接到几种集群管理器(Spark...包含驱动程序和运行在集群上的执行器) Application jar A jar containing the user’s Spark application.
模式： cluster模式提交任务时，由于Driver是在worker节点中启动，会去worker节点路径中寻找class所在的jar包，这样需要将class所在的jar包在每个worker点中有一份...执行流程 在worker节点启动Driver进程后,Driver向Master申请资源,向woker发送task,并接受worker的执行结果 cluster模式提交应用程序后，会向Master请求启动...总结 cluster模式适合在生产模式(项目上线环境)使用, Driver进程是在集群某一台Worker上启动的，在客户端是无法查看task的执行情况(包括执行结果!!!)。...假设要提交100个application到集群运行,每次Driver会随机在集群中某一台Worker上启动，那么这100次网卡流量暴增的问题就散布在集群上。 如何通过WEB UI界面查看结果?...总结 Yarn-client模式同样是适用于测试 ，因为Driver运行在本地，Driver会与yarn集群中的Executor进行大量的通信，会造成客户机网卡流量的大量增加.
SELECT * FROM mytable_jdbc WHERE col2 = 19; 使用函数 您可以调用内置的Hive函数来执行多种操作之一，而不必执行多个步骤。...当无法使用内置函数来执行所需的操作时，可以创建用户定义函数（UDF）。您可能需要重新加载函数以更新在另一个会话中创建的函数的可用性。...Cloudera Manager，最低要求角色：配置器（也由Cluster Administrator，Full Administrator提供）。 • HiveServer在群集上运行。...创建UDF类 您可以在新类中定义UDF逻辑，该类将返回表中所选列的数据类型。 3. 生成项目并上载JAR 您可以将UDF代码编译成JAR，然后将JAR添加到群集上的类路径中。...在查询中调用UDF 注册UDF之后，无需在查询中使用UDF之前重新启动Hive。在此示例中，您调用在SELECT语句中创建的UDF，Hive返回您指定的列的数据类型。
本地模式：在本地模式下，Spark 应用程序会在单个机器上运行，不需要连接到集群。这种模式适用于开发和测试，但不适用于生产环境。...这种模式支持动态资源分配和与其他 Hadoop 生态系统组件的集成，Spark在Yarn模式下是不需要Master和Worker的。...RDD持久保存到执行程序中的本地文件系统。 因此，数据写得更快，但本地文件系统也不是完全可靠的，一旦数据丢失，工作将无法恢复。 开发人员可以使用RDD.checkpoint()方法来设置检查点。...具体指可参考下面关于Master_URL的列表 —deploy-mode 在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client —class 应用程序的主类，...在yarn或者standalone下使用 Master_URL的值 Master URL 含义 local 使用1个worker线程在本地运行Spark应用程序 local[K] 使用K个worker
driver的内存大小可以进行设置，配置如下：# 设置 driver内存大小driver-memory 1024mMaster & Worker在Spark中，Master是独立集群的控制者，而Worker...Executor在每个Worker上为某应用启动的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上。每个任务都有各自独立的Executor。Executor是一个执行Task的容器。...本地模式：在本地模式下，Spark 应用程序会在单个机器上运行，不需要连接到集群。这种模式适用于开发和测试，但不适用于生产环境。...这种模式支持动态资源分配和与其他 Hadoop 生态系统组件的集成，Spark在Yarn模式下是不需要Master和Worker的。...RDD持久保存到执行程序中的本地文件系统。 因此，数据写得更快，但本地文件系统也不是完全可靠的，一旦数据丢失，工作将无法恢复。开发人员可以使用RDD.checkpoint()方法来设置检查点。
在您的 Linux、Mac 或 Windows 笔记本电脑上解压 Drill 软件，并对本地文件运行查询。 无需设置任何基础设施或定义模式。...就地查询复杂的半结构化数据 使用 Drill 的无模式 JSON 模型，您可以就地查询复杂的、半结构化的数据。 无需在查询执行之前或期间展平或转换数据。...Drill 还支持 Hive UDF。 如果您已经在 Hive 中构建了 UDF，则可以在不进行任何修改的情况下将它们与 Drill 重用。 高性能 Drill 是为高吞吐量和低延迟而设计的。...它不使用像 MapReduce、Tez 或 Spark 这样的通用执行引擎。 因此，Drill 是灵活的（无模式的 JSON 模型）和高性能的。...Drill 利用集群中的聚合内存来使用乐观的流水线模型执行查询，并在工作集不适合内存时自动溢出到磁盘。 Drill 是一个用于大数据探索的 Apache 开源 SQL 查询引擎。
简介 Spark的 bin 目录中的 spark-submit 脚本用于在集群上启动应用程序。...包含包名的全路径名称) --master: 集群的 master URL (例如：spark://23.195.26.187:7077) --deploy-mode: 是在工作节点(cluster)上还是在本地作为一个外部的客户端...在这种设置中， client 模式比较合适。在 client 模式中，驱动程序作为集群的客户端直接在 spark-submit 进程内启动。应用程序的输入和输出直接连到控制台。...以下是常见选项的几个示例： # 在本地运行 8 核 ....一般来说，在 SparkConf 上显式设置的配置选项拥有最高优先级，然后是传递到 spark-submit 的配置选项，最后是默认配置文件中的配置选项。
Job Spark 的 Job 来源于用户执行 action 操作（这是 Spark 中实际意义的 Job），就是从 RDD 中获取结果的操作，而不是将一个 RDD 转换成另一个 RDD 的 transformation...目前来说 Spark 的 Cluster Mode，Yarn 还是主流，K8S 则迎头赶上。...Kubernetes Local: Local 模式即单机模式，如果在命令语句中不加任何配置，则默认是 Local 模式，在本地运行。...其中 Driver 既可以运行在 Master 节点上中，也可以运行在本地 Client 端。...，别看好像很简单，实际上如果常年在做 Spark 内核的开发，而不是业务开发，也许你就想不起来了。
注意：开启多进程不是为了解决高并发，主要是解决了单进程模式下 Node.js CPU 利用率不足的情况，充分利用多核 CPU 的性能。...开启多进程时候端口疑问讲解：如果多个Node进程监听同一个端口时会出现 Error:listen EADDRIUNS的错误，而cluster模块为什么可以让多个子进程监听同一个端口呢?...这些现象都不是我们想要看到的，所以需要通过某些方式来守护这个开启的进程，执行 node app.js 开启一个服务进程之后，我还可以在这个终端上做些别的事情，且不会相互影响。...如果给定的数字为0，PM2则会根据你CPU核心的数量来生成对应的工作线程。注意一般在生产环境使用cluster_mode模式，测试或者本地环境一般使用fork模式，方便测试到错误。...难道Javascript不是单线程不知道小伙伴们有没有这个疑问？ 解释一下这个原因： Node 中最核心的是 v8 引擎，在 Node 启动后，会创建 v8 的实例，这个实例是多线程的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
