SparkSQL执行错误run at ThreadPoolExecutor.java:1149

为了窥视SparkSQL执行SQL时的内在机制,新建一个测试表testcreate table test(key string,value string) 基于这个测试表,执行下面的sql语句,关键字explain extended可以在console里打印详细日志。 explain extended select a.key*(2+3),b.value from test a join test b on a.key = b.key and a.key >3;

  • console详细日志:

即:

  • Spark UI http://hadoop000:4040/jobs/页面中看到错误: run at ThreadPoolExecutor.java:1149

image.png

https://stackoverflow.com/questions/40852622/what-are-threadpoolexecutors-jobs-in-web-ui

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏chokwin的专栏

如何安装和设置3节点Hadoop集群

Hadoop是一个开源Apache项目,允许在大型数据集上创建并行处理应用程序,分布在网络节点上。它由处理节点间数据可扩展性和冗余的Hadoop分布式文件系统(...

29040
来自专栏大数据技术学习

大数据-Hadoop小文件问题解决方案

HDFS中小文件是指文件size小于HDFS上block(dfs block size)大小的文件。大量的小文件会给Hadoop的扩展性和性能带来严重的影响。

32970
来自专栏加米谷大数据

技术干货 | Hadoop3.0稳定版安装攻略来啦!

第一次安装Apache Hadoop3.0.0是不是状况百出?没关系安装攻略来啦! ? Apache Hadoop 3.0.0在前一个主要发行版本(hadoop...

55790
来自专栏编程坑太多

跟我一起学docker(16)--单节点mesos集群

19430
来自专栏企鹅号快讯

大数据干货系列(二)-HDFS1.0

本文共计876字,预计阅读时长五分钟 一、本质 HDFS(Hadoop Distributed File System)是一种适合运行在通用硬件上的分布式文件系...

27870
来自专栏JackieZheng

学习Spark——环境搭建(Mac版)

大数据情结 还记得上次跳槽期间,与很多猎头都有聊过,其中有一个猎头告诉我,整个IT跳槽都比较频繁,但是相对来说,做大数据的比较“懒”一些,不太愿意动。后来在一篇...

1.4K80
来自专栏Hadoop实操

如何在Oozie中创建有依赖的WorkFlow

79560
来自专栏积累沉淀

Hadoop五个进程的作用和联系

1.NameNode:     相当于一个领导者,负责调度 ,比如你需要存一个1280m的文件     如果按照128m分块 那么namenode就会把这1...

20960
来自专栏云计算教程系列

如何在Ubuntu 18.04上以独立模式安装Hadoop

Hadoop是一个基于Java的编程框架,支持在廉价机器集群上处理和存储极大数据集。它是大数据竞争领域的第一个主要开源项目,由Apache Software F...

24120
来自专栏LanceToBigData

Hadoop(四)HDFS集群详解

前言   前面几篇简单介绍了什么是大数据和Hadoop,也说了怎么搭建最简单的伪分布式和全分布式的hadoop集群。接下来这篇我详细的分享一下HDFS。   H...

55590

扫码关注云+社区

领取腾讯云代金券