原创分享计划作者
暂无搜索历史
Executor源码的最主要代码是TaskRunner,TaskRunner是一个多线程,首先看其runner方法:
这里调用了taskScheduler接口,我们打开TaskScheduler trait,trait在scala里就是接口,在IDEA中查看实现的类,使用快捷键...
在上一篇文章中,我们分析了DAGScheduler的代码,重点了解了stage的创建和划分,是重中之重。这篇文章重点分析下task的创建:
TaskSceduler在具体创建的时候,是由不同发布模式比如standalone、yarn、mesos决定的,返回一个SchedulerBackend.
最近对hive的join用的比较多,特地归纳下常用的各种连接,看看hive的连接和我们普通的是否有不同。创建ta.txt和tb.txt两个文件,加载数据:
最近在写一个管理台页面,是从页面提交多个form到controller层的,这些form要么都能提交成功,要么都失败。controller层需要进行事物处理,于...
仔细观察下,原来该脚本不小心带了bom文件头。检查一个文件是否带bom头,可以如下检查:
最近在使用Python的时候发现有异常,异常内容为python-eggs is writable ……,详细异常如下:
最近博客的目录改用Restful风格时,少不了用到@PathVariable注解,可是发现URL带中文的时候,接受参数时竟然乱码。常见的解决乱码访问无非下面几种...
最近有点空,看了下Scala,这门新兴的编程语言,据说大有取代Java之势。它集面向对象和函数式编程于一体,而Java8的最大新特性就是引入了函数式编程。TIO...
官网下载:http://subversion.apache.org/packages.html
眼下用的最多的关系型数据库数MySql莫属了,之前也用过其它各种数据库。最近使用MySql一段时间了,突然好奇心下,想看看MySql到底性能如何?刚好最近手上有...
今天这里要和大家推荐的是一款解决eclipse+tomcat热部署的插件,这款插件是我同学推荐给我的,还不错,名叫Jrebel,这是一款商业插件。这里给...
一、安装 ubuntu中sendmail函数可以很方便的发送邮件,ubuntu sendmail先要安装两个包。必需安装的两个包: sudo apt-...
本博客从今年年初开始,其实已经完成了基本功能。随着偶尔写两篇文章,本站访问速度越来越慢。最开始使用的是腾讯云的最基础云服务器,配置为:共享CPU、512M、Un...
本节主要讲述Java双向加密算法中的非对称加密算法实现。 (二)、非对称加密 1976年,美国学者Dime和Henman为解决信息公开传送和密钥管理问题,提...
你现在有机会使用例子服务器进行工作,你可能想知道什么方式能够最好处理你的定制需求,你有大量的选择。你可以使用example/ 文件夹,然后迎合自己的需求改变它。...
mybatis在做Like的模糊查询的时候,不能直接在sql语句中使用like %关键词,因为这是Mybatis的保留关键字。其实想做模糊查询很简单,随便写下...
总的来说,每一个Spark的应用,都是由一个驱动程序(driver program)构成,它运行用户的main函数,在一个集群上执行各种各样的并行操作。Spar...
Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出,其中主要使用了import和export这两个工具。这两个工具非常强大,提供了很多选项帮...
暂未填写学校和专业