学习
实践
活动
专区
工具
TVP
写文章

幽鸿

LV1
  • 《技思广益 · 腾讯技术人原创集》作者

举报
发表了文章

Executor源码分析

Executor源码的最主要代码是TaskRunner,TaskRunner是一个多线程,首先看其runner方法:

幽鸿
spark大数据
发表了文章

TaskScheduler源码解读

这里调用了taskScheduler接口,我们打开TaskScheduler trait,trait在scala里就是接口,在IDEA中查看实现的类,使用快捷键...

幽鸿
大数据spark
发表了文章

DAGScheduler源码解读2-task创建

在上一篇文章中,我们分析了DAGScheduler的代码,重点了解了stage的创建和划分,是重中之重。这篇文章重点分析下task的创建:

幽鸿
大数据spark
发表了文章

SparkContext源码解读

TaskSceduler在具体创建的时候,是由不同发布模式比如standalone、yarn、mesos决定的,返回一个SchedulerBackend.

幽鸿
大数据spark
发表了文章

Hive Join详解

最近对hive的join用的比较多,特地归纳下常用的各种连接,看看hive的连接和我们普通的是否有不同。创建ta.txt和tb.txt两个文件,加载数据:

幽鸿
hive
发表了文章

Spring MVC Controller层事物注解不生效

最近在写一个管理台页面,是从页面提交多个form到controller层的,这些form要么都能提交成功,要么都失败。controller层需要进行事物处理,于...

幽鸿
controllerdataexceptionform表单
发表了文章

Linux脚本的bom格式开头

    仔细观察下,原来该脚本不小心带了bom文件头。检查一个文件是否带bom头,可以如下检查:

幽鸿
linuxshellwindowsshvi
发表了文章

Python eggs异常

最近在使用Python的时候发现有异常,异常内容为python-eggs is writable ……,详细异常如下:

幽鸿
python
发表了文章

spring mvc 的@PathVariable对应中文乱码解决办法

最近博客的目录改用Restful风格时,少不了用到@PathVariable注解,可是发现URL带中文的时候,接受参数时竟然乱码。常见的解决乱码访问无非下面几种...

幽鸿
tomcat
发表了文章

Scala开发环境搭建

最近有点空,看了下Scala,这门新兴的编程语言,据说大有取代Java之势。它集面向对象和函数式编程于一体,而Java8的最大新特性就是引入了函数式编程。TIO...

幽鸿
eclipsescalajavahttp
发表了文章

Linux环境搭建svn服务器

官网下载:http://subversion.apache.org/packages.html

幽鸿
存储svnbashbash 指令访问管理
发表了文章

MySql慢查询检测与优化

眼下用的最多的关系型数据库数MySql莫属了,之前也用过其它各种数据库。最近使用MySql一段时间了,突然好奇心下,想看看MySql到底性能如何?刚好最近手上有...

幽鸿
数据库云数据库 SQL Serversql
发表了文章

eclipse+Tomcat热部署方案

    今天这里要和大家推荐的是一款解决eclipse+tomcat热部署的插件,这款插件是我同学推荐给我的,还不错,名叫Jrebel,这是一款商业插件。这里给...

幽鸿
eclipseidejavatomcathttp
发表了文章

ubuntu安装sendmail

一、安装 ubuntu中sendmail函数可以很方便的发送邮件,ubuntu sendmail先要安装两个包。必需安装的两个包:  sudo apt-...

幽鸿
bash 指令bashapt-gethttp
发表了文章

Java之网站优化

本博客从今年年初开始,其实已经完成了基本功能。随着偶尔写两篇文章,本站访问速度越来越慢。最开始使用的是腾讯云的最基础云服务器,配置为:共享CPU、512M、Un...

幽鸿
数据库sql存储java
发表了文章

JAVA中的加密算法之双向加密(二)

本节主要讲述Java双向加密算法中的非对称加密算法实现。 (二)、非对称加密 1976年,美国学者Dime和Henman为解决信息公开传送和密钥管理问题,提...

幽鸿
数据加密服务数据库云数据库 SQL Serversqljava
发表了文章

2.4&2.5 将例子改为你所需要的&小结

你现在有机会使用例子服务器进行工作,你可能想知道什么方式能够最好处理你的定制需求,你有大量的选择。你可以使用example/ 文件夹,然后迎合自己的需求改变它。...

幽鸿
lucene/solrjava
发表了文章

mybatis做like模糊查询

mybatis在做Like的模糊查询的时候,不能直接在sql语句中使用like %关键词,因为这是Mybatis的保留关键字。其实想做模糊查询很简单,随便写下...

幽鸿
mybatis
发表了文章

Spark开发指南

总的来说,每一个Spark的应用,都是由一个驱动程序(driver program)构成,它运行用户的main函数,在一个集群上执行各种各样的并行操作。Spar...

幽鸿
数据库一体机 TDatascalajavascriptjava
发表了文章

Sqoop-1.4.4工具import和export使用详解

Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出,其中主要使用了import和export这两个工具。这两个工具非常强大,提供了很多选项帮...

幽鸿
javahive云数据库 SQL Serverspringjdbc

个人简介

个人成就

  • 影响力总排行第 6221 名
  • 《技思广益 · 腾讯技术人原创集》作者
    • 《技思广益 · 腾讯技术人原创集》作者

  • 获得 178 次赞同
  • 文章被阅读 56.5K 次

扫码关注腾讯云开发者

领取腾讯云代金券