幽鸿

LV1
  • 原创分享作者

技术专栏

大数据-数据人生TA创建的

75 文章14 关注者

全部文章

  • Executor源码分析

    Executor源码的最主要代码是TaskRunner,TaskRunner是一个多线程,首先看其runner方法:

    幽鸿
    spark大数据
  • TaskScheduler源码解读

    这里调用了taskScheduler接口,我们打开TaskScheduler trait,trait在scala里就是接口,在IDEA中查看实现的类,使用快捷键...

    幽鸿
    大数据spark
  • DAGScheduler源码解读2-task创建

    在上一篇文章中,我们分析了DAGScheduler的代码,重点了解了stage的创建和划分,是重中之重。这篇文章重点分析下task的创建:

    幽鸿
    大数据spark
  • SparkContext源码解读

    TaskSceduler在具体创建的时候,是由不同发布模式比如standalone、yarn、mesos决定的,返回一个SchedulerBackend.

    幽鸿
    大数据spark
  • Hive Join详解

    最近对hive的join用的比较多,特地归纳下常用的各种连接,看看hive的连接和我们普通的是否有不同。创建ta.txt和tb.txt两个文件,加载数据:

    幽鸿
  • Spring MVC Controller层事物注解不生效

    最近在写一个管理台页面,是从页面提交多个form到controller层的,这些form要么都能提交成功,要么都失败。controller层需要进行事物处理,于...

    幽鸿
  • Linux脚本的bom格式开头

        仔细观察下,原来该脚本不小心带了bom文件头。检查一个文件是否带bom头,可以如下检查:

    幽鸿
  • Python eggs异常

    最近在使用Python的时候发现有异常,异常内容为python-eggs is writable ……,详细异常如下:

    幽鸿
  • spring mvc 的@PathVariable对应中文乱码解决办法

    最近博客的目录改用Restful风格时,少不了用到@PathVariable注解,可是发现URL带中文的时候,接受参数时竟然乱码。常见的解决乱码访问无非下面几种...

    幽鸿
  • Scala开发环境搭建

    最近有点空,看了下Scala,这门新兴的编程语言,据说大有取代Java之势。它集面向对象和函数式编程于一体,而Java8的最大新特性就是引入了函数式编程。TIO...

    幽鸿
  • Linux环境搭建svn服务器

    官网下载:http://subversion.apache.org/packages.html

    幽鸿
  • MySql慢查询检测与优化

    眼下用的最多的关系型数据库数MySql莫属了,之前也用过其它各种数据库。最近使用MySql一段时间了,突然好奇心下,想看看MySql到底性能如何?刚好最近手上有...

    幽鸿
  • eclipse+Tomcat热部署方案

        今天这里要和大家推荐的是一款解决eclipse+tomcat热部署的插件,这款插件是我同学推荐给我的,还不错,名叫Jrebel,这是一款商业插件。这里给...

    幽鸿
  • ubuntu安装sendmail

    一、安装 ubuntu中sendmail函数可以很方便的发送邮件,ubuntu sendmail先要安装两个包。必需安装的两个包:  sudo apt-...

    幽鸿
  • Java之网站优化

    本博客从今年年初开始,其实已经完成了基本功能。随着偶尔写两篇文章,本站访问速度越来越慢。最开始使用的是腾讯云的最基础云服务器,配置为:共享CPU、512M、Un...

    幽鸿
  • JAVA中的加密算法之双向加密(二)

    本节主要讲述Java双向加密算法中的非对称加密算法实现。 (二)、非对称加密 1976年,美国学者Dime和Henman为解决信息公开传送和密钥管理问题,提...

    幽鸿
  • 2.4&2.5 将例子改为你所需要的&小结

    你现在有机会使用例子服务器进行工作,你可能想知道什么方式能够最好处理你的定制需求,你有大量的选择。你可以使用example/ 文件夹,然后迎合自己的需求改变它。...

    幽鸿
  • mybatis做like模糊查询

    mybatis在做Like的模糊查询的时候,不能直接在sql语句中使用like %关键词,因为这是Mybatis的保留关键字。其实想做模糊查询很简单,随便写下...

    幽鸿
  • Spark开发指南

    总的来说,每一个Spark的应用,都是由一个驱动程序(driver program)构成,它运行用户的main函数,在一个集群上执行各种各样的并行操作。Spar...

    幽鸿
  • Sqoop-1.4.4工具import和export使用详解

    Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出,其中主要使用了import和export这两个工具。这两个工具非常强大,提供了很多选项帮...

    幽鸿

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券