高级工程师

大数据-数据人生

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

Executor源码的最主要代码是TaskRunner，TaskRunner是一个多线程，首先看其runner方法：

Executor源码分析

这里调用了taskScheduler接口，我们打开TaskScheduler trait，trait在scala里就是接口，在IDEA中查看实现的类，使用快捷键：ctrl+H，或者直接使用快捷键：ctrl + alt +B查看实现

TaskScheduler源码解读

在上一篇文章中，我们分析了DAGScheduler的代码，重点了解了stage的创建和划分，是重中之重。这篇文章重点分析下task的创建：

DAGScheduler源码解读2-task创建

TaskSceduler在具体创建的时候，是由不同发布模式比如standalone、yarn、mesos决定的，返回一个SchedulerBackend.

SparkContext源码解读

最近对hive的join用的比较多，特地归纳下常用的各种连接，看看hive的连接和我们普通的是否有不同。创建ta.txt和tb.txt两个文件,加载数据：

Hive Join详解

最近在写一个管理台页面，是从页面提交多个form到controller层的，这些form要么都能提交成功，要么都失败。controller层需要进行事物处理，于是简单的加了@Transactional注解，测试的时候，我故意把最后一个表单的某个字段长度设置超长，后台肯定会报data too long exception。代码主体简要如下：

Spring MVC Controller层事物注解不生效

    仔细观察下，原来该脚本不小心带了bom文件头。检查一个文件是否带bom头，可以如下检查：

Linux脚本的bom格式开头

最近在使用Python的时候发现有异常，异常内容为python-eggs is writable ……，详细异常如下：

Python eggs异常

最近博客的目录改用Restful风格时，少不了用到@PathVariable注解，可是发现URL带中文的时候，接受参数时竟然乱码。常见的解决乱码访问无非下面几种：

spring mvc 的@PathVariable对应中文乱码解决办法

最近有点空，看了下Scala，这门新兴的编程语言，据说大有取代Java之势。它集面向对象和函数式编程于一体，而Java8的最大新特性就是引入了函数式编程。TIOBE编程语言社区发布了6月排行榜，Java以20.794%的份额毫无悬念继续荣登榜首，而scala则排到了30名。这里就不讨论这些没渣的东西。鉴于scala直接兼容Java，所以本文将介绍下如何在eclipse中开发scala。

Scala开发环境搭建

官网下载：http://subversion.apache.org/packages.html

Linux环境搭建svn服务器

眼下用的最多的关系型数据库数MySql莫属了，之前也用过其它各种数据库。最近使用MySql一段时间了，突然好奇心下，想看看MySql到底性能如何？刚好最近手上有一份2000W的数据集，刚好拿过来练练手。

MySql慢查询检测与优化

    今天这里要和大家推荐的是一款解决eclipse+tomcat热部署的插件，这款插件是我同学推荐给我的，还不错，名叫Jrebel，这是一款商业插件。这里给大家介绍的使用方法仅限于学习和研究，不可用于商业目的哦。

eclipse+Tomcat热部署方案

一、安装
 ubuntu中sendmail函数可以很方便的发送邮件，ubuntu sendmail先要安装两个包。必需安装的两个包： 
 
 sudo apt-get install sendmail  
 sudo apt-get install sendmail-cf  
 
 
 下面几个包是可选的：
 squirrelmail             //提供webmail        spamassassin          //提供邮件过滤   mailman                

ubuntu安装sendmail

本博客从今年年初开始，其实已经完成了基本功能。随着偶尔写两篇文章，本站访问速度越来越慢。最开始使用的是腾讯云的最基础云服务器，配置为：共享CPU、512M、Unbuntu服务器，每次打开服务器，发现CPU和内存使用率经常达到了100%，基本满载运行。还经常报内存溢出异常。

Java之网站优化

本节主要讲述Java双向加密算法中的非对称加密算法实现。
 (二)、非对称加密
 1976年，美国学者Dime和Henman为解决信息公开传送和密钥管理问题，提出一种新的密钥交换协议，允许在不安全的媒体上的通讯双方交换信息，安全地达成一致的密钥，这就是“公开密钥系统”。相对于“对称加密算法”这种方法也叫做“非对称加密算法”。 与对称加密算法不同，非对称加密算法需要两个密钥：公开密钥（publickey）和私有密钥
 （privatekey）。公开密钥与私有密钥是一对，如果用公开密钥对数据进行加密，只有用对应的私有密钥才能解密；如果用私有密钥对数据进行加密，那么只有用对应的公开密钥才能解密。因为加密和解密使用的是两个不同的密钥，所以这种算法叫作非对称加密算法。
 
 1. RSA 公钥加密算法是1977年由Ron Rivest、Adi Shamirh和LenAdleman在（美国麻省理工学院）开发的。RSA取名来自开发他们三者的名字。RSA是目前最有影响力的公钥加密算法，它能够抵抗到目前为止已知的所有密码攻击，已被ISO推荐为公钥数据加密标准。RSA算法基于一个十分简单的数论事实：将两个大素数相乘十分容易，但那时想要对其乘积进行因式分解却极其困难，因此可以将乘积公开作为加密密钥。

JAVA中的加密算法之双向加密(二)

你现在有机会使用例子服务器进行工作，你可能想知道什么方式能够最好处理你的定制需求，你有大量的选择。你可以使用example/ 文件夹，然后迎合自己的需求改变它。但是我们认为复制一个/example，将自己的应用复制一个example/。当你使用自己应用的时候，这允许你改变某些东西。

2.4&2.5 将例子改为你所需要的&小结

 mybatis在做Like的模糊查询的时候，不能直接在sql语句中使用like %关键词，因为这是Mybatis的保留关键字。其实想做模糊查询很简单，随便写下以下几种供大家参考:

mybatis做like模糊查询

总的来说，每一个Spark的应用，都是由一个驱动程序（driver program）构成，它运行用户的main函数，在一个集群上执行各种各样的并行操作。Spark提出的最主要抽象概念是弹性分布式数据集 (resilient distributed dataset,RDD)，它是元素的集合，划分到集群的各个节点上，可以被并行操作。RDDs的创建可以从HDFS(或者任意其他支持Hadoop文件系统) 上的一个文件开始，或者通过转换驱动程序（driver program）中已存在的Scala集合而来。用户也可以让Spark保留一个RDD在内存中，使其能在并行操作中被有效的重复使用。最后，RDD能自动从节点故障中恢复。

Spark开发指南

Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。这两个工具非常强大，提供了很多选项帮助我们完成数据的迁移和同步。比如，下面两个潜在的需求：

Sqoop-1.4.4工具import和export使用详解

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

腾讯云开发者社区推出了大数据-数据人生专栏，为你提供了大数据-数据人生的相关文章，致力于帮助开发者快速成长与发展。

大数据-数据人生

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐