腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据-数据人生

专栏作者

75

文章

124157

阅读量

15

订阅数

Executor源码分析

spark 大数据

Executor源码的最主要代码是TaskRunner，TaskRunner是一个多线程，首先看其runner方法：

2020-05-06

3820

TaskScheduler源码解读

大数据 spark

这里调用了taskScheduler接口，我们打开TaskScheduler trait，trait在scala里就是接口，在IDEA中查看实现的类，使用快捷键：ctrl+H，或者直接使用快捷键：ctrl + alt +B查看实现

2020-05-04

4630

DAGScheduler源码解读2-task创建

大数据 spark

在上一篇文章中，我们分析了DAGScheduler的代码，重点了解了stage的创建和划分，是重中之重。这篇文章重点分析下task的创建：

2020-05-04

4410

SparkContext源码解读

大数据 spark

TaskSceduler在具体创建的时候，是由不同发布模式比如standalone、yarn、mesos决定的，返回一个SchedulerBackend.

2020-04-08

8010

Hive Join详解

最近对hive的join用的比较多，特地归纳下常用的各种连接，看看hive的连接和我们普通的是否有不同。创建ta.txt和tb.txt两个文件,加载数据：

2020-04-02

9700

Spring MVC Controller层事物注解不生效

controller data exception form 表单

最近在写一个管理台页面，是从页面提交多个form到controller层的，这些form要么都能提交成功，要么都失败。controller层需要进行事物处理，于是简单的加了@Transactional注解，测试的时候，我故意把最后一个表单的某个字段长度设置超长，后台肯定会报data too long exception。代码主体简要如下：

2020-04-02

1.1K0

Linux脚本的bom格式开头

linux shell windows sh vi

仔细观察下，原来该脚本不小心带了bom文件头。检查一个文件是否带bom头，可以如下检查：

2020-04-02

1.9K0

Python eggs异常

最近在使用Python的时候发现有异常，异常内容为python-eggs is writable ……，详细异常如下：

2020-04-02

2960

spring mvc 的@PathVariable对应中文乱码解决办法

最近博客的目录改用Restful风格时，少不了用到@PathVariable注解，可是发现URL带中文的时候，接受参数时竟然乱码。常见的解决乱码访问无非下面几种：

2020-04-02

1.6K0

Scala开发环境搭建

eclipse scala java http

最近有点空，看了下Scala，这门新兴的编程语言，据说大有取代Java之势。它集面向对象和函数式编程于一体，而Java8的最大新特性就是引入了函数式编程。TIOBE编程语言社区发布了6月排行榜，Java以20.794%的份额毫无悬念继续荣登榜首，而scala则排到了30名。这里就不讨论这些没渣的东西。鉴于scala直接兼容Java，所以本文将介绍下如何在eclipse中开发scala。

2020-04-02

6800

Linux环境搭建svn服务器

存储 svn bash bash 指令访问管理

官网下载：http://subversion.apache.org/packages.html

2020-04-02

9.1K0

MySql慢查询检测与优化

数据库云数据库 SQL Server sql

眼下用的最多的关系型数据库数MySql莫属了，之前也用过其它各种数据库。最近使用MySql一段时间了，突然好奇心下，想看看MySql到底性能如何？刚好最近手上有一份2000W的数据集，刚好拿过来练练手。

2020-04-02

6290

eclipse+Tomcat热部署方案

eclipse ide java tomcat http

今天这里要和大家推荐的是一款解决eclipse+tomcat热部署的插件，这款插件是我同学推荐给我的，还不错，名叫Jrebel，这是一款商业插件。这里给大家介绍的使用方法仅限于学习和研究，不可用于商业目的哦。

2020-04-02

4860

ubuntu安装sendmail

bash 指令 bash apt-get http

一、安装 ubuntu中sendmail函数可以很方便的发送邮件，ubuntu sendmail先要安装两个包。必需安装的两个包： sudo apt-get install sendmail sudo apt-get install sendmail-cf 下面几个包是可选的： squirrelmail //提供webmail spamassassin //提供邮件过滤 mailman

2020-04-02

2.5K0

Java之网站优化

数据库 sql 存储 java

本博客从今年年初开始，其实已经完成了基本功能。随着偶尔写两篇文章，本站访问速度越来越慢。最开始使用的是腾讯云的最基础云服务器，配置为：共享CPU、512M、Unbuntu服务器，每次打开服务器，发现CPU和内存使用率经常达到了100%，基本满载运行。还经常报内存溢出异常。

2020-04-02

7370

JAVA中的加密算法之双向加密(二)

数据加密服务数据库云数据库 SQL Server sql java

本节主要讲述Java双向加密算法中的非对称加密算法实现。 (二)、非对称加密 1976年，美国学者Dime和Henman为解决信息公开传送和密钥管理问题，提出一种新的密钥交换协议，允许在不安全的媒体上的通讯双方交换信息，安全地达成一致的密钥，这就是“公开密钥系统”。相对于“对称加密算法”这种方法也叫做“非对称加密算法”。与对称加密算法不同，非对称加密算法需要两个密钥：公开密钥（publickey）和私有密钥（privatekey）。公开密钥与私有密钥是一对，如果用公开密钥对数据进行加密，只有用对应的私有密钥才能解密；如果用私有密钥对数据进行加密，那么只有用对应的公开密钥才能解密。因为加密和解密使用的是两个不同的密钥，所以这种算法叫作非对称加密算法。 1. RSA 公钥加密算法是1977年由Ron Rivest、Adi Shamirh和LenAdleman在（美国麻省理工学院）开发的。RSA取名来自开发他们三者的名字。RSA是目前最有影响力的公钥加密算法，它能够抵抗到目前为止已知的所有密码攻击，已被ISO推荐为公钥数据加密标准。RSA算法基于一个十分简单的数论事实：将两个大素数相乘十分容易，但那时想要对其乘积进行因式分解却极其困难，因此可以将乘积公开作为加密密钥。

2020-04-02

1.5K0

2.4&2.5 将例子改为你所需要的&小结

lucene/solr java

你现在有机会使用例子服务器进行工作，你可能想知道什么方式能够最好处理你的定制需求，你有大量的选择。你可以使用example/ 文件夹，然后迎合自己的需求改变它。但是我们认为复制一个/example，将自己的应用复制一个example/。当你使用自己应用的时候，这允许你改变某些东西。

2020-04-02

3110

mybatis做like模糊查询

mybatis在做Like的模糊查询的时候，不能直接在sql语句中使用like %关键词，因为这是Mybatis的保留关键字。其实想做模糊查询很简单，随便写下以下几种供大家参考:

2020-04-02

1.8K1

Spark开发指南

数据库一体机 TData scala javascript java

总的来说，每一个Spark的应用，都是由一个驱动程序（driver program）构成，它运行用户的main函数，在一个集群上执行各种各样的并行操作。Spark提出的最主要抽象概念是弹性分布式数据集 (resilient distributed dataset,RDD)，它是元素的集合，划分到集群的各个节点上，可以被并行操作。RDDs的创建可以从HDFS(或者任意其他支持Hadoop文件系统) 上的一个文件开始，或者通过转换驱动程序（driver program）中已存在的Scala集合而来。用户也可以让Spark保留一个RDD在内存中，使其能在并行操作中被有效的重复使用。最后，RDD能自动从节点故障中恢复。

2020-04-02

1.8K0

Sqoop-1.4.4工具import和export使用详解

java hive 云数据库 SQL Server spring jdbc

Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。这两个工具非常强大，提供了很多选项帮助我们完成数据的迁移和同步。比如，下面两个潜在的需求：

2020-04-02

9370

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态