架构之路-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

架构之路

专栏成员

74

文章

147103

阅读量

43

订阅数

spark 2.3 导致driver OOM的一个SparkPlanGraphWrapper源码的bug

长话短说，我们部门一个同事找到我，说他的spark 2.3 structured streaming程序频繁报OOM，从来没有坚持过超过三四天的，叫帮看一下。这种事情一般我是不愿意看的，因为大部分情况下spark oom就那么几种可能：

2018-08-01

7980

从Java继承类的重名static函数浅谈解析调用与分派

今天被实习生问了这么个问题：在java中，static成员函数是否可以被重写呢？

2018-08-01

1.2K0

wait方法和sleep方法的区别

一.概念、原理、区别 Java中的多线程是一种抢占式的机制而不是分时机制。线程主要有以下几种状态：可运行，运行，阻塞，死亡。抢占式机制指的是有多个线程处于可运行状态，但是只有一个线程在运行。当有多个线程访问共享数据的时候，就需要对线程进行同步。线程中的几个主要方法的比较： Thread类的方法：sleep(),yield()等 Object的方法：wait()和notify()等每个对象都有一个机锁来控制同步访问。Synchronized关键字可以和对象的机

2018-03-19

1K0

被废弃的 Thread.stop, Thread.suspend, Thread.resume 和Runtime.runFinalizersOnExit

最近学习多线程的知识，看到API里说这些方法被废弃了，就查了一下原因 Thread.stop 这个方法会解除被加锁的对象的锁，因而可能造成这些对象处于不一致的状态，而且这个方法造成的ThreadDeath异常不像其他的检查期异常一样被捕获。可以使用interrupt方法代替。事实上，如果一个方法不能被interrupt，那stop方法也不会起作用。 Thread.suspend, Thread.resume 这俩方法有造成死锁的危险。使用suspend时，并不会释放锁；而如果我想先获取该锁，再进行resu

2018-03-19

1.2K0

struts2拦截器源码分析

我们知道，在开发struts2应用开发的时候我们要在web.xml进行配置拦截器org.apache.struts2.dispatcher.ng.filter.StrutsPrepareAndExecuteFilter（在一些老版的一般配置org.apache.struts2.dispatcher.FilterDispatcher），不知道大家刚开始学的时候有没有这个疑问，为什么通过这个拦截器我们就可以拦截到我们提交的请求，并且一些配置文件就可以得到加载呢？不管你有没有，反正我是有。我想这个问题的答案，我们

2018-03-19

6390

HTTP在要传输的内容大小未知时应该怎样

一般情况HTTP的Header包含Content-Length域来指明报文体的长度。如：有时候服务生成HTTP回应是无法确定消息大小的，比如大文件的下载，或者后台需要复杂的逻辑

2018-03-19

1.1K0

Hadoop运行wordcount时报classnotfound错误的一个原因

我们在按照网上铺天盖地的教程开始运行wordcount时，有时会得到一个报错。如下所示 /usr/local/hadoop-1.2.1/bin# ./hadoop jar /home/ftp/temp/wordcount.jar WordCount /home/input /home/output Exception in thread "main" java.lang.ClassNotFoundException: WordCount at java.n

2018-03-19

1.6K0

hadoop2.6分布式部署时 livenodes等于1的原因

1.问题描述在进行hadoop2.x版本的hdfs分布式部署时，遇到了一个奇怪的问题：使用start-dfs.sh命令启动dfs之后，所有的datanode节点上均能看到datanode进程，然而在namenode的web UI上，显示live nodes数目为1. ---- 2.问题分析打开hadoop2.x/logs文件夹下的hadoop-root-datanode.log文件，发现里面报了一个很有趣的异常： 2015-12-20 22:55:21,374 ERROR org.apache.had

2018-03-19

1.4K0

一条直线上N个线段所覆盖的总长度

转自http://blog.csdn.net/bxyill/article/details/8962832 问题描述：现有一直线，从原点到无穷大。这条直线上有N个线段。线段可能相交。问，N个线段总共覆盖了多长？(重复覆盖的地区只计算一次) ================================================ 解题思路：可以将每个线段拆分成“单位1” 遍历所有线段，使用一个数组记录每个线段所走过的“单位1” 最后统计数组中被走过的中“单位1”的个数，即是所有线段覆盖的总长度

2018-03-19

1.3K0

socket在windows和Linux下的区别

1)头文件 windows下winsock.h/winsock2.h linux下sys/socket.h 错误处理：errno.h 2)初始化 windows下需要用WSAStartup WSADATA wsaData; err = WSAStartup(0x202,&wsaData); if ( err != 0 ) { return 0; } else if ( LOBYTE( wsaData.wVersion )

2018-03-19

2.9K0

超清晰的makefile解释、编写与示例

Makefile范例教学 Makefile和GNU make可能是linux世界里最重要的档案跟指令了。编译一个小程式，可以用简单的command来进行编译；稍微复杂一点的程式，可以用shell script来帮忙进行编译。如今的程式(如Apache, Linux Kernel)可能动辄数百万行程式码，数万个标头档(headers)、库库(libraries)以及程式码(source code)，如果只是针对几个档案进行修改，却要用shell script整个程式重新编译，不但浪费时间也相当没有效率。GNU

2018-03-19

4.9K0

并查集Union-find及其在最小生成树中的应用

并查集是一种用途广泛的数据结构，能够快速地处理集合的合并和查询问题，并且实现起来非常方便，在很多场合中都有着非常巧妙的应用，。本文首先介绍并查集的定义、原理及具体实现，然后以其在最小生成树算法中的一个经典应用为例讲解其具体使用方法。一并查集原理及实现并查集是一种树型的数据结构，用于处理一些不相交集合的合并及查询问题。并查集在使用中通常以森林来表示，每个集合组织为一棵树，并且以树根节点为代表元素。实际中以一个数组father[x]即可实现，表示节点x的父亲节点。另外用一个变量n表示节点的个数。但为了

2018-03-19

1.7K0

Java 集合系列01之总体框架

Java集合是java提供的工具包，包含了常用的数据结构：集合、链表、队列、栈、数组、映射等。Java集合工具包位置是java.util.* Java集合主要可以划分为4个部分：List列表、Set集

2018-03-19

5830

Java 集合系列02之 Collection架构

概要首先，我们对Collection进行说明。下面先看看Collection的一些框架类的关系图： Collection是一个接口，它主要的两个分支是：List 和 Set。 List和Set都是接

2018-03-19

7570

斐波那契查找原理详解与实现

最近看见一个要求仅使用加法减法实现二分查找的题目，百度了一下，原来要用到一个叫做斐波那契查找的的算法。查百度，是这样说的：斐波那契查找与折半查找很相似，他是根据斐波那契序列的特点对有序表进行分割的。他要求开始表中记录的个数为某个斐波那契数小1，即n=F(k)-1; 开始将k值与第F(k-1）位置的记录进行比较(及mid=low+F(k-1)-1),比较结果也分为三种 1）相等，mid位置的元素即为所求 2）> ,low=mid+1,k-=2;说明:low=mid+1说明待查找的元素在[mid+1

2018-03-19

1.8K0

Java关键字 Finally执行与break, continue, return等关键字的关系

长文短总结：在程序没有在执行到finally之前异常退出的情况下，finally是一定执行的，即在finally之前的return语句将在finally执行之后执行。 finally总是在控制转移语句（break，continue，return等）执行之前执行。可不能小看这个简单的 finally，看似简单的问题背后，却隐藏了无数的玄机。接下来我就带您一步一步的揭开这个 finally 的神秘面纱。问题分析首先来问大家一个问题：finally 语句块一定会执行吗？很多人都认为 finally

2018-03-19

3.6K0

Basic Calculator 基本计算器-Leetcode

1.题目： Implement a basic calculator to evaluate a simple expression string. The expression string may contain open ( and closing parentheses ), the plus + or minus sign -, non-negative integers and empty spaces . You may assume that the given expression is

2018-03-19

1.2K0

Search for a range寻找上下界-Leetcode

原题如下： Given a sorted array of integers, find the starting and ending position of a given target value. Your algorithm's runtime complexity must be in the order of O(log n). If the target is not found in the array, return [-1, -1]. For example, Given [5, 7,

2018-03-19

6030

Java继承类中static成员函数的重写

在java中，static成员函数是否可以被重写呢？结论是，你可以在子类中重写一个static函数，但是这个函数并不能像正常的非static函数那样运行。也就是说，虽然你可以定义一个重写函数，但是该函数没有多态特性。让我们测试一下： 1 class testClass1{ 2 static void SMothod(){ 3 System.out.println("static in testClass1"); 4 } 5 } 6 class testCla

2018-03-19

1.7K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态