腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

个人分享

专栏作者

238

文章

255617

阅读量

42

订阅数

Spark数据传输及ShuffleClient（源码阅读五）

spark 存储 java

　　我们都知道Spark的每个task运行在不同的服务器节点上，map输出的结果直接存储到map任务所在服务器的存储体系中，reduce任务有可能不在同一台机器上运行，所以需要远程将多个map任务的中间结果fetch过来。那么我们就来学习下shuffleClient。shuffleClient存在于每个exeuctor的BlockManager中，它不光是将shuffle文件上传到其他executor或者下载到本地的客户端，也提供了可以被其他exeuctor访问的shuffle服务.当有外部的（其他节点）shuffleClient时，新建ExternalShuffleClient,默认为BlockTransferService.那么真正init的实现方法在NettyBlockTransferService中。

2018-09-06

7130

spark集成hbase与hive数据转换与代码练习

spark hbase hive java apache

　　帮一个朋友写个样例，顺便练手啦~一直在做平台的各种事，但是代码后续还要精进啊。。。

2018-09-06

4640

MapReduce格式与类型

mapreduce 数据处理 java api

　　MapReduce是一个简单的数据处理模型，map与reduce的输入和输出类型都为key-value形式的键值对。

2018-09-06

5980

Redis部分数据结构方法小结

云数据库 Redis 数据结构 java hashmap apache

Redis在工程开发中还是比较常用的Nosql内存数据库，简单巩固一下它的各种数据类型与用法~

2018-09-06

5550

HotSpot 自动内存管理笔记与实战

1.对象的创建虚拟机遇到一条new指令时，首先会去检查这个指令的参数是否能在常量池中定位到一个类的符号引用，并且检查这个符号引用代表的类是否已被加载、解析和初始化过。如果没有，则必须先进行相应的类的加载。

2018-09-06

4160

读写hdfs文件（工作笔记）

java apache hadoop

import java.io.IOException; import java.io.InputStream; import java.util.List; import java.util.Map; import org.apache.commons.io.IOUtils; import org.apache.commons.lang3.StringUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.f

2018-09-06

7220

JVM 类型的生命周期学习

jvm java api 人工智能

Java虚拟机通过装载、连接和初始化一个JAVA类型，使该类型可以被正在运行的JAVA程序所使用，其中，装载就是把二进制形式的JAVA类型读入JAVA虚拟机中；而连接就是把这种读入虚拟机的二进制形式的类型数据合并到虚拟机的运行时状态中去。

2018-09-06

4070

JAVA虚拟机垃圾回收算法原理

java 编程算法

　　　除了释放不再被引用的对象外，垃圾收集器还要处理堆碎块。新的对象分配了空间，不再被引用的对象被释放，所以堆内存的空闲位置介于活动的对象之间。请求分配新对象时可能不得不增大堆空间的大小，虽然可以使用的总空闲空间是足够的。这是因为，堆中没有连续的空闲空间放得下新的对象。

2018-09-06

2280

JAVA 几种引用类型学习

java jdk 缓存

1、对象的强、软、弱和虚引用在JDK 1.2以前的版本中，若一个对象不被任何变量引用，那么程序就无法再使用这个对象。也就是说，只有对象处于可触及（reachable）状态，程序才能使用它。从JDK 1.2版本开始，把对象的引用分为4种级别，从而使程序能更加灵活地控制对象的生命周期。这4种级别由高到低依次为：强引用、软引用、弱引用和虚引用。

2018-09-06

8690

JAVA基础知识

Java 虚拟机是一个可以执行 Java 字节码的虚拟机进程。 Java 源文件被编译成能被 Java 虚拟机执行的字节码文件。 Java 被设计成允许应用程序可以运行在任意的平台，而不需要程序员为每一个平台单独重写或者是重新编译。 Java 虚拟机让这个变为可能，因为它知道底层硬件平台的指令长度和其他特性。

2018-09-06

8990

多线程模拟实现生产者／消费者模型 (借鉴)

java 安全人工智能

在生产者／消费者模型中，生产者Producer负责生产数据，而消费者Consumer负责使用数据。多个生产者线程会在同一时间运行，生产数据，并放到内存中一个共享的区域。期间，多个消费者线程读取内存共享区，消费里面的数据。

2018-09-06

7650

LinkedHashMap的实现原理(复习)

hashmap 编程算法 java

LinkedHashMap是Map接口的哈希表和链接列表实现，具有可预知的迭代顺序。此实现提供所有可选的映射操作，并允许使用null值和null键。此类不保证映射的顺序，特别是它不保证该顺序恒久不变。 LinkedHashMap实现与HashMap的不同之处在于，后者维护着一个运行于所有条目的双重链接列表。此链接列表定义了迭代顺序，该迭代顺序可以是插入顺序或者是访问顺序。注意，此实现不是同步的。如果多个线程同时访问链接的哈希映射，而其中至少一个线程从结构上修改了该映射，则它必须保持外部同步。

2018-09-06

6370

SparkSql官方文档中文翻译(java版本)

Spark SQL是Spark的一个组件，用于结构化数据的计算。Spark SQL提供了一个称为DataFrames的编程抽象，DataFrames可以充当分布式SQL查询引擎。

2018-09-06

8.9K0

JMS的常用方法

java nat apache 人工智能

import javax.jms.Connection; import javax.jms.ConnectionFactory; import javax.jms.Destination; import javax.jms.Message; import javax.jms.MessageConsumer; import javax.jms.MessageListener; import javax.jms.Session; import javax.jms.TextMessage; import org

2018-09-06

6680

单点登录filter根据redis中的key判断是否退出

云数据库 Redis 人工智能 java

其实可以直接用userSession 但由于项目已经封装了,所以再创建个UserMessage实体类，在登录后将token存入session，当从redis中通过key获取token为空时，便清除userSession,跳转到指定系统页面。

2018-09-06

1.1K0

JAVA使用HBASE常用方法

java hbase apache hadoop

package HBaseTest; /** * Created by root on 11/11/22. */ import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.had

2018-09-06

8310

Spark配置参数调优

spark java 缓存

在项目中，由于数据量为几百万甚至千万级别，如果一个executor装载的对象过多，会导致GC很慢。项目中，我们使一个worker节点执行app时启动多个executor，从而加大并发度，解决full GC慢的问题。同时，由于启动了多个exeucute，在内存与核数不变的情况下，需要调整分配给每个execute的内存数及核数。

2018-09-06

1.1K0

spark on hive 配置hive的metastore为mysql

spark hive 云数据库 SQL Server java

<property> <name>hive.metastore.uris</name> <value></value> <description>Thrift uri for the remote metastore. Used by metastore client to connect to remote metastore.</description> </property>

2018-09-06

1.6K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态