九州暮云

LV1
发表了文章

Redis AOF重写阻塞问题分析

某个业务线使用Redis集群保存用户session数据,数据量大约在4千万-5千万,每天发生3-4次AOF重写,每次时间持续30-40秒,AOF重写期间出现Re...

九州暮云
发表了文章

ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析(三)

这个问题又让我们碰到了,发生次数不频繁但是一旦发生就会造成ResourceManager服务崩溃、ZK注册watch过多等问题。不彻底解决这个问题心中一直是个梗...

九州暮云
发表了文章

大压缩文件对Impala查询性能的影响

Hadoop/HDFS/MapReduce/Impala被设计用于存储和处理大量文件的场景,比如TB或者PB级别数据量的文件。大量小文件对查询性能有很大的影响,...

九州暮云
发表了文章

YARN Fair Scheduler批量分配功能调优总结

YARN调度效率不高,队列资源充足,集群中正在运行的任务数量少,资源利用率低的情况下有一部分任务排队,等待分配资源时间长。

九州暮云
YarnActionScriptHadoopNode.js
发表了文章

一步一步理解Impala query profile(四)

在本系列的第三部分,我使用了一个示例来详细地介绍Impala query profile。在这一部分中,我将使用一个真实生产系统的Impala Profile文...

九州暮云
大数据grep
发表了文章

利用反射实现状态同步

Java反射使我们能在程序运行时动态调用某个对象的方法/构造函数、获取某个对象的属性,经常用于实现动态代理、工厂模式、Java JDBC加载连接驱动类等,近期阅...

九州暮云
大数据JavaJVMUnix
发表了文章

一步一步理解 Impala query profile(三)

在本博客系列的第3部分,我将仍然关注查询计划(Query Plan)和执行摘要(Execution Summary),但是将使用真实数据(Kaggle’s Fl...

九州暮云
发表了文章

一步一步理解Impala query profile(二)

在上一篇文章中,我们介绍了Impala query profie的概要部分,在本篇文章我们介绍Profile的查询计划(Query Plan)和执行概要(Exe...

九州暮云
大数据
发表了文章

一步一步理解Impala query profile(一)

很多Impala用户不知道如何阅读Impala query profile来了解一个查询背后正在执行的操作,从而在此基础上对查询进行调优以充分发挥查询的性能。因...

九州暮云
ShellSQL网站
订阅了专栏

腾讯云自媒体分享计划

3 文章3.4K 关注者
关注了用户

腾讯云自媒体分享计划

腾讯 · 产品运营 (已认证)

申请条件:至少有 20 篇或以上符合投稿要求可迁入腾讯云专栏的原创技术文章。

3 文章0 回答3.4K 关注者
发表了文章

(译)优化ORC和Parquet文件,提升大SQL读取性能

本文编译自IBM开发者社区,主要介绍了HDFS中小的ORC和Parquet文件的问题,以及这些小文件如何影响Big SQL的读取性能,并探索了为了提高读取性能,...

九州暮云
SQL大数据HiveHadoop存储
发表了文章

YARN任务监控界面Aggregate Resource Allocation指标解析

在YARN的原生任务监控界面中,我们经常能看到Aggregate Resource Allocation这个指标(图中高亮选中部分),这个指标表示该任务拥有的所...

九州暮云
YarnNode.js
发表了文章

Scala 枚举的使用和探索(译)

枚举(Enumerations)是一种语言特性,对于建模有限的实体集来说特别有用。一个经典的例子是将工作日建模为一个枚举:每个七天都有一个值。Scala和许多其...

九州暮云
Scala文件存储IDE打包
发表了文章

Error: Your Command Line Tools are too outdated

解决方式:使用App Store账号登录开发者中心:https://developer.apple.com/xcode/,然后转到https://develop...

九州暮云
httpsMac OS网络安全Xcode
发表了文章

redis原子性读写操作之LUA脚本和watch机制

最近在开发电商平台的子系统——储值卡系统,系统核心业务涉及到金额消费以及库存控制,由于redis事务并不能保证操作的原子性,因此为了解决建立在内存上高并发情况下...

九州暮云
LinuxRedisLua其他
发表了文章

链表

链表(Linked list)是一种常见的基础数据结构,是一种线性表,但是并不会按线性的顺序存储数据,而是在每一个节点里存到下一个节点的指针(Pointer)。...

九州暮云
编程算法数据结构
发表了文章

Error:java: javacTask: source release 8 requires target release 1.8

这个主要是由于在idea中基于JDK 1.8编写的代码没有找到相应的JDK编译器导致的,解决方法如下:

九州暮云
IDEJDKXMLJavaMaven
发表了文章

HTTP Client MultiThreadedHttpConnectionManager线程安全连接管理类源码解析

MultiThreadedHttpConnectionManager 是HTTP Client中用来复用连接的连接管理类,可以通过这样的方式去 创建一个Clie...

九州暮云
HTTPJavaApache编程算法
发表了文章

volatile关键字使用总结

volatile 关键字在多线程程序中起着很重要的作用。当多个线程操作同一个变量时,每个线程将拥有对那个变量的本地缓存拷贝,因此,当某一个线程修改了这个变量的值...

九州暮云
编程算法Java缓存

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券