学习
实践
活动
工具
TVP
写文章

九州暮云

LV1
举报
发表了文章

电商数据应用体系建设总结(三)—— 离线数据兜底方案

目前我们使用 Lambda 架构来处理数据,Flink 处理实时数据,Spark 处理离线数据。Spark 离线任务在每天凌晨的 0-8 点调度执行,在这段时间...

九州暮云
数据处理HivesparkServerless
发表了文章

电商数据应用体系建设总结(一)—— 数据应用架构剖析

数据应用是通过各种各样的数据分析方式将数据展示出来,给决策者、管理者、运营等人员透传数据价值的工具,帮助决策者、管理者及时调整战略目标、公司目标、业务目标,帮助...

九州暮云
大数据数据分析数据处理Kafka消息队列 CMQ 版
发表了文章

电商数据应用体系建设总结(二)—— 数据应用层架构介绍和规范总结

数据经过ETL、存储等数据处理过程之后,通过数据应用产品的形式呈现给最终使用方,PC和APP类数据产品以各类不同用途的数据大屏、看板将数据指标展示给管理者、运营...

九州暮云
SpringSpring Cloud负载均衡负载均衡缓存
发表了文章

滴滴 x StarRocks:极速多维分析创造更大的业务价值

滴滴集团作为生活服务领域的头部企业,正在全面测试和上线StarRocks,其中橙心优选经过一年多的数据体系建设,我们逐渐将一部分需要实时交互查询、即席查询的多维...

九州暮云
日志数据大数据HiveKafka数据分析
发表了文章

HDFS 客户端读写超时时间解析

前段我们Hadoop集群磁盘使用率比较高,部分硬盘空间使用超过了70%,这部分服务器的DataNode服务读写负载就比较高,造成部分数据同步任务因为读写超时而失...

九州暮云
网络安全大数据Node.jsHadoop
发表了文章

Redis AOF重写阻塞问题分析

某个业务线使用Redis集群保存用户session数据,数据量大约在4千万-5千万,每天发生3-4次AOF重写,每次时间持续30-40秒,AOF重写期间出现Re...

九州暮云
云数据库 RedisNode.jsjQuery缓存
发表了文章

ZooKeeper节点数据量限制引起的Hadoop YARN ResourceManager崩溃原因分析(三)

这个问题又让我们碰到了,发生次数不频繁但是一旦发生就会造成ResourceManager服务崩溃、ZK注册watch过多等问题。不彻底解决这个问题心中一直是个梗...

九州暮云
YarnNode.jsHadoopZooKeeperHashMap
发表了文章

大压缩文件对Impala查询性能的影响

Hadoop/HDFS/MapReduce/Impala被设计用于存储和处理大量文件的场景,比如TB或者PB级别数据量的文件。大量小文件对查询性能有很大的影响,...

九州暮云
文件存储Hadoop大数据专用宿主机
发表了文章

YARN Fair Scheduler批量分配功能调优总结

YARN调度效率不高,队列资源充足,集群中正在运行的任务数量少,资源利用率低的情况下有一部分任务排队,等待分配资源时间长。

九州暮云
YarnActionScriptHadoopNode.js
发表了文章

一步一步理解Impala query profile(四)

在本系列的第三部分,我使用了一个示例来详细地介绍Impala query profile。在这一部分中,我将使用一个真实生产系统的Impala Profile文...

九州暮云
大数据grep
发表了文章

利用反射实现状态同步

Java反射使我们能在程序运行时动态调用某个对象的方法/构造函数、获取某个对象的属性,经常用于实现动态代理、工厂模式、Java JDBC加载连接驱动类等,近期阅...

九州暮云
大数据JavaJVMUnix
发表了文章

一步一步理解 Impala query profile(三)

在本博客系列的第3部分,我将仍然关注查询计划(Query Plan)和执行摘要(Execution Summary),但是将使用真实数据(Kaggle’s Fl...

九州暮云
发表了文章

一步一步理解Impala query profile(二)

在上一篇文章中,我们介绍了Impala query profie的概要部分,在本篇文章我们介绍Profile的查询计划(Query Plan)和执行概要(Exe...

九州暮云
大数据
发表了文章

一步一步理解Impala query profile(一)

很多Impala用户不知道如何阅读Impala query profile来了解一个查询背后正在执行的操作,从而在此基础上对查询进行调优以充分发挥查询的性能。因...

九州暮云
ShellSQL网站
订阅了专栏

腾讯云自媒体分享计划

3 文章5.1K 关注者
关注了用户

腾讯云自媒体分享计划

腾讯 · 产品运营 (已认证)

申请条件:至少有 10 篇或以上符合投稿要求可迁入腾讯云专栏的原创技术文章。

3 文章0 回答5.1K 关注者
发表了文章

(译)优化ORC和Parquet文件,提升大SQL读取性能

本文编译自IBM开发者社区,主要介绍了HDFS中小的ORC和Parquet文件的问题,以及这些小文件如何影响Big SQL的读取性能,并探索了为了提高读取性能,...

九州暮云
SQL大数据HiveHadoop存储
发表了文章

YARN任务监控界面Aggregate Resource Allocation指标解析

在YARN的原生任务监控界面中,我们经常能看到Aggregate Resource Allocation这个指标(图中高亮选中部分),这个指标表示该任务拥有的所...

九州暮云
YarnNode.js
发表了文章

Scala 枚举的使用和探索(译)

枚举(Enumerations)是一种语言特性,对于建模有限的实体集来说特别有用。一个经典的例子是将工作日建模为一个枚举:每个七天都有一个值。Scala和许多其...

九州暮云
Scala文件存储IDE打包
发表了文章

Error: Your Command Line Tools are too outdated

解决方式:使用App Store账号登录开发者中心:https://developer.apple.com/xcode/,然后转到https://develop...

九州暮云
httpsMac OS网络安全Xcode

个人简介

个人成就

扫码关注腾讯云开发者

领取腾讯云代金券