Jason Guo

LV1
订阅了专栏

腾讯云自媒体分享计划

3 文章3.2K 关注者
关注了用户

腾讯云自媒体分享计划

腾讯 · 产品运营 (已认证)

申请条件:至少有 20 篇或以上符合投稿要求可迁入腾讯云专栏的原创技术文章。

3 文章0 回答3.2K 关注者
发表了文章

Adaptive Execution 让 Spark SQL 更高效更智能

前面《Spark SQL / Catalyst 内部原理 与 RBO》与《Spark SQL 性能优化再进一步 CBO 基于代价的优化》介绍的优化,从查询本身与...

Jason Guo
其他
发表了文章

超大规模 Spark 集群灰度发布 CI CD

目前主流的代码管理工具有,Github、Gitlab等。本文所介绍的内容中,所有代码均托管于私有的 Gitlab 中。

Jason Guo
发表了文章

Spark SQL / Catalyst 内部原理 与 RBO

从上图可见,无论是直接使用 SQL 语句还是使用 DataFrame,都会经过如下步骤转换成 DAG 对 RDD 的操作

Jason Guo
其他
发表了文章

Spark CommitCoordinator 保证数据一致性

本文通过 Local mode 执行如下 Spark 程序详解 commit 原理

Jason Guo
sparkNATHTTPHadoopJSON
发表了文章

Spark SQL 性能优化再进一步 CBO 基于代价的优化

上文Spark SQL 内部原理中介绍的 Optimizer 属于 RBO,实现简单有效。它属于 LogicalPlan 的优化,所有优化均基于 Logical...

Jason Guo
其他
发表了文章

Spark SQL 性能优化再进一步 CBO 基于代价的优化

上文Spark SQL 内部原理中介绍的 Optimizer 属于 RBO,实现简单有效。它属于 LogicalPlan 的优化,所有优化均基于 Logical...

Jason Guo
其他
发表了文章

Spark SQL / Catalyst 内部原理 与 RBO

从上图可见,无论是直接使用 SQL 语句还是使用 DataFrame,都会经过如下步骤转换成 DAG 对 RDD 的操作

Jason Guo
其他
发表了文章

Kafka设计解析(七)- Kafka Stream

Jason Guo
Apache存储
发表了文章

机器学习(三) 关联规则R语言实战 Apriori

Jason Guo
机器学习R 语言数据分析编程算法无监督学习
发表了文章

Java进阶(七)正确理解Thread Local的原理与适用场景

Jason Guo
其他
发表了文章

Kafka设计解析(六)- Kafka高性能架构之道

Jason Guo
其他
发表了文章

Kafka设计解析(八)- Exactly Once语义与事务机制原理

Jason Guo
其他
发表了文章

机器学习(二) 如何做到Kaggle排名前2%

Jason Guo
其他
发表了文章

Java进阶(二)当我们说线程安全时,到底在说什么

Jason Guo
Java安全数据库
发表了文章

Java进阶(四)线程间通信剖析

Jason Guo
其他
发表了文章

Java进阶(五)Java I/O模型从BIO到NIO和Reactor模式

Jason Guo
JavaReactUnix
发表了文章

Java进阶(三)多线程开发关键技术

Jason Guo
Java
发表了文章

Java进阶(六)从ConcurrentHashMap的演进看Java多线程核心技术

Jason Guo
JavaHashMap安全AI 人工智能

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券