大数据解决方案

59 篇文章
5.7K 次阅读
14 人订阅

全部文章

大数据老哥

面试必问 | HBase最新面试总结

最近看了好多粉丝的面试题,于是总结出关于HBase相关的面试题,今天分享给大家,认真阅读,记得收藏。

6930
大数据老哥

干货分享 | 企业中为什么使用Flink异步IO!

Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性,于1.2版本引入。主要目的是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问...

7110
大数据老哥

手把手教你做用户画像体系规划

乔巴:公司领导让我规划用户画像体系,我之前从没做过,现在感觉就像丈二和尚摸不着头脑。用户画像体系规划是怎样的?整个画像体系有哪些模块?在实施过程中先做哪些,后做...

10220
大数据老哥

如何避免Spark SQL做数据导入时产生大量小文件

我们之前的文章《蚂蚁绊倒大象...》介绍过,海量小文件是大数据领域中公认的难题,对时间和性能都可能造成毁灭性打击。本文将继续针对小文件,讲解小文件产生的原因和一...

7910
大数据老哥

架构师 | 数据仓库建设灵魂10问

笔者先后在外企,互联网,金融行业工作,从最初的ODS,DM架构到后面ODS,DWD,DWS,ADS架构都有较深的理解和应用,甚至在相当长的时间内,数仓设计一直作...

9740
大数据老哥

Hadoop分布式文件系统(HDFS)

HDFS (Hadoop Distributed File System)是 Hadoop 下的分布式文件系统,具有高容错、高吞吐量等特性,可以部署在低成本的硬...

7420
大数据老哥

干货分享 | 史上最全Spark高级RDD函数讲解

本篇文章主要介绍高级RDD操作,重点介绍键值RDD,这是操作数据的一种强大的抽象形式。我们还涉及一些更高级的主题,如自定义分区,这是你可能最想要使用RDD的原因...

9930
大数据老哥

SQL 窗口函数的优化和执行

窗口函数(Window Function)是 SQL2003 标准中定义的一项新特性,并在 SQL2011、SQL2016 中又加以完善,添加...

6710
大数据老哥

人人都在用的Spakr调优指南

原文 | https://www.cnblogs.com/liangjf/p/8322410.html

7220
大数据老哥

大厂都在用的Hive优化

Hive作为大数据分析领域常用的仓库工具,即使是现在流式计算如火如荼背景下,Hive依然倍受各大厂商挚爱。使用Hive过程中,面对各种各样的查询...

7120
大数据老哥

都说Kafka牛3万字带你全面掌握kafka

系统间的耦合高怎么办,我们如何不让一个服务过于庞大,一个好的方式就是依据具体的功能模块拆分服务,降低服务的耦合度,服务间的交互可以通过消息传递...

4810
大数据老哥

关于构建数据仓库的几个问题

数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatil...

8120
大数据老哥

13道Flink企业级高频面试题

相信小伙伴们对于Flink一定不会感到陌生,作为连续三年蝉联第一,荣膺全球最活跃的 Apache 开源项目,Flink在中国的热度也一直是居高不下。近几年,在...

9610
大数据老哥

如何管理Spark的分区

当我们使用Spark加载数据源并进行一些列转换时,Spark会将数据拆分为多个分区Partition,并在分区上并行执行计算。所以理解Spar...

5010
大数据老哥

分布式计算—MapReduce、Spark、Storm、Flink分别适用什么场景

链接:https://www.zhihu.com/question/403840013/answer/1317631316

5320
大数据老哥

最新Hive的高频面试题新鲜出炉了!

如果其中有一张表为小表,直接使用map端join的方式(map端加载小表)进行聚合。

6720
大数据老哥

Flink 资源分配和并行度深度剖析

TaskManager 执行具体的 Task。TaskManager 为了对资源进行隔离和增加允许的task数,引入了 slot 的概念,这个 slot 对资源...

7410
大数据老哥

最新Hadoop的面试题总结

1)Zookeeper:是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务,配置维护,命名服务。   2)Flume:一个高可用的,...

11620
大数据老哥

快速入门Docker(4)——commit镜像|容器数据卷

上篇文章给家讲解了实战练习附带了给大家又聊了下境像讲解的原理,本篇文章主要给家聊一聊关于commit的和容器数据卷相关内容附带一些练习,编写不易:对你有帮...

8420
大数据老哥

快速入门Docker(3)——安装实战练习|Docker境像讲解(还不收藏?)

上篇文章给大家讲解了一下关于docker中的常用命令,有很多小伙伴就知道了命令的背后肯定需要练习的,所以他今天来了。博主发现下完实战操作过后...

8010

扫码关注云+社区

领取腾讯云代金券