首页
学习
活动
专区
工具
TVP
发布

about云

专栏成员
216
文章
329306
阅读量
58
订阅数
2021年最新鲜的面试题整理:亿信华辰
我们VIP成员很多在2021年春节年前、后,拿到了offer。而且不止一个,有的两个,有的四个,有的六个。这里给我们分享其中一位成员,整理的一家公司的面试题,后续将会陆续发布。
用户1410343
2021-03-22
1.1K0
工作经验分享:Spark调优【优化后性能提升1200%】
问题导读 1.本文遇到了什么问题? 2.遇到问题后,做了哪些分析? 3.本文解决倾斜使用哪些方法? 4.本次数据倾斜那种方法更有效? 5.解决性能优化问题的原理是什么? 优化后效果 1.业务处理中存在复杂的多表关联和计算逻辑(原始数据达百亿数量级) 2.优化后,spark计算性能提升了约12倍(6h-->30min) 3.最终,业务的性能瓶颈存在于ES写入(计算结果,ES索引document数约为21亿 pri.store.size约 300gb)
用户1410343
2021-03-03
1.7K0
彻底打通实时数据仓库该如何实现及多种技术架构解析
问题导读 1.实时数据仓库有哪些特点? 2.公司构建实时数据仓库有哪些好处? 3.如何构建实时数据仓库? 4.实时数据仓库本文解析了哪些架构? 越来越多的实时数据需求,需要更多的实时数据来做业务决策,例如需要依据销售情况做一个资源位的调整;同时有些活动也需要实时数据来增强与用户的互动。如果数据有实时和离线两种方案,优先考虑实时的,如果实时实现不了再考虑离线的方式。 实时数据仓库,已经被很多公司所接受,而且接触很多About云社区会员,都在筹备搭建实时数据仓库。 1.那么实时数据仓库有哪些特点:
用户1410343
2021-01-05
1.3K0
大数据实用组件Hudi--实现管理大型分析数据集在HDFS上的存储
问题导读 1.什么是Hudi? 2.Hudi对HDFS可以实现哪些操作? 3.Hudi与其它组件对比有哪些特点? 前两天我们About云群大佬公司想了解Hudi ,并上线使用。Hudi 或许大家了解的比较少,这里给大家介绍下Hudi这个非常实用和有潜力的组件。 Hudi是在HDFS的基础上,对HDFS的管理和操作。支持在Hadoop上执行upserts/insert/delete操作。这里大家可能觉得比较抽象,那么它到底解决了哪些问题? Hudi解决了我们那些痛点 1.实时获取新增数据 你是否遇到过这样的问题,使用Sqoop获取Mysql日志或则数据,然后将新增数据迁移到Hive或则HDFS。对于新增的数据,有不少公司确实是这么做的,比较高级点的,通过Shell调用Sqoop迁移数据实现自动化,但是这里面有很多的坑和难点,相对来说工作量也不少,那么有没有更好的解决办法那?---Hudi可以解决。Hudi可以实时获取新数据。 2.实时查询、分析 对于HDFS数据,我们要查询数据,是需要使用MapReduce的,我们使用MapReduce查询,这几乎是让我们难以接受的,有没有近实时的方案,有没有更好的解决方案--Hudi。 什么是Hudi Apache Hudi代表Hadoop Upserts anD Incrementals,管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。由Uber开发并开源,HDFS上的分析数据集通过两种类型的表提供服务:读优化表(Read Optimized Table)和近实时表(Near-Real-Time Table)。 读优化表的主要目的是通过列式存储提供查询性能,而近实时表则提供实时(基于行的存储和列式存储的组合)查询。 Hudi是一个开源Spark库(基于Spark2.x),用于在Hadoop上执行诸如更新,插入和删除之类的操作。它还允许用户仅摄取更改的数据,从而提高查询效率。它可以像任何作业一样进一步水平扩展,并将数据集直接存储在HDFS上。 Hudi的作用 上面还是比较抽象的话,接着我们来看下图,更形象的来了解Hudi
用户1410343
2020-01-14
4.9K0
比Hive快279倍的数据库-ClickHouse到底是怎样的
1.什么是ClickHouse? 2.ClickHouse适合哪些场景? 3.为什么面向列的数据库查询如此快? 1.什么是ClickHouse ClickHouse是一个面向列的数据库管理系统(DBMS),用于在线分析处理查询(OLAP)。 在“传统”面向行的DBMS中,数据按以下顺序存储:
用户1410343
2018-12-11
7.7K0
hadoop,hbase,hive,zookeeper版本整合兼容性最全,最详细说明【适用于任何版本】
问题导读 1.hadoop与hbase哪些版本兼容? 2.hadoop与hive哪些版本兼容? 3.hbase与hive哪些版本兼容? 4.hbase与zookeeper哪些版本兼容? 前言 之
用户1410343
2018-03-27
2.9K0
hadoop,hbase,hive,zookeeper整合可行性分析及版本确定【续篇】
问题导读 1.如何确定什么版本是稳定版本? 2.本文是如何确定各个版本的? 3.hbase1.x与hive1.x什么情况下是兼容的? 前面一篇写过 hadoop,hbase,hive,zooke
用户1410343
2018-03-27
1.4K0
如何通过官网查找hadoop、hbase、hive版本兼容信息
问题导读 1.如何查看hbase与hadoop的兼容? 2.hive是否与所有hadoop兼容? 3.hadoop2.7.1 hbase1.2.x hive1.2.0是否兼容? 打算做一个比较新的版本兼容,版本的兼容是一个问题。那么如何来看是否兼容。 最简单的办法: hadoop、hbase、hive、zookeeper版本对应关系续(最新版) 那么我们该如何查看hadoop、hbase、hive他们之间的兼容关系 这时候,我们就要去官网了: 首先查看hbase: 进入官网 http://h
用户1410343
2018-03-27
5.9K0
让你真正理解什么是SparkContext, SQLContext 和HiveContext
问题导读 1.你认为SparkContext的作用是什么? 2.SQLContext 和HiveContext的区别是什么? 3.SQLContext、HiveContext与SparkContext的区别是什么? 第一步spark driver 应用程序创建SparkContext,SparkContext 允许spark driver 应用程序通过资源管理器访问集群。资源管理器可以是Yarn,或则spark集群管理器。为了创建SparkContext,你可以第一步创建SparkConf,Spa
用户1410343
2018-03-27
3.2K0
discuz论坛apache日志hadoop大数据分析项目:hive以及hbase是如何入库以及代码实现
about云discuz论坛apache日志hadoop大数据分析项目: 数据时如何导入hbase与hive的到了这里项目的基本核心功能已经完成。这里介绍一下hive以及hbase是如何入库以及代码实现。 首先我们将hbase与hive整合,详细参考 about云分析discuz论坛apache日志hadoop大数据项目:hive与hbase是如何整合使用的 about云分析discuz论坛apache日志hadoop大数据项目:hive与hbase是如何整合使用的 整合完毕,我们就可以通过map
用户1410343
2018-03-27
8530
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档