腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

最新最全的大数据技术体系

专栏作者

717

文章

538357

阅读量

33

订阅数

2022年Hadoop面试题最全整理，两万字干货分享【建议收藏】

数据安全大数据 hadoop 文件存储

Hadoop 中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架(MapReduce)；第三：资源调度框架(YARN)。

2023-02-01

7170

工作常用之Spark调优【二】资源调优

spark yarn node.js 文件存储 jar

先设定单个 Executor 核数，根据 Yarn 配置得出每个节点最多的 Executor 数量，每个节

2022-11-28

4810

工作常用之Spark调优[二】资源调优

spark linux yarn node.js 文件存储

先设定单个 Executor 核数，根据 Yarn 配置得出每个节点最多的 Executor 数量，每个节

2022-09-27

6520

实时即未来，车联网项目之将数据落地到文件系统和数据库【三】

hive 文件存储编程算法数据库 sql

azkaban airflow dolphinscheduler oozie 自研

2022-09-27

4300

Hive的基本知识(一)

存储 hive hadoop 文件存储 jdbc

💃 Hive架构 📷 💃Hive 组件用户接口：包括 CLI、JDBC/ODBC、WebGUI。其中，CLI(command line interface)为shell命令行； Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于JDBC或ODBC协议。WebGUI是通过浏览器访问Hive。元数据存储：通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 Dri

2022-05-08

3590

今日指数项目之Apache Avro介绍【五】

json 编程算法文件存储大数据打包

在企业级大数据流处理项目中，往往在项目数据源处需要面临实时海量数据的采集。采集数据的性能一般与网络带宽、机器硬件、数据量等因素有直接关系；当其他因素是固定的，这里我们只考虑数据量的话，那么数据量的传输和存储性能是我们首先需要面对和解决的。由此我们引入了Avro数据序列化框架，来解决数据的传输性能问题。

2022-04-11

6770

Hive的基本知识(一)

存储 hive hadoop 文件存储 jdbc

Hive 组件用户接口：包括 CLI、JDBC/ODBC、WebGUI。其中，CLI(command line interface)为shell命令行； Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于JDBC或ODBC协议。WebGUI是通过浏览器访问Hive。元数据存储：通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。 Driver驱动程序，包括语法解析器、计划编译器、优化器、执行器 : 完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有执行引擎调用执行。执行引擎：Hive本身并不直接处理数据文件。而是通过执行引擎处理。当下Hive支持MapReduce、 Tez、Spark3种执行引擎。 Hive基本使用链接方式： 1.使用hive本地连接 2.开启hiveserver2远程服务，使用beeline连接 3.使用hive参数执行任务 hive -e ‘执行语句’ hive -f ‘执行脚本文件’

2021-12-07

3620

大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day07】——Hbase1

hbase TDSQL MySQL 版分布式文件存储存储

•功能：Hbase是一个分布式的、基于分布式内存和HDFS的按列存储的NoSQL数据库 •应用：Hbase适合于需要实时的对大量数据进行快速、随机读写访问的场景

2021-12-07

2060

大数据开发工程师基本功修炼之Linux学习笔记(二)

ide 文件存储

在没有图形界面的环境下, 要编辑文件, vi是最佳选择每一个使用linux的程序员,都应该或多或少的学习一些vi的常用命令

2021-12-07

4090

回答粉丝疑问:Spark为什么调优需要降低过多小任务，降低单条记录的资源开销?

数据库 sql 文件存储分布式

filter操作使用不当，很容易引发麻烦。假如一个任务有3个parition，经过filger过滤之后，可能导致部分剩下很少，有些剩余很多，剩余很多的在下一步计算量很大，会拖后腿，其他的作业很快就做完了，而剩余很多的要执行很长时间，整个任务都要延误，而其他很快执行完的作业早就释放资源了造成资源还的浪费

2021-12-07

1160

大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day25】——Spark12

文件存储 spark mapreduce tcp/ip

1）原理：计算能力调度器支持多个队列，每个队列可配置一定的资源量，每个队列采用 FIFO 调度策略，为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。调度时，首先按以下策略选择一个合适队列：计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值(即比较空闲的队列)，选择一个该比值最小的队列；然后按以下策略选择该队列中一个作业：按照作业优先级和提交时间顺序选择，同时考虑用户资源量限制和内存限制 2）优点：（1）计算能力保证。支持多个队列，某个作业可被提交到某一个队列中。每个队列会配置一定比例的计算资源，且所有提交到队列中的作业共享该队列中的资源；（2）灵活性。空闲资源会被分配给那些未达到资源使用上限的队列，当某个未达到资源的队列需要资源时，一旦出现空闲资源资源，便会分配给他们；（3）支持优先级。队列支持作业优先级调度（默认是FIFO）；（4）多重租赁。综合考虑多种约束防止单个作业、用户或者队列独占队列或者集群中的资源；（5）基于资源的调度。支持资源密集型作业，允许作业使用的资源量高于默认值，进而可容纳不同资源需求的作业。不过，当前仅支持内存资源的调度。

2021-12-07

2000

大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day20】——Spark7

文件存储 spark yarn node.js hadoop

可以减少数据的体积，减少存储空间，高效存储和传输数据，不好的是使用的时候要反序列化，非常消耗CPU。配，用完了就立即回收资源，启动会麻烦一点，启动一次分配一次，会比较麻烦。

2021-12-07

1670

大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day15】——Spark2

spark sql 文件存储大数据

1）如果说HDFS是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准。 2）速度更快：从使用spark sql操作普通文件CSV和parquet文件速度对比上看，绝大多数情况会比使用csv等普通文件速度提升10倍左右，在一些普通文件系统无法在spark上成功运行的情况下，使用parquet很多时候可以成功运行。 3）parquet的压缩技术非常稳定出色，在spark sql中对压缩技术的处理可能无法正常的完成工作（例如会导致lost task，lost executor）但是此时如果使用parquet就可以正常的完成。 4）极大的减少磁盘I/o,通常情况下能够减少75%的存储空间，由此可以极大的减少spark sql处理数据的时候的数据输入内容，尤其是在spark1.6x中有个下推过滤器在一些情况下可以极大的减少磁盘的IO和内存的占用，（下推过滤器）。 5）spark 1.6x parquet方式极大的提升了扫描的吞吐量，极大提高了数据的查找速度spark1.6和spark1.5x相比而言，提升了大约1倍的速度，在spark1.6X中，操作parquet时候cpu也进行了极大的优化，有效的降低了cpu消耗。 6）采用parquet可以极大的优化spark的调度和执行。我们测试spark如果用parquet可以有效的减少stage的执行消耗，同时可以优化执行路径。

2021-12-07

2300

Java面向对象课程设计项目__文件管理器

文件存储 java

实现一个能够对文件和文件夹进行各种基本操作的文件管理器窗口程序。功能要求功能较完善的文 1)新建、删除、修改、复制、粘贴文件功能管理器 2)新建、删除、修改目录 3)具有对某个文件进行压缩打包的功能 4)要求实现多文档界面 5)要求界面美观、功能布局合理

2021-12-06

3080

[hadoop3.x]HDFS存储类型和存储策略(五)概述

文件存储存储大数据 sdn

[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS

2021-12-06

1.3K0

✨[hadoop3.x]新一代的存储格式Apache Arrow(四)

apache 文件存储 hadoop spark 大数据

[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS

2021-12-06

3960

[hadoop3.x系列]Hadoop常用文件存储格式及BigData File Viewer工具的使用(三)

存储 windows 文件存储大数据 linux

[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS

2021-12-06

4650

[新星计划]导师嫌我Sql写的太low？要求我重写还加了三个需求？——二战Spark电影评分数据分析

sql spark 大数据文件存储 python

这是我的上篇博文，当时仅是做了一个实现案例（demo级别），没想到居然让我押中了题，还让我稳稳的及格了（这次测试试卷难度极大，考60分都能在班上排进前10）不过我在复盘的时候，发现自己的致命弱点：写sql的能力太菜了。。

2021-06-11

5220

大数据开发前置技能__Dubbox快速入门

dubbo 文件存储 http rpc xml

1.Dubbox简介 1.1什么是SOA架构 SOA是Service-Oriented Architecture的首字母简称，它是一种支持面向服务的架构样式。从服务、基于服务开发和服务的结果来看，面向服务是一种思考方式。其实SOA架构更多应用于互联网项目开发。为什么互联网项目会采用SOA架构呢？随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，迫切需一个治理系统确保架构有条不紊的演进。我们看一下开发架构的演进过程。如下图：

2021-04-09

2690

知行教育项目_Hive参数优化

hive 文件存储 mapreduce python 大数据

我们知道传统的OLTP数据库一般都具有索引和表分区的功能，通过表分区能够在特定的区域检索数据，减少扫描成本，在一定程度上提高查询效率，我们还可以通过建立索引进一步提升查询效率。在Hive数仓中也有索引和分区的概念。

2021-04-09

7200

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态