首页
学习
活动
专区
工具
TVP
发布

知了一笑

专栏作者
302
文章
202720
阅读量
29
订阅数
OLAP引擎:基于Druid组件进行数据统计分析
Druid是一款基于分布式架构的OLAP引擎,支持数据写入、低延时、高性能的数据分析,具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领域都有相关的应用场景,是大数据基础架构建设中重要组件。
知了一笑
2021-04-16
6570
Hadoop框架:Yarn基本结构和运行原理
Hadoop三大核心组件:分布式文件系统HDFS、分布式计算框架MapReduce,分布式集群资源调度框架Yarn。Yarn并不是在Hadoop初期就有的,是在Hadoop升级发展才诞生的,典型的Master-Slave架构。
知了一笑
2020-12-28
4980
Hadoop框架:DataNode工作机制详解
DataNode上数据块以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是数据块元数据包括长度、校验、时间戳;
知了一笑
2020-11-02
4250
Hadoop框架:NameNode工作机制详解
NameNode运行时元数据需要存放在内存中,同时在磁盘中备份元数据的fsImage,当元数据有更新或者添加元数据时,修改内存中的元数据会把操作记录追加到edits日志文件中,这里不包括查询操作。如果NameNode节点发生故障,可以通过FsImage和Edits的合并,重新把元数据加载到内存中,此时SecondaryNameNode专门用于fsImage和edits的合并。
知了一笑
2020-11-02
5520
Hadoop框架:HDFS高可用环境配置
在单点或者少数节点故障的情况下,集群还可以正常的提供服务,HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode的热备来消除单节点故障问题,如果单个节点出现故障,可通过该方式将NameNode快速切换到另外一个节点上。
知了一笑
2020-11-02
3510
Hadoop框架:HDFS读写机制与API详解
第一个副本和client在一个节点里,如果client不在集群范围内,则这第一个node是随机选取的;第二个副本和第一个副本放在相同的机架上随机选择;第三个副本在不同的机架上随机选择,减少了机架间的写流量,通常可以提高写性能,机架故障的概率远小于节点故障的概率,因此该策略不会影响数据的稳定性。
知了一笑
2020-10-10
2930
Hadoop框架:HDFS简介与Shell管理命令
大数据领域一直面对的两大核心模块:数据存储,数据计算,HDFS作为最重要的大数据存储技术,具有高度的容错能力,稳定而且可靠。HDFS(Hadoop-Distributed-File-System),它是一个分布式文件系统,用于存储文件,通过目录树来定位文件;设计初衷是管理数成百上千的服务器与磁盘,让应用程序像使用普通文件系统一样存储大规模的文件数据,适合一次写入,多次读出的场景,且不支持文件的修改,适合做数据分析。
知了一笑
2020-10-10
6100
数据源管理 | 搜索引擎框架,ElasticSearch集群模式
在真正海量数据的业务场景中,ElasticSearch搜索引擎都是需要集群化管理的,实时搜索几十亿的数据十分常见。
知了一笑
2020-07-17
6480
SpringBoot2.0 基础案例(17):自定义启动页,项目打包和指定运行环境
springboot的打包方式有很多种。可以打war包,可以打jar包,可以使用jekins进行打包部署的。不推荐用war包,SpringBoot适合前后端分离,打成jar进行部署更加方便快捷。
知了一笑
2019-07-19
6150
SpringBoot 2.0 集成 JavaMail ,实现异步发送邮件
(1)、Message 类: javax.mail.Message 类是创建和解析邮件的一个抽象类 子类javax.mail.internet.MimeMessage :表示一份电子邮件。 发送邮件时,首先创建出封装了邮件数据的 Message 对象, 然后把这个对象传递给邮件发送Transport 类,执行发送。 接收邮件时,把接收到的邮件数据封装在Message 类的实例中,从这个对象中解析收到的邮件数据。
知了一笑
2019-07-19
1.8K0
SpringCloud微服务:Eureka组件之服务注册与发现
角色职责如下: 1)、Register:服务注册中心,它是一个Eureka Server ,提供服务注册和发现功能。 2)、Provider:服务提供者,它是一个Eureka Client ,提供服务。 3)、Consumer:服务消费者,它是一个Eureka Cient ,消费服务。
知了一笑
2019-07-19
7100
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档