首页
学习
活动
专区
工具
TVP
发布

Jed的技术阶梯

专栏作者
220
文章
365602
阅读量
48
订阅数
012.DolphinScheduler案例实战
需求是,使用spark程序读用户表,统计用户个数,保存到结果表user_count:
CoderJed
2021-02-04
1.8K0
014.Elasticsearch分布式原理
通常我们在每台机器部署并启动一个ES进程,怎么让多台机器上的多个ES进程,互相发现对方,然后完美的组成一个ES集群呢?
CoderJed
2020-07-02
7500
005.CM大数据平台实践之角色重分配
目前DN在node01-node03上,现在想把node01上的DN移动到node04上,操作记录如下:
CoderJed
2020-06-16
3200
004.CM大数据平台实践之常用组件安装
每安装完一个组件之后,CM很能会提示某些过期配置需要重启,那么重启服务即可,最终的集群状态如下:
CoderJed
2020-06-16
3130
005.ELK收集Nginx日志
ab工具用于批量发送HTTP请求到指定的URL,是一个压力测试工具,这里使用它来生成Nginx的日志
CoderJed
2020-04-24
5600
008.使用Kibana画图展示Nginx日志报表
1. 准备工作 将${FILEBEAT_HOME}/kibana目录复制到其他目录,使用RPM安装的filebeat在/usr/share目录下 [root@node01 ~]# cp -a /usr/share/kibana /root/filebeat-kibana /root/filebeat-kibana目录下只留个3文件 filebeat-kibana/6/dashboard/Filebeat-nginx-logs.json filebeat-kibana/6/dashboard/Fi
CoderJed
2020-04-23
1.8K0
018.Redis Cluster故障转移原理
当集群内某个节点出现问题时,需要通过一种健壮的方式保证识别出节点是否发生了故障。Redis集群内节点通过ping/pong消息实现节点通信,消息不但可以传播节点槽信息,还可以传播其他状态如:主从状态、节点故障等。因此故障发现也是通过消息传播机制实现的,主要环节包括:主观下线(PFAIL-Possibly Fail)和客观下线(Fail)
CoderJed
2020-03-27
4.8K1
014.Redis Cluster搭建及测试
3个节点的master配置文件,redis_6379.conf,未列出的配置保持默认即可
CoderJed
2020-03-26
1.3K0
016.Redis Cluster通信原理
Redis Cluster采用P2P的Gossip协议进行通信,节点之间不断的交换信息,这些信息包括节点负责哪些slot、是否出现故障等信息
CoderJed
2020-03-25
1.4K0
015.Redis Cluster集群扩容缩容原理及实战
redis-trib.rb工具也实现了为现有集群添加新节点的命令,同时也实现了直接添加为slave的支持: # 新节点加入集群 redis-trib.rb add-node new_host:new_port old_host:old_port # 新节点加入集群并作为指定master的slave redis-trib.rb add-node new_host:new_port old_host:old_port --slave --master-id <master-id> 建议使用redis-trib.rb add-node将新节点添加到集群中,该命令会检查新节点的状态,如果新节点已经加入了其他集群或者已经包含数据,则会报错,而使用cluster meet命令则不会做这样的检查,假如新节点已经存在数据,则会合并到集群中,造成数据不一致
CoderJed
2020-03-25
3.9K0
004.XShell远程连接工具配置以及虚拟机克隆
systemctl disable firewalld # 禁止防火墙开机自启动 - 检查是不是由于防火墙导致的问题 在Windows上开启Telnet Client功能
CoderJed
2020-03-25
9730
[hadoop-2.9.2] Capacity Scheduler
Capacity Scheduler 为支持多租户在共享集群上运行程序,为最大程度地提高应用程序的吞吐量,为实现集群的高利用率而生。
CoderJed
2019-05-17
1.1K0
[hadoop-2.9.2] Fair Scheduler
Fair Scheduler会在所有运行的作业之间动态地平衡资源,第一个(大)作业启动时,它是唯一运行的作业,因而可以获得集群中的全部资源,当第二个(小)作业启动时,它可以分配到集群的一半资源,这样每个作业都能公平共享资源。
CoderJed
2019-05-15
1.5K1
Spark on Yarn资源配置
工作期间,我提交spark任务到yarn上,发现指定的资源(使用内存大小。使用core的个数)总是与yarn的UI页面显示的资源使用量不一致,写本文说明一下这个问题,以及介绍一下spark on yarn的资源配置。
CoderJed
2019-05-15
1.9K0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档