首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Hadoop集群日常

(一)备份namenode元数据 namenode中元数据非常重要,如丢失或者损坏,则整个系统无法使用。因此应该经常对元数据进行备份,最好是异地备份。...1、将元数据复制到远程站点 (1)以下代码将secondary namenode中元数据复制到一个时间命名目录下,然后通过scp命令远程发送到其它机器 #!...(三)文件系统检查 定期在整个文件系统上运行HDFSfsck工具,主动查找丢失或者损坏块。 建议每天执行一次。...均衡器是一个hadoop守护进程,它将块从忙碌DN移动相对空闲DN,同时坚持块复本放置策略,将复本分散到不同机器、机架。 建议定期执行均衡器,如每天或者每周。...(3)不同节点之间复制数据带宽是受限,默认是1MB/s,可以通过hdfs-site.xml文件中dfs.balance.bandwithPerSec属性指定(单位是字节)。

1.1K20
您找到你想要的搜索结果了吗?
是的
没有找到

日常管理(一)

当你cpu为1核时,理想状态为小于等于1.00,同理推算其它不同核心cpu。...,表示有多少个进程目前出在run状态 b,block简写,这个进程被cpu以外例如硬盘或网络(网速慢)堵死了,阻挡了。...(如果这个数据不变,代表正常,如果数据不停变化,代表内存和交换分区不停交换数据,同时,si,so也一定会不停变化,内存不足) si,参照物为内存 in,有多少KB数据块,在等待进入内存 so,参照物为内存...Linux 2.6.32-696.3.1.el6.x86_64 (VM_106_133_centos) 07/10/17 _x86_64_ (1 CPU) 19:06:14 IFACE rxpck/s...、(几千还是正常,如果超过万就不正常了,被攻击了) txpck/s:trainsmission 发送数据包、 rxkB/s:接收数据量 (单位为KB) txkB/s:发送数据量 (单位为KB

3K40

日常管理(二)

yum install -y sysstat #iostat //直接查看磁盘现状 #iostat 1 10 //和vmstat一样功能 KB_read/s 读硬盘速度 KB_wrtn/s 写硬盘速度...---- 查看系统进程(ps) : #ps aux (静态查看系统所有的进程,top是动态) STAT部分说明: D 不能中断进程(不经常看到进程)   R run状态进程     S sleep...,处于等待一个状态 LISTEN: 侦听状态 实用管理命令: 一次性查看所有的连接状态 (熟能生巧)### #netstat -an | awk '/^tcp/ {++sta[$NF]} END...{for(key in sta) print key,"\t",sta[key]}' 小扩展: 扩展tcp三次握手四次挥手(面试考点) tshark几个用法 ---- Linux抓包工具(tcpdump....cap是不可以直接cat查看) 如果不晓得一个文件是什么类型文件可以使用 file /tmp/1.cap #tcpdump -r /tmp/1.cap -r: 读取 实用管理命令: #yum

3.5K60

日常管理(三)

一、网络相关 : yum install -y net-tools #ifconfig -a :查看全部网卡信息 在centOS 7 中,我们使用网卡为ens33 ,但是在centOS 6或者更往前版本使用是...ens33 && ifup ens33 在日常当中,有时候我们需要对一台服务器设定多个IP,此时我们需要用到虚拟网卡: #cd /etc/sysconfig/network-scripts/ :...#mii-tool ens33 设置linux服务器hostname #systemctl set-hostname zhdy-03 (设置服务器hostname为zhdy-03) 配置文件在 #...# iptables -nvL ---- 三、netfilter5表 5链 : filter : INPUT: 数据包进来时候经过链(可以选择禁止某些访问80端口IP) FORWARD: 把到达本地数据包转发到指定机器...( 转发) OUTPUT: 本机所要发出数据包,在出去前所做操作 nat : 1.PREROUTING: 当进来时候,对数据包进行操作。

3.2K50

日常 3

crontab -e 编辑任务计划 crontab -l(小写L) 列出任务计划 crontab -r 删除 crontab -u [username] 指定某个用户 1-5 表示范围1到5 1,2,3...表示或者 */2 表示能被2整除 要保证服务启动状态 systemctl start crond.servive /var/spool/cron/[username] 用户cron计划内容...--level 34 network off/on 控制network等级3和4开关 --add [servicename] 增加一行服务,前提是在/etc/init.d/目录下有文件 --del [...service 系统服务 target 多个unit组成组 device 硬件设备 mount 文件系统挂载点 automount 自动挂载点 path 文件或路径 scope 不是由systemd启动外部进程...slice 进程组 snapshot systemd快照 socket 进程间通信套接字 swap swap文件 timer 定时器 systemctl list-units 列出所有正在运行unit

57520

Docker Swarm 日常命令笔记

之前介绍了Docker管理工具-Swarm部署记录,这里简单总结下Docker Swarm日常维护命令,以作为平时运笔记....发起该命令之后,Swarm会前往Docker Hub上内建发现服务中获取一个全球唯一token,用以唯一标识Swarm管理Docker集群。...发现(discovery)是Swarm中用于维护Docker集群状态机制。既然涉及到发现(discovery),那在这之前必须先有注册(register)。...需要说明是:虽然Swarm Server完全兼容DockerAPI,但是有不少Docker命令目前是不支持,毕竟管理Docker集群与管理单独Docker会有一些区别。...==========================下面简单梳理了一些日常中用到Swarm相关命令============================= 1) 初始化swarm manager

1.4K40

linux

理解 shell 先来说下shell是什么,shell是Linux/Unix一个外壳,Linux/Unix通过shell与内核交互,shell接收用户或程序命令进而转化成内核明白命令,内核完成任务后再返回有用信息给用户或者程序...Linux服务器被黑遭敲诈,如何在3小时内紧急逆袭 作者介绍:陈浩,北信源研发工程师,五年Linux工作经验,热衷技术研究、实践和团队分享。...看完就会用 GIT 操作图解分析 无论你是前端还是后台,无论是还是移动端研发,GIT 是逃避不了东西,当然你说你要用 SVN,那不在这次讨论范围之内。...不掌握根本不行~ 原文出处:http://t.cn/RJ21Xmd 学习提高代码质量 22 招 本文主要关注代码内部和外部质量,编程价值观,代码质量评估标准,整洁代码匠艺以及如何维护已有的代码...把它掌握好了可以对你工作产生非常积极影响,比如许多日常任务就可以简化到只需要编写简单命令然后按一下 Enter 就可以了。

14K30

Linux工程师10个日常使用工具分享

3.功能强大,有很多实用功能,可以方便日常工作。4.个人比较喜欢两点,一个是可以动态监控服务器cpu和内存状态,还有就是可以通过软件中心快速部署基础服务。...八、shell脚本1.shell脚本介绍/bin/bash是目前大多数Linux系统版本默认采用shell脚本,是工程师处理问题,提高工作效率重要手段。...2.灵活使用shell脚本,可以使自己能力得到极大提高。3.不断使用、优化shell脚本,才能更好掌握它。...3.可以监控服务器硬件温度,对于日常来说非常有用。十、Wireshark——网络抓包工具1.Wireshark简介Wireshark 是一个网络封包分析软件。...2.Wireshark使用抓取icmp数据包图片3.Wireshark使用感受1.对于网络工程师来说,可以快速定位分析网络故障。2.可以查看各种网络封包详细信息,了解数据包详细内容。

64651

Data Guard及ADG日常操作

从这期开始讲Oracle Data Guard方面的内容 Data Guard作为Oracle提供一个高可用及灾备解决方案,理解并可以实施它对于DBA来说是非常重要套技能 前面我们已经介绍了如何假设物理备库...,今天介绍日常如何维和如何开启ADG 1....日常操作 3.1 关闭同步 SQL>alter database recover managed standby database cancel; 3.2 开启物理备库* SQL>startup nomount...session; 3.2.2.2 取消延迟 SQL> ALTER DATABASE RECOVER MANAGED STANDBY DATABASE NODELAY; 3.3 重新注册归档日志 有时备库归档文件不是主库传输而是手动拷贝过来...操作系统备份 没有用stnadby关键字备份控制文件 好了,到这里我们讲了DG日常一些操作,下一节讲如何进行switchover

1.7K10

日常|Nginx重新编译添加模块

在我们编译安装Nginx时候,在默认情况下,我们使用是HTTP,这也是在默认内网都是在使用这种模式。...下面讲解如何在已经安装过后再次添加新模块。1、找到源码目录找到安装nginx源码根目录(即安装包存放目录),如果没有的话下载新源码并解压,然后执行下面的命令。...$ cd nginx-1.23.32、重新编译代码和模块如果还需要其他参数可以在后面使用--with来增加。.../nginx6、查看当前笔记本nginx已经安装模块7、写在最后作为一名工程师需要了解掌握很多技能,比如说操作系统、开源组件、监控相关、编程知识、网络知识、数据库知识、自动化技能和日志分析能力。...当然也不能缺少一些软技能,例如沟通、抗压等,要和同事、领导以及客户保持良好沟通,理解需求,提供有效解决方案,需要应对高强度工作压力,保持冷静,快速解决问题。

65500

linux前景

薪水前景: 总的来说,薪水普遍比开发人员略低一点。这是因为上手工作比开发门槛略低,市场上有很多运人员处于“会搭建服务”状态。...但是随着你个人能力提升,金字塔效应一样会很明显。各大公司都需要技艺高超人员,开出价格并不会比你同龄开发人员明显低。...目前我所遇到过薪水最高人员,薪资在40W左右,据说也有人在50W左右年薪,我目前没有见过50W,不敢妄下结论....如果有兴趣,建议大家读一下>这本书,对你做好自己职业规划有很大帮助. 学习路上,有童鞋所关注问题? 1. 行业加班多吗?...另外如果你要学Linux,最重要不是考虑你多大合不合适,好不好学问题,而是应该考虑自己要在哪个城市定居,如果在北上广深,立刻动身去学.如果是打算定居在三线四线城市,一定要先看看有没有合适你企业和工作再去学

6.8K30

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

    运营活动

    活动名称
    广告关闭
    领券