首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Hadoop集群日常

(一)备份namenode元数据 namenode中元数据非常重要,如丢失或者损坏,则整个系统无法使用。因此应该经常对元数据进行备份,最好是异地备份。...1、将元数据复制到远程站点 (1)以下代码将secondary namenode中元数据复制到一个时间命名目录下,然后通过scp命令远程发送到其它机器 #!...(三)文件系统检查 定期在整个文件系统上运行HDFSfsck工具,主动查找丢失或者损坏块。 建议每天执行一次。...均衡器是一个hadoop守护进程,它将块从忙碌DN移动相对空闲DN,同时坚持块复本放置策略,将复本分散到不同机器、机架。 建议定期执行均衡器,如每天或者每周。...(3)不同节点之间复制数据带宽是受限,默认是1MB/s,可以通过hdfs-site.xml文件中dfs.balance.bandwithPerSec属性指定(单位是字节)。

1.1K20

日常管理(一)

当你cpu为1核时,理想状态为小于等于1.00,同理推算其它不同核心cpu。...,表示有多少个进程目前出在run状态 b,block简写,这个进程被cpu以外例如硬盘或网络(网速慢)堵死了,阻挡了。...(如果这个数据不变,代表正常,如果数据不停变化,代表内存和交换分区不停交换数据,同时,si,so也一定会不停变化,内存不足) si,参照物为内存 in,有多少KB数据块,在等待进入内存 so,参照物为内存...Linux 2.6.32-696.3.1.el6.x86_64 (VM_106_133_centos) 07/10/17 _x86_64_ (1 CPU) 19:06:14 IFACE rxpck/s...、(几千还是正常,如果超过万就不正常了,被攻击了) txpck/s:trainsmission 发送数据包、 rxkB/s:接收数据量 (单位为KB) txkB/s:发送数据量 (单位为KB

3K40

日常管理(三)

#ifdown ens33 :关闭ens33这个网卡 #ifup ens33 :打开ens33这个网卡 有时候我们通过远程连接工具连接服务器,如果必须重启某个特定网卡我们需要这样操作: #ifdown...ens33 && ifup ens33 在日常当中,有时候我们需要对一台服务器设定多个IP,此时我们需要用到虚拟网卡: #cd /etc/sysconfig/network-scripts/ :...然后再次重启一下网卡既可以看到咱们新建虚拟网卡。 如果人不在机房,如何远程查看服务器有没有链接网线呢?...#mii-tool ens33 设置linux服务器hostname #systemctl set-hostname zhdy-03 (设置服务器hostname为zhdy-03) 配置文件在 #...ACCEPT,安全性较高,但是一旦输入如上命令,咱们远程软件就不可以连接服务器了) 2.补充说明: 如果规则中有多条规则几乎相似,一旦遇到符合规则立即执行,后面的也就不执行了!

3.2K50

日常管理(二)

yum install -y sysstat #iostat //直接查看磁盘现状 #iostat 1 10 //和vmstat一样功能 KB_read/s 读硬盘速度 KB_wrtn/s 写硬盘速度...---- 查看系统进程(ps) : #ps aux (静态查看系统所有的进程,top是动态) STAT部分说明: D 不能中断进程(不经常看到进程)   R run状态进程     S sleep...,处于等待一个状态 LISTEN: 侦听状态 实用管理命令: 一次性查看所有的连接状态 (熟能生巧)### #netstat -an | awk '/^tcp/ {++sta[$NF]} END...{for(key in sta) print key,"\t",sta[key]}' 小扩展: 扩展tcp三次握手四次挥手(面试考点) tshark几个用法 ---- Linux抓包工具(tcpdump....cap是不可以直接cat查看) 如果不晓得一个文件是什么类型文件可以使用 file /tmp/1.cap #tcpdump -r /tmp/1.cap -r: 读取 实用管理命令: #yum

3.5K60

日常 3

crontab -e 编辑任务计划 crontab -l(小写L) 列出任务计划 crontab -r 删除 crontab -u [username] 指定某个用户 1-5 表示范围1到5 1,2,3...表示或者 */2 表示能被2整除 要保证服务启动状态 systemctl start crond.servive /var/spool/cron/[username] 用户cron计划内容...--level 34 network off/on 控制network等级3和4开关 --add [servicename] 增加一行服务,前提是在/etc/init.d/目录下有文件 --del [...service 系统服务 target 多个unit组成组 device 硬件设备 mount 文件系统挂载点 automount 自动挂载点 path 文件或路径 scope 不是由systemd启动外部进程...slice 进程组 snapshot systemd快照 socket 进程间通信套接字 swap swap文件 timer 定时器 systemctl list-units 列出所有正在运行unit

56820

Docker Swarm 日常命令笔记

之前介绍了Docker管理工具-Swarm部署记录,这里简单总结下Docker Swarm日常维护命令,以作为平时运笔记....除此之外,Swarm工作原理依然还不够明了。深入理解Swarm工作原理,可以先从Swarm提供命令入手。...发起该命令之后,Swarm会前往Docker Hub上内建发现服务中获取一个全球唯一token,用以唯一标识Swarm管理Docker集群。...需要说明是:虽然Swarm Server完全兼容DockerAPI,但是有不少Docker命令目前是不支持,毕竟管理Docker集群与管理单独Docker会有一些区别。...==========================下面简单梳理了一些日常中用到Swarm相关命令============================= 1) 初始化swarm manager

1.4K40

MongoDB日常操作命令小结

0)MongoDB安装 [root@centos6-vm01 ~]# curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6...下面通过实际例子来演示一些常见命令: 一、基本命令 1)show dbs 显示当前数据库服务器数据库 2)use pagedb 切换到指定数据库pagedb上下文,可以在此上下文中管理pagedb...有时,通过查看数据库服务器状态,可以判断数据库是否存在问题,如果有问题,如数据损坏,可以及时执行修复。...实现远程连接 当你已经连接到一个远程MongoDB数据库服务器(例如,通过mongo连接到192.168.0.184),现在想要在这个会话中连接另一个远程数据库服务器(192.168.0.197),...脚本,实现对另一个远程数据库服务器进行连接,操作指定数据库pagedbpage集合。

6.8K82

linux

最近,发现个人博客Linux服务器,数据库服务经常挂掉,导致需要重启,才能正常访问,极其恶心,于是决心开始解决问题,解放我时间和精力(我… 确保你网页安全 从技术到安全,这是一个趋势。...Linux服务器被黑遭敲诈,如何在3小时内紧急逆袭 作者介绍:陈浩,北信源研发工程师,五年Linux工作经验,热衷技术研究、实践和团队分享。...看完就会用 GIT 操作图解分析 无论你是前端还是后台,无论是还是移动端研发,GIT 是逃避不了东西,当然你说你要用 SVN,那不在这次讨论范围之内。...把它掌握好了可以对你工作产生非常积极影响,比如许多日常任务就可以简化到只需要编写简单命令然后按一下 Enter 就可以了。...Linux服务器搭建和配置 - 读书笔记 Samba、NFS、DNS、DHCP、FTP、SendMail、Netfilter/iptables、Apache、V** 等服务器原理和技术介绍

13.9K30

Linux工程师10个日常使用工具分享

2.Memos使用图片图片3.Memos使用感受1.部署快速方便,可以部署在个人本地服务器。2.开源项目,可供个人日常学习记录使用。3.界面美观,符合国人日常使用习惯。...3.功能强大,有很多实用功能,可以方便日常工作。4.个人比较喜欢两点,一个是可以动态监控服务器cpu和内存状态,还有就是可以通过软件中心快速部署基础服务。...八、shell脚本1.shell脚本介绍/bin/bash是目前大多数Linux系统版本默认采用shell脚本,是工程师处理问题,提高工作效率重要手段。...2.灵活使用shell脚本,可以使自己能力得到极大提高。3.不断使用、优化shell脚本,才能更好掌握它。...3.可以监控服务器硬件温度,对于日常来说非常有用。十、Wireshark——网络抓包工具1.Wireshark简介Wireshark 是一个网络封包分析软件。

55951

Data Guard及ADG日常操作

从这期开始讲Oracle Data Guard方面的内容 Data Guard作为Oracle提供一个高可用及灾备解决方案,理解并可以实施它对于DBA来说是非常重要套技能 前面我们已经介绍了如何假设物理备库...,今天介绍日常如何维和如何开启ADG 1....日常操作 3.1 关闭同步 SQL>alter database recover managed standby database cancel; 3.2 开启物理备库* SQL>startup nomount...session; 3.2.2.2 取消延迟 SQL> ALTER DATABASE RECOVER MANAGED STANDBY DATABASE NODELAY; 3.3 重新注册归档日志 有时备库归档文件不是主库传输而是手动拷贝过来...操作系统备份 没有用stnadby关键字备份控制文件 好了,到这里我们讲了DG日常一些操作,下一节讲如何进行switchover

1.7K10

MongoDB日常操作命令集锦

0)MongoDB安装 [root@CentOS6-vm01 ~]# curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.0.6...下面通过实际例子来演示一些常见命令: 一、基本命令 1)show dbs 显示当前数据库服务器数据库 2)use pagedb 切换到指定数据库pagedb上下文,可以在此上下文中管理pagedb...有时,通过查看数据库服务器状态,可以判断数据库是否存在问题,如果有问题,如数据损坏,可以及时执行修复。...实现远程连接 当你已经连接到一个远程MongoDB数据库服务器(例如,通过mongo连接到192.168.0.184),现在想要在这个会话中连接另一个远程数据库服务器(192.168.0.197),...", "pubdate" : "2018-08-20", "title" : "MongoDB日常操作命令集锦", "url" : "https://www.linuxidc.com/Linux

1.8K20

Linux人员应该知道Linux服务器安全指南

今天小编要跟大家分享文章是关于Linux人员应该知道Linux服务器安全指南。熟悉Linux工作小伙伴都知道Linux服务器安全在运工作中非常重要。...Linux 在本机上: OS X 在你服务器上(用你权限受限用户登录): 在本机上: 如果相对于 scp 你更喜欢 ssh-copy-id 的话,那么它也可以在Hemebrew中找到。...十二、查明运行服务 要查看服务器中运行服务: 如果默认情况下 netstat 没有包含在你Linux发行版中,请安装软件包 net-tools 或使用 ss -tulpn命令。...请参阅我们一些关于最常见防火墙程序文档: ·     iptables是netfilter控制器,它是Linux内核包过滤框架。...十六、接下来 这些是加固Linux服务器最基本步骤,但是进一步安全层将取决于其预期用途。 其他技术可以包括应用程序配置,使用入侵检测或者安装某个形式访问控制。

2.3K20

服务器

服务器是一个互联网公司“心脏”服务器里存储着公司所有数据,网民访问公司网站,了解公司相关产品,相关介绍都是通过服务器进入,而做为一个服务器每天需要做事情有: 1.服务器内存是否已满 2.磁盘空间是否足够...如果每个人需要管理100台服务器,还是传统认为检测监控去管理,相信每个人都会抓狂,还好现在又可以替代管理面板,比如说云帮手,它功能具体有: 1.批量管理多台云主机; 2.兼容性强大,...可以远程登录云主机FTP桌面,处理云主机上文件; 5.监控和,资源还有告警功能,这个是挺好,不用盯着看; 6.系统修复功能,这个是挺实用也比较必须; 7.免费使用。...总得来说功能还是挺全,不存在需要又要另外找软件尴尬,一个云帮手软件基本满足了所有需求。

3.3K20
领券