NetApp运维使用手册

本文截图在虚拟机上完成，文末有模拟器链接。

一、Netapp简介

    NetApp 系统为各种不同平台上的用户提供了对全部企业数据的无缝访问。NetApp全系列光纤网络存储系统在文件访问方面支持NFS 和CIFS，在块存储访问方面支持FCP 和iSCSI，确保您可以非常方便地将NetApp 存储系统集成到NAS 或SAN 环境中，并且保护原来的信息。     NetApp 系统运行高效的Data ONTAP™ 微核操作系统，用于将UNIX®、Windows®、NAS、光纤通道和iSCSI SAN 以及Web 数据合并到中央位置。NetApp 企业存储系统是一套可扩展的、经过实践检验的高可用性网络存储系统套件，安装、配置和管理起来十分简便，是行业中总拥有成本(TCO) 最低、投资回报率(ROI) 最高的产品之一。

二、基本概念

1.    filer 磁阵机头，对应于其他类型磁阵的控制器。 2.    Filerview NetApp磁阵磁盘管理的WEB工具，当终端为WIN2000时，需要安装JAVA虚拟机，才能打开对应的界面。 3.    RAID RAID组由一块或多块数据磁盘加上一块或多块数据校验盘组成 4.    RAID4和RAID DP RAID4的校验数据与RAID5的校验数据一样，都是数据盘上对应bit位的异或校验结果，只是RAID4将所有校验数据放在一个盘上(就是校验盘)，而RAID5将校验数据分散到所有盘上。RAID DP（DOUBLE PARITY）即双校验盘，其中两块校验盘的数据不一样：第一块校验盘的数据与RAID4一样，第二块盘的数据是通过对角线方式异或计算出来的。 5.    Plex plex是一个或多个RG组的集合 6.    aggr 一个aggr是一个或多个plex的集合，如果RG组做镜像了，则一个aggr包含两个plex，否则只包含一个plex。Aggr用来管理plex和RAID组，因为这些实体只能作为aggr的一部分存在。 7.    Volume 数据卷，NetApp磁阵磁盘管理的特殊方式，一个卷至少有一个RAID GROUP，也可以有多个RAID GROUP。存放系统数据的称为根卷(root volume)。其他存放数据的卷称为普通卷。一个机头有且只有一个根卷。NetApp磁阵上的LUN是在Volume上创建的。卷分为传统卷和灵活卷。传统卷：只能在一个aggregate中，只能通过添加整个新硬盘的容量来扩容，不能减小，一个RG上只能有一个传统卷。灵活卷：可以只包含某个RG的一部分。 8.    /vol 每个netapp存储都必须有且只有一个root volume，存储启动的时候要读取在它上面保存的数据。root卷是唯一具有root属性的卷,而它里面的/etc目录保存的是配置信息。它与其它vol差不多，只不过这个vol还存放ontap的配置信息、日志、firmware等等东西。/vol不是一个目录，它是一个特殊的虚拟root路径，存储用它来mount其它目录。不能通过Mount  /vol来看其它卷，只能是mount每个卷单独的。 9.    qtree 逻辑定义单位，定义在传统卷或灵活卷的子目录下，每个卷下最多可创建4995个qtree。Qtree主要作用为：利于数据管理和分配；管理软硬使用限额。Qtree与volume区别：不能对单个qtree进行快照；不支持空间保留和回收。 10.    quotas 限制用户或组使用的磁盘空间和文件使用数。 11.    luns Logical Unit（LUN）被客户端在存储系统上访问的存储单元。 12.    snapshot

Snapshot是netapp的快照技术，它有占用空间少，不影响性能，生成简便，恢复数据灵活快捷等突出优点。

三、Aggr的管理

1.    创建一个aggr 查看agg状态，发现只有aggr0，组成的磁盘为v0.16、v0.17、v0.18、v0.19、v0.20、v0.21、v0.22

netapp> aggr status -r aggr1

图片.png

查看磁盘信息

netapp>sysconfig -d

图片.png

新建aggr1和aggr2，其中aggr1为自定义的三块磁盘，aggr2由非自定义的三块盘组成 新建aggr1

netapp>aggr create aggr1 -d v0.24 v0.25 v0.26

图片.png

新建aggr2

netapp>aggr create aggr2 3

图片.png

图片.png

2.    扩展aggr 向aggr1中加入3块盘 预演命令执行 netapp> aggr add aggr1 -n 3 aggr add aggr1 -d v0.35 v0.28 v0.34 指定具体的磁盘

netapp> aggr add aggr1 -d v0.34 v0.35 v0.36

图片.png

向agg2加入3块磁盘到新的rg组

netapp> aggr add aggr2 -g new  3

图片.png

3.    消除aggr快照 查看aggr大小，发现aggr1和aggr2快照占了空间（默认为20%）

netapp> df -A

图片.png

分别清除aggr1和aggr2快照空间

netapp> snap reserve -A aggr1 0
netapp> snap reserve -A aggr2 0

图片.png

4.    删除aggr 首先offline

netapp> aggr offline aggr1

图片.png

然后destroy

netapp> aggr destroy aggr1

图片.png

可以看到已无aggr1信息

四、Volume的管理

1.    创建volume 查看vol信息

netapp> vol status

图片.png

在aggr2上新建卷vol2，大小为50m

netapp> vol create vol2 aggr2 50m

图片.png

2.    消除snapshot空间 查看vol2大小

netapp> df –h

图片.png

删除快照

netapp> snap reserve -V vol2 0

图片.png

3.    关闭快照 默认情况下，创建卷即开启快照功能。使用fcp协议划lun给主机用于建数据库则无需开启快照，关闭快照步骤如下： 首先查看快照，发现vol0快照没被关闭

YS-NPHD2> snap list
YS-NPHD2> snap sched

图片.png

删除快照，详见2 关闭vol0快照功能

YS-NPHD2> snap sched vol0 0

图片.png

4.    扩展和减小volume空间 将vol2增大20m

netapp> vol size vol2 +20m

图片.png

将vol2减小10m

netapp> vol size vol2 -10m

图片.png

5.    新建卷的参数修改 NetApp建议在新建的卷上修改三个参数为on，分别为‘Minimal Read Ahead’、‘Create Unicode’、‘Convert Unicode’。 查看vol2参数值

netapp> vol options vol2

图片.png

将minra设置为on

netapp> vol options vol2 minra on

6.    删除Volume 首先offline

netapp> vol offline vol2

图片.png

然后destroy

netapp> vol destroy vol2

图片.png

五、NFS exports

1.    存储端配置 使用rdfile命令打开/etc/exports文件，拷贝到文本中，完成编辑后，执行全拷贝

netapp> rdfile /etc/exports

图片.png

netapp> wrfile /etc/exports
netapp> exportfs –a

图片.png

2.    主机端配置 显示目前主机与客户端的 NFS 连接分享的状态

ha01:/ # showmount -a 192.168.17.51

此地址为存储ip

图片.png

查看存储设备注册的端口信息

ha01:/ # rpcinfo -p 192.168.17.51

图片.png

主机端新建挂载点

ha01:/ # mkdir /fs-nfs

挂载存储（以root用户执行）

ha01:/ # mount 192.168.17.51:/vol/vol2 /fs-nfs/

图片.png

编辑fstab，设置开机自动挂载/fs-nfs加入（AIX配置文件为/etc/filesystems）

192.168.17.51:/vol/vol2         /fs-nfs         nfs     defaults        0 0

图片.png

六、Lun的输出

1.    创建qtree 在卷dropme下创建名为tree-dropme的qtree

YS-NPHD2>qtree create /vol/dropme/tree-dropme

图片.png

2.    创建igroup

YS-NPHD2>igroup create –f –t aix igroup-dropme

图片.png

3.    加入主机wwpn（World Wide Port Names）号

YS-NPHD1> igroup add igroup-dropme 10:00:00:00:c9:c0:f5:bb

4.    创建lun 在名为tree-dropme的qtree下创建lun：lun-test1

YS-NPHD2>lun create –s 20g –t aix /vol/dropme/tree-dropme/lun-test1

图片.png

图片.png

5.    Lun map Map之前查看lun状态

YS-NPHD2>lun show –m
YS-NPHD2>lun show

图片.png

lun map

YS-NPHD2>lun map /vol/dropme/tree-dropme/lun-test1 igroup-dropme

图片.png

6.    主机端识别 运行cfgmgr –v 运行lspv，发现多了块物理盘

七、常用操作及注意事项

1.    如何标识磁盘

图片.png

其中，0a.41即为Disk ID（磁盘标识），Disk ID由path_id和deivce_id组成，即path_id.device_id的形式，通过Disk ID可快速定位磁盘的位置。path_id - 指适配卡所在的槽位，和该适配器上的端口号，例如0a表示slot0上的适配器的a口,slot0一般是主板上集成的，slot0上一般有a、b、c、d共4个端口；可在其他slot上附加适配卡，附加的适配卡一般是双端口的（a和b口)device_id - 指磁盘的loop id或者scsi id号，由磁盘柜的类型、磁盘柜的ID号和该磁盘在磁盘柜中的位置（第几个bay）来决定。另外，从sysconfig -r列出的磁盘信息：HA表示path_id；SHELF表示盘柜的编号；BAY表示该磁盘在盘柜中的位置。

2.    修改机头ip 首先修改/etc/hosts文件，将ip由192.168.17.51改为192.168.17.151

netapp> rdfile /etc/hosts
netapp> wrfile /etc/hosts

图片.png

发现ip未生效，重启系统即生效

netapp> reboot

3.    检查cluster状态是否正常

YS-NPHD2> cf status 
Cluster enabled, YS-NPHD1 is up.
Interconnect status: up.

此状态为正常

4.    命令模式 netapp命令模式分为管理模式和高级模式，默认为管理模式，进入高级模式为：

netapp> priv set advanced

图片.png

5.    开关机顺序 开机 开机顺序：先按照磁盘架编号顺序加电磁盘架的双电源，10 秒钟后加电控制器。 关机 在控制器的命令行下输入：> halt,关闭系统. 若是双控请先在两个控制器的命令行下分别输入：>halt -f。 -f是指是不接管。 关机顺序：先关控制器电源，依次关闭磁盘架电源。

6.    串口连接netapp 用一条一头为RJ45，一头为DB9的控制线分别接在磁阵console口和WIN操作系统终端的串口上，WIN操作系统终端和磁阵的网口分别接一根网线到交换机，WIN操作系统终端的IP配置要和磁阵准备分配的IP在一个网段。这样在WIN操作系统终端上就可以开始磁阵的配置了。 打开windows里的超级终端，设置为default: 9600波特率/8位/无校验/1位停止位，

图片.png

确认后回车出现登陆提示符，登陆用户名为root,输入密码即可。

7.    Netapp管理方式 串口连接 远程telnet Filerview（http://xxx.xxx.xx.xx/na_admin） NetApp OnCommand System Manager 管理软件

模拟器：https://pan.baidu.com/s/1nBWivjFjFXgAT-I5Y5bsNw 密码：50aj

管理软件：https://pan.baidu.com/s/1wyBa_NqL4sBwZrb-zQ3vnA 密码：srno

八、模拟器安装

虚拟机版本：ubuntu14.04.5

图片.png

挂盘

图片.png

root@ubuntu-vg4:/# mount /dev/cdrom /mnt/

安装

root@ubuntu-vg4:/# cp -R /mnt /netapp
root@ubuntu-vg4:/# cd /netapp/
root@ubuntu-vg4:/netapp# ./setup.sh

图片.png

运行runsim.sh

图片.png

问题原因：缺少32位运行库，安装即可

root@ubuntu-vg4:/sim# apt-get install lib32z1

重新执行./runsim.sh

图片.png

图片.png

图片.png

图片.png

web访问：

http://172.27.9.58/na_admin/

图片.png

telnet访问：

root@ubuntu-vg4:~# telnet 172.27.9.58

图片.png

如果模拟器关机或者虚拟机重启了，再次运行./runsim.sh脚本即可。