描述:前面我们正针对于iSCSI与SCSI做了一个简单的介绍, 并且在网络共享中使用过 nfs 以及 smb而iSCSI同样有该功能, 本文记录在学习与工作中搭建与使用iSCSI网络存储案例;
在自己的工作站中安装的RAC测试环境，使用了iSCSI模拟共享存储，环境运行OK，但是在messages信息中频繁报错如下：
KVM环境和其他虚拟化或真实生产最大差异主要就是在实施前期准备工作上： 具体在 DB节点 和存储环境 的准备工作上有差异，本文会详细说明。
Disk /dev/sda: 21.4 GB, 21474836480 bytes
当 Linux 系统连接到 SAN（存储区域网络）后，你需要重新扫描 iSCSI 服务以发现新的 LUN。
在RHEL7.3中，对于lvm操作部分与之前RHEL6版本没有区别,还是创建pv，vg，lv的方法，命令参考如下：
一 iSCSI target的磁盘种类 大型文件 单一分区（partition） 磁盘 数组 RAID LVM 二 iSCSI创建步骤 建立用于共享的磁盘设备(分区/磁盘/文件) 创建后备磁盘 创建相应的IQN 创建相应的规则 #（可选） 为后备磁盘创建LUN 指定侦听的IP和端口 #（可选） 检查并保存配置 防火墙规则开放 服务(开机)启动 三 建立所需磁盘设备 3.1 建立一个3GB大小的/dev/sdc1作为共享 1 Device Boot Start End
本次北亚小编分享的案例是关于IBM存储DS3512，6块盘，坏了多块盘，导致阵列失效，数据丢失。
Linux平台 Oracle 18c RAC安装指导： Part1：Linux平台 Oracle 18c RAC安装Part1：准备工作 Part2：Linux平台 Oracle 18c RAC安装Part2：GI配置 Part3：Linux平台 Oracle 18c RAC安装Part3：DB配置
本次分享的案例是关于存储的数据恢复，存储上RAID崩溃导致存储无法启动。存储内部共有6台以上虚拟机，其中LINUX虚拟机3台为客户重要数据。 工程师初步分析得出存储结构为所有物理磁盘均在一个存储池内，再由存储池分出几个LUN，LUN1是vmfs卷，三台LINUX虚拟机也是在这个里面。 1、重组RAID 重组过程中发现本RAID5缺失2块盘（第一掉线盘掉线后热备盘顶替，之后又掉线一块盘使得RAID5处于降级状态。最后在掉线第三块盘时盘片划伤RAID崩溃），无法通过校验直接获取丢失盘的数据，所以只能使用磁盘同等大小的全0镜像进行重组（此方法只可用于紧急情况，因为依赖空镜像组成的RAID文件系统结构会被严重破坏，相当于每个条带都会缺失两个块的数据）。 2、提取LUN 分析存储结构，获取存储划分的MAP块。在找到MAP块之后解析得到各个LUN的数据块指针，编写数据提取程序提取LUN碎片。提取完成后进行碎片拼接，组成完整LUN。导出LUN内所有虚拟机，尝试启动。导出虚拟机后尝试启动，同预想相同，操作系统被破坏虚拟机无法启动。 3、提取虚拟机内文件 在虚拟机无法启动的情况下只能退而求其次，提取虚拟机内文件。在取出文件后进行测试，发现大多数文件都被破坏，只有少部分小文件可以打开。在与客户沟通后得知虚拟机内有MYSQL数据库，因为数据库底层存储的特殊性，可以通过扫描数据页进行数据提取。在找到此虚拟机后发现虚拟机启用快照，父盘和快照文件都被损坏的情况下常规合并操作无法完成，使用北亚自主研发VMFS快照合并程序进行快照合并。 4、获取MYSQL数据页并分析 根据MYSQL数据页特征进行数据页扫描并导出（innodb引擎可以使用此方案，myisam因为没有“数据页”概念所以不可用），分析系统表获取各用户表信息，根据各个表的ID进行数据页分割。 5、提取表结构 因为数据库使用时间已久，表结构也曾多次变更，加上系统表在存储损坏后也有部分数据丢失，记录提取过程遇到很大阻力。首先获取最初版本数据库各个表的表结构：合并快照前的父盘因为写入较早，使用第一块掉线盘进行校验获取到这个文件的完整数据，然后提取出其中数据库各个表的表结构，之后客户方提供了最新版的数据库建表脚本。提取记录：分别使用两组不同表结构对数据记录进行提取并导入恢复环境中的MYSQL数据库内，然后剔除各个表中因为表结构变更造成的乱码数据，最后将两组数据分别导出为.sql文件。 6、数据恢复结果 因为两个版本的数据库表结构不同，所以联系了客户方的应用工程师进行调试。调试完成后导入平台，经验证，数据可用本次数据恢复成功。
前几天跟同事网上闲聊技术，吐槽之前自己没有配置过多路径的经历，虽然多路径的配置过程很简单，职责划分也应是主机或存储工程师来搞定，DBA只需要直接拿来用，但这样总感觉少了些踏实感。 本着学习的心态，在虚拟环境下模拟，来做一个多路径的实验。 本文主要描述使用iscsi模拟存储划出的1个LUN，最终由两条链路连接到主机，显示为两个磁盘的场景。为后续配置multipath提供前置环境。
进入vdbench相应目录下./vdbench -t 来测试一下vdbench的可用性，如果正常，会在目录下自动生成一个output目录。
vdbench是一个 I/O 工作负载生成器，用于验证数据完整性和度量直接附加和网络连接的存储的性能。它是一个免费的工具，容易使用，而且常常用于测试和基准测试。
LUN是逻辑单元号，它与iSCSI存储服务器共享。iSCSI 目标器通过TCP/IP网络共享它的物理驱动器给发起程序（initiator）。这些来自一个大型存储（SAN：Storage Area Network）的驱动器集合称作LUN。在真实环境中LUN是在LVM中定义的，因为它可以按需扩展。
实验环境准备： RHEL 6.5 + Oracle 11.2.0.4 RAC (2nodes)
IQN名称：iqn.2016-10.com.example.system1:iscsi01
工作原理: 当因为主机HBA卡、线缆、交换机或者存储设备的RAID控制器故障等原因造成一条物理路径失效时,服务器可以将通过此物理路径的I/O转移到其他正常的物理路径上面,应用程序不会觉察到这种改变，从而提高系统的可用性。
现象：非正常删除windows2012 R2故障转移集群后，重新安装系统后，发现磁盘变成RAW并且联机后格式化无法顺利完成。
当运行/root/foo.sh redhat，输出fedora 当运行/root/foo.sh fedora，输出redhat
【1】vdbench是一个 I/O 工作负载生成器，用于验证数据完整性和度量直接附加和网络连接的存储的性能。它是一个免费的工具，容易使用，而且常常用于测试和基准测试。
我们知道，日常中我们的台式机、笔记本电脑上的磁盘都会有几百G的容量，这种磁盘一般都是机械磁盘，即使用一些精密的机械部件组成的磁盘。而近几年来，越来越多的笔记本电脑中内置了固态磁盘，固态磁盘又称SSD磁盘。
最近接到一个调研任务，kvm 虚拟机增量盘的实时备份。主要参考资料来源。[QEMU/KVM磁盘在线备份] 主要思路：同步方式（sync）的四种模式。full,top,none,incremental四种方式的。
NetApp 系统为各种不同平台上的用户提供了对全部企业数据的无缝访问。NetApp全系列光纤网络存储系统在文件访问方面支持NFS 和CIFS，在块存储访问方面支持FCP 和iSCSI，确保您可以非常方便地将NetApp 存储系统集成到NAS 或SAN 环境中，并且保护原来的信息。 NetApp 系统运行高效的Data ONTAP™ 微核操作系统，用于将UNIX®、Windows®、NAS、光纤通道和iSCSI SAN 以及Web 数据合并到中央位置。NetApp 企业存储系统是一套可扩展的、经过实践检验的高可用性网络存储系统套件，安装、配置和管理起来十分简便，是行业中总拥有成本(TCO) 最低、投资回报率(ROI) 最高的产品之一。
之前有简单介绍过iscsi网络存储的基本配置CentOS配置iSCSI网络存储服务，下面再详细介绍iSCSI服务端与客户端的常用命令tgtadm和iscsiadm，以及如何配置基于CHAP认证的iSCSI网络存储服务
使用mdadm命令创建RAID磁盘阵列。其中，-Cv参数为创建阵列并显示过程，/dev/md0为生成的阵列组名称，-n 3参数为创建RAID 5磁盘阵列所需的硬盘个数，-l 5参数为RAID磁盘阵列的级别，-x 1参数为磁盘阵列的备份盘个数。在命令后面要逐一写上使用的硬盘名称。
vdbench是一个I/O工作负载生成器，通常用于验证数据完整性和度量直接附加（或网络连接）存储性能。它可以运行在windows、linux环境，可用于测试文件系统或块设备基准性能。
本文安装环境：RHEL 6.5 + Oracle 12.2.0.1 GI & RAC
HP-UX操作系统全称为Hewlett Packard UniX，是惠普服务器上所有的操作系统。其发源自 AT & T SRV4系统，可以支持HP的PA-RISC处理器、Intel的Itanium处理器。因为PA-RISC的停产（RISC机器现在越来越没落了），今后的主流就是只支持Intel的处理器了。
SATA：容量大，500G, 750G, 1T, 2T, 3T, 4T 不支持热插拔，价格低。
在安装完VirtualBox中的Linux以后，网络默认是NAT的 在看过帮助手册以后，发现可以使用NAT的形式登录进VirTualBox中的linux
在LINUX下安装ORACLE RAC时，建ASM磁盘组时有时会碰到两个节点上存储映射过来的磁盘盘符不一致，有时是物理路径一致，但聚合后路径不一致，有时甚至物理路径也不一致，此时就需将两个节点上的磁盘盘符修改为一致。
[TOC] 0x00 前言简述 Q: 什么是文件系统? 答: 通过创建文件系统可以使文件系统以文件目录的形式共享存储资源。 Q: 什么是文件系统配额? 答: 文件系统配额是一种资源管控技术，用以限制
准备工作： 将LUN创建好，将lLUN划分为独立的组，将服务器的iqn信息加入到LUN中，如果放在默认组，在扫描ISCSI时显示的硬盘信息是所有lun的，可能会导致误操作。
iSCSI 互联网小型计算机系统接口是由IBM下属的两大研发机构AImaden和Haifa研究中心共同开发的,是一个供硬件设备使用的、可在IP协议上层运行的SCSI指令集,是一种开放的基于IP协议的工业技术标准.该协议可以用TCP/IP对SCSI指令进行封装,使得这些指令能够通过基于IP网络进行传输,从而实现SCSI和TCP/IP协议的连接.对于局域网环境中的用户来说,采用该标准只需要不多的投资就可以方便、快捷地对信息和数据进行交互式传输及管理.
有兴趣的可以找我提供以上三个文件，当然在VMware Workstation上安装也是一样的，不一定非要ESXi上安装
vdbench是一个 I/O 工作负载生成器，用于验证数据完整性和度量直接附加和网络连接的存储的性能。它是一个免费的工具，容易使用，而且常常用于测试和基准测试。 可以使用vdbench测试磁盘和文件系统的读写性能。 注：此软件的带宽及字节结算单位均为1024进制。
Internet小型计算机系统接口是一个机遇TCP/IP的协议，用于通过IP网络仿真SCSI高性能本地存储总线，从而为远程存储设备提供数据传输和管理。作为SAN协议，iSCSI跨本地和广域网扩展SAN，通过分布式服务器和数组提供独立于位置的数据存储检索。
本次分享的案例为EMC FC AX-4存储崩溃,整个存储空间由12块1TB STAT的硬盘组成的，其中10块硬盘组成一个RAID5的阵列，其余两块做成热备盘使用。由于RAID5阵列中出现2块硬盘损坏，而此时只有一块热备盘成功激活，因此导致RAID5阵列瘫痪，上层LUN无法正常使用。由于存储是因为某些磁盘掉线，从而导致整个存储不可用。因此接收到磁盘以后先对所有磁盘做物理检测，检测完后发现没有物理故障。接着使用坏道检测工具检测磁盘坏道，发现也没有坏道。
「 对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》」
服务器内有两块硬盘掉线，现在服务器内的lun丢失了，数据恢复工程师开始对故障服务器进行检测发现掉线的硬盘并没有存在物理故障、也没有坏道等其他故障。于是开始对客户的故障服务器进行镜像备份。
there is no much merit in build soft raid on production enviroment
首先我们了解一下存储虚拟化的定义及其常见的三种技术。 存储虚拟化(StorageVirtualization)最通俗的理解就是对存储硬件资源进行抽象化表现。通过将一个（或多个）目标（Target）服务或功能与其它附加的功能集成，统一提供有用的全面功能服务。典型的虚拟化包括如下一些情况：屏蔽系统的复杂性，增加或集成新的功能，整合或分解现有的服务功能等。 基于主机的存储虚拟化： 主要用途：使服务器的存储空间可以跨越多个异构的磁盘阵列，常用于在不同磁盘阵列之间做数据镜像保护。 实现方式：一般由操作系统下的逻辑卷管
iSCSI 是一种块级别的协议，用于通过TCP/IP网络共享原始存储设备，可以用已经存在的IP和以太网如网卡、交换机、路由器等通过iSCSI协议共享和访问存储。iSCSI target是一种由远程iSCSI服务器（target）提供的远程硬盘。
图片1.png 服务器数据恢复故障描述 客户的服务器共有8块450GB SAS硬盘，其中7块硬盘组成一个RAID5阵列，1块热备盘。阵列中2块硬盘损坏并离线，导致RAID5阵列瘫痪，进而影响上层LUN无法正常使用。经工程师检测硬盘无物理故障，无坏道，随后北亚工程师将所有磁盘镜像成文件。 数据恢复过程 一、RAID组结构及掉线盘分析 服务器的LUN都是基于RAID组的，所以需要先对底层RAID组的信息作出分析，再依据这些数据重构原始的RAID组。通过分析得知4号盘为hot Spare盘。继续分析Oracl
Linux平台 Oracle 10gR2（10.2.0.5）RAC安装 Part1：准备工作
客户使用MD1200磁盘柜+RAID卡的方式，创建一组RAID5阵列，分配一个LUN共55T左右，在Linux系统层面对LUN进行分区，划分sdc1和sdc2两个分区，其中sdc1分区大小为2T，通过LVM扩容的方式，将sdc1分区加入到了root_lv中，剩余的sdc2分区格式化为XFS文件系统使用。
建立Normal冗余级别的OCR卷组，需要至少3个LUN，每个LUN最少容量为1GB，需要在存储端配置3个LUN至RAC集群中的各个节点。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
