前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Huawei-2488H-V5服务器基础配置与系统安装

Huawei-2488H-V5服务器基础配置与系统安装

作者头像
全栈工程师修炼指南
发布2022-09-29 18:46:53
3.5K0
发布2022-09-29 18:46:53
举报
文章被收录于专栏:全栈工程师修炼之路

[TOC]

0x00 前言简述

描述: 由于最近公司来了一批华为的服务器以及存储,来的时候真的感到非常意外因为从中标到接货超过了1个半月,其间还因为各种事进行推延; 在现场实施人员完成服务器上架以及测试后,由于业务的需求需要将其中的两台安装VMware ESXI将另外几台服务器安装修改后的CentOS7服务器系统,为后面kubernetes集群搭建做准备;

机器基础配置一览:

代码语言:javascript
复制
厂商: Huawei
机器型号: 2488H V5
产品结构: 2U
CPU: Intel Xeon Gold 6130 (十六核心/三十二线程)
CPU Type: Skylake
内存: 512G
磁盘: 600G X 2
BIOS 平台: Purley
阵列卡: MSCC SmartRAID 3152-8i 控制卡
HBA卡
iBMC:5.06
iBMC IP: 192.168.2.100

官方产品地址: FusionServer Pro智能服务器 > 机架服务器 > 产品型号: 2488H V5

BIOS平台与CPU型号对照表:

WeiyiGeek.BIOS-CPU


0x01 硬件基础介绍
1.阵列卡 MSCC SmartRAID 3152-8i

描述:MSCC SmartRAID 3152-8i控制卡(以下简称3152-8i)提供2个12Gbit/s的mini SAS HD接口,支持PCIe 3.0接口,并支持最多8个phy。它用于提高系统性能,并提供数据容错存储功能,支持数据的多硬盘分片存储,支持多硬盘同时读/写访问,有效降低硬盘数据访问延时。

Q: 什么是phy? 答: 全称为Physical Layer物理层的芯片,一般PHY芯片为模数混合电路,负责接收电、光这类模拟信号,经过解调和A/D转换后通过MII接口将信号交给MAC芯片(纯数字电路)进行处理。物理层定义了数据传送与接收所需要的电与光信号、线路状态、时钟基准、数据编码和电路等,并向数据链路层设备提供标准接口。

MSCC SmartRAID 3152-8i控制卡自带的Cache对标卡性能的提升有非常重要的作用,主要体现在:

  • 在写数据时,直接写入Cache,当写入的数据积累到一定程度,RAID卡才将数据刷新到硬盘,这样不但实现了批量写入,而且Cache作为快速读写设备,其本身的读写速度都远高于硬盘,因此采用 Cache后,整个设备的写数据速度得到提高。
  • 在读数据时,如果可以直接在Cache中命中的话,将减少磁盘寻道操作,降低响应时间,提升了数据读速度。

3152-8i安装在服务器的PCIe槽位上,结构如图所示。

WeiyiGeek.

3152-8i 基本参数(我选择有卖点的特性参数)

代码语言:javascript
复制
接口速率 (Gbit/s) :12
支持的RAID组数量 :64
单个RAID组支持的最大硬盘数 : 128
所有RAID组包含的最大硬盘数量: 238
硬盘直通模式支持的硬盘数量:238
支持的最大硬盘数:238
支持的热备盘个数:32(每个Array最多支持4个热备盘)

MaxCache支持的SSD最大个数:128
MaxCache最大容量:6.8TB
MaxCache是否支持热备:否
MaxCache支持的RAID级别: 0/1/10/5

支持的RAID级别:RAID 0/1/1ADM/10/10ADM/5/50/6/60
是否支持设置条带单元: 是(可设为16KiB/32KiB/64KiB/128KiB/256KiB/512KiB/1024KiB)
是否支持RAID级别在线迁移:是
是否支持在线扩容:是
是否支持硬盘直通: 是
是否支持SSD IO Bypass:是
是否支持4K盘:是

#备注1:MaxCache即SSD Cache,Microsemi将该功能定义为“MaxCache”。

3152-8i 基本功能

  • 支持多种RAID级别:3152-8i最多支持238个硬盘,最多支持64个Array,每个Array最多支持64个LD(Logical Driver),整张RAID卡所有Array最多支持64个LD。

WeiyiGeek.RAID级别

  • 支持多种工作模式
    • RAID模式:控制器下的逻辑盘会上报OS,但直通盘不会报送给OS。
    • HBA模式:控制器的所有RAID功能都被禁用,控制器下所有硬盘都被视为直通盘。
    • Mixed模式:RAID逻辑盘和直通盘都会报送给OS。
  • 硬盘热备份
  • 硬盘热插拔:请确认拔掉硬盘与插上硬盘的时间间隔在30s以上,以避免造成硬盘无法被识别。
  • 重建
  • 硬盘分条
  • 硬盘直通: 又称指令透传,是不经过传输设备处理,仅保证传输质量的一种数据传输方式。在不配置虚拟磁盘的情况下,用户指令可以直接透传到硬盘,方便上层业务软件或管理软件访问控制硬盘
    • 例如,服务器操作系统安装过程中,可以直接找到挂载在3152-8i下的硬盘作为安装盘;而不支持硬盘直通的RAID卡,在操作系统安装过程中,只能找到该RAID卡下已经配置好的虚拟磁盘作为安装盘。
  • 擦除硬盘数据:支持“Erase Disk”即安全擦除指定硬盘;数据擦除过程中,不能执行关机,重启,插拔硬盘等操作,否则会导致硬盘被损坏。
  • 容量扩展
  • 读写高速缓存
  • 数据掉电保护
  • 硬盘指示灯
    • 硬盘Fault指示灯(故障-黄色):灭:表示硬盘运行正常;黄色闪烁:表示硬盘处于被定位状态或RAID重构状态;黄色常亮:表示硬盘故障或RAID组中的成员盘状态异常。
    • 硬盘Active指示灯(正常-绿色): 灭:表示硬盘不在位或硬盘故障; 绿色闪烁:表示硬盘处于读写状态或同步状态; 绿色常亮:表示硬盘处于非活动状态。
  • 外部配置导入:当包含RAID配置信息的硬盘插入服务器后,服务器在启动过程中识别到当前硬盘配置符合该外部配置要求时,自动导入外部配置。

Q: 什么是Array? 答:Array即通常所说的硬盘组,每个Array可以包括1个或多个LD。

参考地址:https://support.huawei.com/enterprise/zh/doc/EDOC1100048779/b1eeb02e


0x02 操作系统安装
0.华为设备缺省信息

默认的账号及其密码,采用其可以登陆修改BIOS以及进入iBMC界面

代码语言:javascript
复制
# V1调试密码:debug@storage
# V1/V2/V3/V5存储,IP:192.168.128.101/102(A/B)  
用户名/密码:admin/Admin@storage(默认)
用户名/密码:admin/Huawei12#$

# V2/V3服务器 IP:192.168.2.100 iBMC 控制台 (账号密码)
用户名/密码:root/Huawei12#$

#V5服务器 IP:192.168.2.100 iBMC 控制台 (账号密码)
用户名/密码:Administrator/Admin@9000

参考链接: https://support.huawei.com/enterprise/zh/doc/DOC1000040218?idPath=7919749|9856522|21782478|21782482|21497444

1.准备工作

描述: 下面描述都以2488H V5服务器为例进行讲述,系统开机功能界面选择:

代码语言:javascript
复制
# iBMC
- 版本
- 管理地址

# 功能参数
Del -- 服务器BIOS
F11 -- 启动项选择
F12 -- 网络启动
F3 -- 启动项选择(远程键盘) #通过网页访问或者KVM的时候使用、
F4 -- 服务器BIOS(远程键盘)
F6 -- SP Boot(Smart Provisioning)  #系统安装

WeiyiGeek.

1.1 BIOS默认设置: 华为服务器在出厂时已设置为最优的配置,我们强烈推荐您使用默认的BIOS设置,如果修改请在服务器BIOS POST过程中按下Delete键,进入BIOS SETUP菜单,按下F9加载默认配置。

例如,下表是使用VMware系统时的BIOS推荐设置;

BIOS选项

推荐值

Hyper-Threading[ALL]

Enabled

Monitor/Mwait[1]

Enabled

VMX

Enabled

PCIe SR-IOV

Enabled

Intel VT for Direct I/O(VT-d)

Enabled

Interrupt Remapping

Enabled

PCI 64-Bit Resource Allocation

Enabled

Hardware Prefetcher

Enabled

Adjacent Cache Prefetch

Enabled

DCU Stramer Prefetcher

Enabled

DCU IP Prefetcher

Enabled

注1:Monitor/Mwait选项值对EVC兼容性的影响参见关于Monitor/Mwait和EVC兼容性。

在部署系统前,请确认服务器BIOS、BMC等都已经更新到最新版本。

1.2 系统时间设置 描述:如果系统时间不正确就需要进行调整,此时您需要在BOIS中进行设置系统时间 ; BIOS Setup Utility -> 在菜单栏中,选择“Main”页签 -> 选择“System Time” -> 选择“System Date”

1.3 启动顺序调整 在菜单栏中,选择“Boot > Boot Sequence”,按“Enter” -> 进入“Boot Sequence”界面 按照最下面的操作提示进行;

2.创建Riad阵列磁盘

描述:在BIOS中“Boot Type”设置为“UEFI Boot”模式时,打开的管理界面如下所述。我们在EFI/UEFI模式下我们进行raid的初始化配置;

Step 1.登录管理界面BIOS版本为V363及以下, 启动服务器过程中在显示IMBC IP地址界面按“F11”,弹出密码输入框(输入默认的BIOS密码Admin@9000)。

WeiyiGeek.

Step 2.Front Page界面 -> 选择“Device Manager”并按“Enter” -> 选择要操作的MSCC SmartRAID 3152-8i控制器,按“Enter”进入如图所示界面

WeiyiGeek.

Step 3.设置RAID卡工作模式”Configure Controller Settings>Modify Controller Settings“的顺序进入“Modify Controller Settings”界面, 选择“Port CN0 Mode”并按“Enter”, 最后再选择“Port CN0 Mode”并按“Enter”。

代码语言:javascript
复制
#3152-8iRAID卡支持三种工作模式,分别为:
RAID:控制器所有的RAID功能都被启用,但直通盘不会报送给OS。
Mixed:RAID逻辑盘和直通盘都会报送给OS。
HBA:控制器所有的RAID功能都被禁用,控制器下所有硬盘均被视为直通盘。

WeiyiGeek.

Step 4.在MSCC SmartRAID 3152-8i控制器主界面中,进入“Array Configuration”界面 -> 选择Create Array 进入成员盘选择界面 -> 选中硬盘后,按“Enter”键,将硬盘加入Array。;

代码语言:javascript
复制
# 硬盘状态为“Enabled”时表示硬盘被选中。
# RAID 1支持的硬盘个数为2。

Step 5.选择“Proceed to next Form”并按“Enter”进入RAID级别选择界面 -> 选择要配置的Array级别“RAID1“ -> 最后选择“Submit Changes”并按“Enter” -> 提示创建成功按“Enter”返回主界面。

参数

说明

Logical Drive Label

LD的自定义标签。

Strip Size/Full Stripe Size

Strip Size:单个物理盘的条带大小,可设置为16KiB/32KiB/64KiB/128KiB/256KiB/512KiB/1024KiB,默认值为256KiB。Full Stripe Size:整个LD的分条大小。当设定Strip Size后,系统会自动计算出Full Stripe Size。

Size

整个LD的容量大小。

Unit size

LD的容量计算单位。

SSD Over Provisioning optimization

设置在创建由SSD组成的RAID组时,是否启用SSD Over Provisioning。 DisabledEnabled 说明: 只有当RAID组由SSD组成时,才能设置该属性。

Acceleration method

设置LD所采用的加速方法。 SSD I/O Bypass(只有当LD由SSD组成时,该选项有效)Controller cache(同时使用读Cache和写Cache)None(禁用加速,表示既不使用SSD I/O Bypass,也不使用Controller Cache,即无任何加速。)

Submit Changes

确认修改。

WeiyiGeek.

Step 6.检查配置结果按照“Array Configuration > Manage Arrays”的顺序进入刚才创建的Array A组中;

参数

说明

Array Type

Array的类型。

List Logical Drives

逻辑盘相关的接口,可查看、修改逻辑盘的属性,删除逻辑盘等。

Create Logical Drive

创建逻辑盘。

IO Bypass Settings

设置SSD在不使用Controller Cache时的逻辑盘加速方法。 说明: 该特性即为读写高速缓存所述的“SSD I/O Bypass”。SSD组成的RAID组在使能Controller cache的情况下无法使能IO Bypass功能。如需使能IO Bypass,需要先禁用RAID组的Controller Cache,再使能IO Bypass。

Manage Spare Drives

热备盘相关的接口,可创建,删除热备盘等。

Identify Device

点亮/熄灭硬盘locate灯。

Delete Array

删除Array。

然后选择“List Logical Drive”并按“Enter”查看LD的相关属性 -> 之后在选择“Logical Drive Details”并按“Enter”

WeiyiGeek.List Logical Drive

Step 7.至此RAID 1 磁盘阵列完成设置;

注意事项:

  • 1) 配置多个RAID组或包含多个VD的RAID组后,必须配置启动项,否则可能会导致操作系统安装异常
  • 2) 安装好服务器系统可以采用ARCCONF工具进行即可执行RAID卡管理查看等相关命令;
3.系统安装

描述: Huawei服务器有两种安装方式:

直接安装方式: 方便简洁,但是由于没有镜像兼容性检测,可能导致系统安装后缺少驱动导致服务器或FC存储设备不能被识别;

Smart Provisioning方式安装:它一个操作系统的安装引导工具,简化了工程师在本地安装操作系统和驱动的过程。此方式要求iBMC 2.64以上版本以及BIOS 0.37以上版本。具体支持的服务器请使用智能计算产品兼容性查询助手进行查询。您可以使用Smart Provisioning集成在主板的方式引导安装系统,也可以使用挂载Smart Provisioning镜像的方式引导安装系统。

代码语言:javascript
复制
# 注意事项
使用Smart Provisioning安装操作系统时,需要格式化待安装操作系统的硬盘,请在安装操作系统前备份硬盘数据。
在Legacy模式下安装操作系统时,请使用容量在2TB以下的硬盘。

(1) 直挂载镜像方式安装流程: Step 1.利用网页或者KVM登录服务器iBMC平台进行管理(将连接的机器配置同一网段下的IP即可)

WeiyiGeek.

Step 2.将ISO镜像进行挂载连接,然后重启服务器后在功能选择界面选择F11

WeiyiGeek.

Step 3.输入缺省密码后选择启动项然后加载镜像并进行进行安装;

WeiyiGeek.

(2)Smart Provisioning 方式安装流程: Step 1.同样是先通过KVM或者ibmc网页端把进行连接,然后重新服务器在功能选择界面选择F6进入SP BOOT(此处需要输入密码),根据系统的配置此处可能等待时间较久;

WeiyiGeek.SP BOOT

Step 2.进入 Smart Provisioning 之后,点击 Start 出现以下界面,然后再次点击安装操作系统即可;

WeiyiGeek.

Step 3.选择安装的镜像,此处我们进行自定义即可,然后选择安装系统的版本,此处建议安装的是7.6,由于Smart Provisioning 现在默认最高支持CentOS7.6, 但是经过测试发现安装 7.8 也没问题只是在最后的安装结束前会报错,但是机器重启后可以正常的进入到系统之中;

WeiyiGeek.CentOS7.6

Step 4.安装磁盘选择与确认操作

WeiyiGeek.

Step 5.挂载镜像后点击进行下一步,此时系统会自动安装系统到磁盘并将硬件驱动也一并安装;

WeiyiGeek.

Step 6.系统安装完毕后将会重启服务器(不得不说华为的服务器启动真的是…此时略5-6分钟),加载安装的UEFI模式的操作系统

WeiyiGeek.

Step 7.进入CentOS 7.6系统初始化安装配置界面(此处不再多说与描述)

WeiyiGeek.

Step 8.安装完成后进行系统,可以在root家目录中查看通过Smart Provisioning安装后所留的硬件设备以及存储FC SAN的驱动等

WeiyiGeek.


0x03 华为服务器ESXI安装实践

描述: 请按照上述流程进入Smart Provisioning界面之中,然后选择开始进行按照下面操作部署EXSI;

1.基础安装
  • Step1.EXSI安装版本的选择此处最高可选择 ESXI 6.7 版本的镜像进行安装

WeiyiGeek.1

  • Step2.选择我们将要安装的磁盘,本来服务器中有两块盘由于做了Raid1所以空间只有大约600G,选择下面的磁盘进行安装

WeiyiGeek.2

  • Step3.挂载镜像后点击下一步进行ESXI系统的安装;

WeiyiGeek.3

  • Step4.加载镜像到内存后将会自动重启服务器,进入到ESXI安装界面之中;

WeiyiGeek.4

2.后续配置
FW和驱动配套检查

描述:有些板卡的驱动和FW是存在配套关系,系统安装完以后,我们建议您进行驱动和FW的配套检查,方法如下: (1) 运行idriver驱动包中的install.sh脚本。

代码语言:javascript
复制
sh install.sh

(2) 选择“2: To check the current module information and driver version”。

代码语言:javascript
复制
执行以后,FW和驱动的检查结果如下图。其中:
“CurrentDriverVer”:代表系统中当前使用的驱动版本
“NewDriverVersion”:代表系统推荐使用的驱动版本
“CurrentFirmwareVer”:代表当前的FW版本
“NewFirmwareVersion”:代表推荐使用的FW版本

(3) 执行以后,如果发现“CurrentFirmwareVer”不等于“NewFirmwareVersion”,或者“CurrentDriverVer”不等于“NewDriverVersion”需要对FW和驱动进行更新

系统优化配置

电源优化

描述:Power Management Policy设置为了在esxi系统下实现最佳的性能和稳定性。要实现Power Management Policy设置功能,您必须在华为服务器BIOS中将“Hardware P-States”选项设置为“Native Mode”

配置流程:

代码语言:javascript
复制
主机 -> Manager(管理) -> Hardware(硬件) -> Power Management Policy -> Change policy -> 设置为 High performance

CPU 优化 描述:在系统下关闭C state,关闭CPU的C state可以获得更好的性能,在esxi系统下禁用C state的方法如下。 进入Manage界面,选择Power.CstateMaxLatency, 然后设置为0。

WeiyiGeek.C state

描述:Monitor/Mwait和EVC兼容性建议您检查集群中服务器是否都是同一代CPU架构,如果集群中服务器都是同一代CPU架构,在这种情况下EVC特性是不起作用的,建议您关闭集群的EVC特性,对使用上没有任何影响。 如果您的集群中存在不同代CPU架构的服务器,并且要启用集群的EVC特性,您必须在华为服务器BIOS中将MONITOR/MWAIT特性设置为Enabled。

设置流程:BIOS untility -> MONITOR/MWAIT -> Enabled;

参照地址:华为V5服务器 VMware 系统使用最佳实践


0x04 F&Q
1.iBMC 管理地址设置

描述: 登录iBMC平台后选择 配置 -> 网络配置 -> IPV4进行设置(ip/子网/默认网关) ,配置完成后原管理地址立即失效,请访问新的管理地址;

WeiyiGeek.iBMC 管理地址

2.服务器安装系统启动模式的选择

描述:启动模式的修改根据需要在“Boot”页签中选择“Boot Type”为“UEFI Boot”或“Legacy Boot”;

当服务器配置了较多的可启动设备时,在Legacy模式下可能出现部分设备无法正常启动,建议使用UEFI模式启动,UEFI模式较Legacy模式可以支持更多可启动设备;如需要使用Legacy模式,建议根据实际业务场景禁用串口重定向或网卡PXE等,确保操作系统可以正常启动,具体操作请参考各平台BIOS参数参考的“设置网卡的PXE”和“设置串口重定向”章节。

注意事项:

代码语言:javascript
复制
# 1.两种模式下引导显示异同
- 在Legacy模式下:
当服务器配置了支持从Legacy启动的RAID卡或物理硬盘时,Hard Disk Drive列表显示具体的RAID卡或者物理硬盘信息,可以通过调整其顺序来调整启动设备。
- 在UEFI模式下:
当服务器硬盘未安装OS时,Hard Disk Drive列表下不存在启动项,此时OS安装过程中选择用来安装OS的硬盘即为启动盘。
当服务器硬盘已安装OS时,Hard Disk Drive列表将显示具体的OS版本,可以通过调整OS顺序来调整启动设备。


# 2.两种模式下切换注意
如果服务器已经在Legacy或者UEFI模式下安装OS,切换启动方式后将无法进入操作系统,需要切换为安装时的启动方式再进入,如操作系统需要重装,请根据实际情况选择是UEFI 或Legacy 模式安装OS。


# 3.两种模式下硬盘容量的关联
如果待安装的硬盘或RAID组容量大于2TB,需要将启动模式设置为UEFI Boot,新机器还是推荐使用该启动模式,除非额外的硬件不允许的条件下选择Legacy启动;
如果服务器安装了NVMe硬盘,并在该硬盘上安装OS,只能将启动模式设置为UEFI Boot。
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020-06-26,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 0x00 前言简述
  • 0x01 硬件基础介绍
    • 1.阵列卡 MSCC SmartRAID 3152-8i
    • 0x02 操作系统安装
      • 0.华为设备缺省信息
        • 1.准备工作
          • 2.创建Riad阵列磁盘
            • 3.系统安装
            • 0x03 华为服务器ESXI安装实践
              • 1.基础安装
                • 2.后续配置
                  • FW和驱动配套检查
                  • 系统优化配置
              • 0x04 F&Q
                • 1.iBMC 管理地址设置
                  • 2.服务器安装系统启动模式的选择
                  相关产品与服务
                  对象存储
                  对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
                  领券
                  问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档