学会这3招，分分钟迁移业务繁忙虚拟机！

Writer:Cgm 醉里挑灯写bug；

热爱旅游和美食。

一、背 景

迁移一台内存密集型实例时，由于写内存的速度较快，脏页产生的速度一直比迁移虚拟机机，源目的虚拟机同步内存速度快，导致迁移一直完不成，结果超出了keystone token默认的1小时超时时间，最后导致虚拟机状态错误，迁移完不成。

二、迁移超时导致token超时

1、原 因  

keystone token默认超时时间为1小时。

虚拟机默认热迁移超时取消迁移时间为（非块迁移）：虚拟机内存GB * 默认800s

得出以下关系：

因此，当虚拟机的规格大于4GB时，且一直无法完成迁移，持续超过keystone的1小时时间，这时会发生虚拟机变成错误状态。而虚拟机规格大于4GB是常见的情况，因此需要避免虚拟机因热迁移时间超过keystone超时时间（默认的1小时），虚拟机状态异常错误。

值得说明的是，多数情况下虚拟机热迁移时间在大约10分钟以内（虚拟机64G/1Gb网卡）。因此，如迁移大于10分钟还未迁移完成，建议取消迁移，选择虚拟机io空闲时段再次迁移。

2、避免虚拟机迁移token超时 

• 增加迁移最大超时时间

修改nova代码，设置虚拟机热迁移最大的超时时间小于1小时（keystone默认token超时时间为1小时）。

这里为了使代码修改最少，采用在代码中写成固定的3400s的方法。

代码位置：/usr/lib/python2.7/site-packages/nova/virt/libvirt/driver.py_live_migration_monitor函数中：

@@ -7558,12 +7559,15 @@ class LibvirtDriver(driver.ComputeDriver):                 progress_timeout = CONF.libvirt.live_migration_progress_timeout                 completion_timeout = int(                     CONF.libvirt.live_migration_completion_timeout * data_gb)+                completion_timeout = min(completion_timeout, 3400)                 if libvirt_migrate.should_abort(instance, now, progress_time,                                                 progress_timeout, elapsed,                                                 completion_timeout,                                                 migration.status):                     try:                         guest.abort_job()+                        LOG.warning("Abort migration because of completion timeout(%ss)",+                                    completion_timeout)                     except libvirt.libvirtError as e:                         LOG.warning("Failed to abort migration %s",                                     e, instance=instance)

重启nova-compute服务生效，systemctlrestart openstack-nova-compute。

三、迁移加速功能开启

上图为在迁移网络是1Gb网卡下，脏页产生速度和downtime（最小停机时间）之间的关系。

1、差异传输xbzrle功能 

• 功能说明

xbzrle功能开启后，在迁移的时候，会在迁移源端保存一份缓冲区（默认是64MB），用于缓存传输过的脏页面；当下次迭代传输时，若缓存过的页面写入（比如：128B的）数据，而被标记为脏页面，这时只会传输（比如：128B的）数据，而不是整个4KB页面，这将减少传输的数据量。

若某个用户程序频繁写申请过的内存，开启该功能会，将会大大增加热迁移效率，提高热迁移成功率。

但若用户程序是频繁申请新的内存（如malloc等），开启该功能，将不会对热迁移效率有大的提升。因为新申请的页面，并没有被xbzrle历史缓存。另外迁移时，会使用64MB的宿主机系统内存，迁移完成后释放。

后面章节有结果数据比较。

• 开启xbzrle功能方法

由于目前nova还没有开启qemu xbzrle的功能，因此需要修改代码支持。

代码位置：nova/virt/libvirt/driver.pyb/nova/virt/libvirt/driver.py

diff --git a/nova/virt/libvirt/driver.py b/nova/virt/libvirt/driver.pyindex a3feb6b..1b47f1e 100644--- a/nova/virt/libvirt/driver.py+++ b/nova/virt/libvirt/driver.py@@ -7295,6 +7295,7 @@ class LibvirtDriver(driver.ComputeDriver):             else:                 migration_flags = self._live_migration_flags
+            migration_flags |= 1 << 11             serial_listen_addr = libvirt_migrate.serial_listen_addr(                 migrate_data)             if not serial_listen_addr:

重启nova-compute服务生效，systemctlrestart openstack-nova-compute

2、自动降频功能 

• 功能说明

开启该功能后，nova（Libvirt）检测到迁移不太可能完成（虚拟机的写内存速度大于迁移数据速度），并减慢了其CPU的速度，直到内存复制过程比实例的内存写入快，提高迁移成功率。

缺点：它会降低虚拟机的运行速度，可能会对某些应用影响，因此在开启该功能前，请确认降低虚拟机的运行速度不会对应用产生大的影响。

• 测试数据

因此当cpu阻塞很高时（90%），才会对内存密集型实例迁移有较大帮助。

• 使用

在迁移内存密集型实例时（事先确认了用户应用接受CPU阻塞），在虚拟机所在节点使用命令；

virsh domjobinfo virsh-list-id

注：virsh-list-id是virsh list中虚拟机的id/name；

查看Dirty rate速度是否一直很高（比如大于30000pages/s），且虚拟机的cpu使用率较高，此时建议打开自动降频功能（（请先确认用户应用能接受CPU阻塞））；在迁移成功之后，关闭该功能。

关闭方法：

在/etc/nova/nova.conf的[libvirt]属性下，删除live_migration_permit_auto_converge=true

并重启nova-compute服务：systemctl restartopenstack-nova-compute

• 迁移完不成时打开

A.先取消迁移过程

1）找到迁移虚拟机的uuid（用instance_id代表）

2）找到迁移id：novaserver-migration-list instance_id.用migration_id代表迁移id。

3）执行取消迁移命令：novalive-migration-abort instance_idmigration_id

B.打开自动降频功能

在/etc/nova/nova.conf的[libvirt]属性下，添加live_migration_permit_auto_converge=true

并重启nova-compute服务：systemctl restart openstack-nova-compute

C.再次迁移

D.迁移成功之后关闭自动降频功能

在/etc/nova/nova.conf的[libvirt]属性下，删除live_migration_permit_auto_converge=true

并重启nova-compute服务：systemctl restartopenstack-nova-compute

• 提前开启

在迁移内存密集型实例时或虚拟机热迁移无法完成时，打开自动降频功能，提高迁移成功率（请先确认用户应用能接受CPU阻塞）。

开启方法：

在/etc/nova/nova.conf的[libvirt]属性下，添加live_migration_permit_auto_converge=true

并重启nova-compute服务：systemctl restartopenstack-nova-compute

3、功能使用对比及建议 

本次测试虚拟机规格为8核16G（同监控云虚拟机规格，监控云虚拟机迁移为问题频发事例）。

• 该虚拟机无负载时，热迁移耗时5s.
• 循环写内存程序test.

test.c程序如下：

#include <stdio.h>#include <stdlib.h>#include <string.h>#include <stdint.h>
int main(){    int c,i,j;    int test[1000][2000];    for(c=0; c < 1000000; c++)    {        for(i=0; i < 2000; i++)        {            for(j=0; j<1000; j++)            {                test[j][i]=j;            }        }    }    return 0;}

• stress malloc申请新内存压力测试

4、总结 

可以看出，写内存程序test是xbzrle最理想的情况，这时候xbzrle最有效，接近无负载情况；stress malloc程序则是xbzrle最差的情况。

实际应用情况是介于两者之间，因此xbzrle是有效的，建议默认打开xbzrle功能。auto-converge功能建议在xbzrle无效，且虚拟机应用对cpu阻塞可接受的情况下再使用。

四、操作手册

以下为简介操作手册：

建议默认打开xbzrle功能。auto-converge功能建议在xbzrle无效，且虚拟机应用对cpu阻塞可接受的情况下再使用。

1、避免虚拟机迁移token超时 

修改nova代码，设置虚拟机热迁移最大的超时时间小于1小时（keystone默认token超时时间为1小时）。

代码位置：/usr/lib/python2.7/site-packages/nova/virt/libvirt/driver.py_live_migration_monitor函数中：

@@ -7558,12 +7559,15 @@ class LibvirtDriver(driver.ComputeDriver):                 progress_timeout = CONF.libvirt.live_migration_progress_timeout                 completion_timeout = int(                     CONF.libvirt.live_migration_completion_timeout * data_gb)+                completion_timeout = min(completion_timeout, 3400)                 if libvirt_migrate.should_abort(instance, now, progress_time,                                                 progress_timeout, elapsed,                                                 completion_timeout,                                                 migration.status):                     try:                         guest.abort_job()+                        LOG.warning("Abort migration because of completion timeout(%ss)",+                                    completion_timeout)                     except libvirt.libvirtError as e:                         LOG.warning("Failed to abort migration %s",                                     e, instance=instance)

重启nova-compute服务生效，systemctlrestart openstack-nova-compute

2、打开xbzrle差异传输功能 

代码位置：nova/virt/libvirt/driver.pyb/nova/virt/libvirt/driver.py

diff --git a/nova/virt/libvirt/driver.py b/nova/virt/libvirt/driver.pyindex a3feb6b..1b47f1e 100644--- a/nova/virt/libvirt/driver.py+++ b/nova/virt/libvirt/driver.py@@ -7295,6 +7295,7 @@ class LibvirtDriver(driver.ComputeDriver):             else:                 migration_flags = self._live_migration_flags
+            migration_flags |= 1 << 11             serial_listen_addr = libvirt_migrate.serial_listen_addr(                 migrate_data)             if not serial_listen_addr:

重启nova-compute服务生效，systemctlrestart openstack-nova-compute

建议把xbzrle功能默认打开。

3、自动降频功能 

开启该功能后，nova（Libvirt）检测到迁移不太可能完成（虚拟机的写内存速度大于迁移数据速度），并减慢了其CPU的速度，直到内存复制过程比实例的内存写入快，提高迁移成功率。因此，开启该功能前，请确认用户虚拟机应用能接受CPU被阻塞。

不建议把自动降频功能默认打开。

开启步骤：

A.若在迁移过程中，则先取消迁移过程

1）找到迁移虚拟机的uuid（用instance_id代表）

2）找到迁移id：novaserver-migration-list instance_id.用migration_id代表迁移id。

3）执行取消迁移命令：novalive-migration-abort instance_idmigration_id

B.打开自动降频功能

在/etc/nova/nova.conf的[libvirt]属性下，添加live_migration_permit_auto_converge=true

并重启nova-compute服务：systemctl restartopenstack-nova-compute

C.执行迁移

D.迁移成功之后关闭自动降频功能

在/etc/nova/nova.conf的[libvirt]属性下，删除live_migration_permit_auto_converge=true

并重启nova-compute服务：systemctl restartopenstack-nova-compute

附-虚拟机迁移信息查看命令

1、查看迁移时的速度等信息 

virsh domjobinfo virsh-list-id

例如：

[root@openstack-con03 ~]#virsh domjobinfo 323

Job type:         Unbounded  

Operation:        Outgoing migration

Time elapsed:     139135       ms

Data processed:   15.146 GiB

Data remaining:   6.812 MiB

Data total:       4.016 GiB

Memory processed: 15.146GiB

Memory remaining: 6.812 MiB

Memory total:     4.016 GiB

Memory bandwidth: 107.902MiB/s

Dirty rate:       34398        pages/s

Iteration:        2247       

Constant pages:   950532     

Normal pages:     3960697    

Normal data:      15.109 GiB

Expected downtime:1240         ms

Setup time:       50           ms

注：virsh-list-id是virsh list中虚拟机的id/name（下同）。

2、查看虚拟机的迁移特性信息 

virsh qemu-monitor-command virsh-list-id --hmp infomigrate_capabilities

3、查看虚拟机迁移的down机时间限制/cpu初始降频信息等 

virsh qemu-monitor-command virsh-list-id --hmp info migrate_parameters

4、virsh取消迁移 

virsh qemu-monitor-command virsh-list-id --hmp migrate_cancel

●Ceph RGW整体结构，最全干货在这！

●还在为容器时区困扰？送你一剂良药！

●玩转K8S AdmissionWebhook

· END ·

记得文末点个在看鸭~

点就完事儿了！