运维开发里的数据动态获取和自动补录
在运维平台的设计中，目前有两套系统是并存，并行发展的，其中一部分原因是涉及的业务不同，关注点不同。所以在设计CMDB的部分时，最开始我是整合了已有的实现，把系统层的指标和数据都录进去了，即录入元信息需要录入数据库层面，系统层面，应用层面等等。
显然这不是一个好方法。如果内存是8G我录入错误，写成了80G有没有问题，在数据库运维平台这边是完全感知不到的，如果后续做了变更，我们也是无法感知的，与其这样，还不如不维护，系统层面的信息可以交由系统运维平台的CMDB即可，而数据库运维平台只需要关注数据库和业务信息即可，如果更进一步，数据库信息其实很多都可以自动发现或者探测得到，唯一需要我们确认的是数据库实例的应用信息。而反过来系统层面对于数据库的元信息有什么需求吗，其实也是有的，比如数据库MySQL的主从不应该部署在一个宿主机上，那么对于系统层面如何去鉴别这个信息呢，显然没有头绪，这就需要数据库层面接口信息来提供数据库的角色，如果数据库角色和服务器层面的信息绑定起来，其实这些信息就可以确认了。
所以在数据库运维平台中，我不刻意去维护系统的信息，而是主要通过API来来访问获取，当然为了提高性能，我会做一层过滤，我会把系统信息都收集一遍，放入本地的数据库表中，如果下一次访问的时候首先在数据库表中查找，如果找到，就直接返回，否则就重新申请获得。
然而看似优化的代码在运维平台中还是抛出了错误。
我看了下代码，大体如下：
vm_info_dict = virtual_machine_info.objects.get(ip=vm_ip_addr)
print(vm_info_dict)
if vm_info_dict != None:
physical_server_ip = vm_info_dict.hostip
device_info_dict = physical_server_info.objects.get(ip=physical_server_ip)
phy_contain_vms = virtual_machine_info.objects.filter(hostip=physical_server_ip)
else:
token = gettoken('xxxxx', 'xxxxx')
vm_info_dict=getresponse('https://xxxxx/API/v1/GetServerInfo/'+vm_ip_addr, token)
physical_server_ip = vm_info_dict.get("hostip")
print(physical_server_ip)
device_info_dict=getresponse('https://xxxxxx/API/v1/GetDeviceInfo/'+physical_server_ip, token)整体的思路就是通过Django API获取虚拟机信息，如果不存在就通过API去访问获取。
这个问题看起来比较奇怪，按照错误的思路，应该是在exception的异常捕获部门来处理，这么做确实是可以的，但是如果要扩展逻辑，异常处理的逻辑就会越来越重，感觉怪怪的。
所以反复测试，也算是明白了，使用get的方式去获取数据，如果获取不到就会抛错，个人感觉这个接口还是不太友好，可以换一种方式，比如filter来实现，因为从表结构能够定位到这是一个主键或者唯一性索引。
所以代码的部分根据count的方式来做了调整，然后在这个基础上又做了改进，即如果在本地的数据库中不存在，则访问接口得到数据库，把数据库下沉到本地，整个过程对于我们使用是透明的，也算是一种比较友好的交互方式。
vm_info_dict_exists = virtual_machine_info.objects.filter(ip=vm_ip_addr).count()
if vm_info_dict_exists >= 1:
vm_info_dict = virtual_machine_info.objects.get(ip=vm_ip_addr)
print(vm_info_dict)
physical_server_ip = vm_info_dict.hostip
device_info_dict = physical_server_info.objects.get(ip=physical_server_ip)
phy_contain_vms = virtual_machine_info.objects.filter(hostip=physical_server_ip)
return_dict["device_info_dict"] = device_info_dict
return_dict["vm_info_dict"] = vm_info_dict
return_dict["phy_contain_vms"] = phy_contain_vms
else:
token = gettoken('xxxx', 'xxxxxx')
vm_info_dict = getresponse('https://xxxxxx/API/v1/GetServerInfo/' + vm_ip_addr, token)
physical_server_ip = vm_info_dict.get("hostip")
print(physical_server_ip)
device_info_dict = getresponse('https://xxxxxxxAPI/v1/GetDeviceInfo/' + physical_server_ip, token)
return_dict["device_info_dict"] = device_info_dict
return_dict["vm_info_dict"] = vm_info_dict
vm_info = virtual_machine_info()
......
vm_info.memo = vm_info_dict.get("memo")
vm_info.save()
phy_exists = physical_server_info.objects.filter(ip=vm_info.hostip).count()
if phy_exists == 0:
phy_info = physical_server_info()
phy_exists = physical_server_info.objects.filter(ip=vm_info.hostip).count()
if phy_exists == 0:
phy_info = physical_server_info()
phy_info.update_date = device_info_dict.get("update_date")
......
phy_info.memo = device_info_dict.get("memo")
phy_info.save()
phy_contain_vms = virtual_machine_info.objects.filter(hostip=vm_info.hostip)
return_dict["phy_contain_vms"] = phy_contain_vms后续准备对这些信息做更进一步的改进，能够实现元数据的增量刷新，即数据发生变化的时候我会调用接口刷新数据到本地，否则还是保持不变。