MySQL周期表管理太繁琐，通过Python自定义工具方法优雅解决
MySQL周期表管理太繁琐，通过Python自定义工具方法优雅解决
这是学习笔记的第 2149 篇文章
最近的数据库小问题还是零零散散会出现，通过这些零星的小问题可以发现很多潜在问题的端倪。 所以准备在一些技术储备方面要多投入一些，把这些基础打扎实。
比如对于按照时间维度的日表，我们在此成为周期表，对于它的管理看起来很简单，实际上会有很多潜在的问题，对此我会提供一些改进的思路。
比如日表test_data_20190101，它存储的是1月1日的数据，这种数据模型中的数据基本都是流水型/日志数据，所以数据不需要保留太长时间，在用到的时候够查就可以了，一般设置为1个月，那么test_data表在20190201的时候就删除20190101的数据了，这里就存在一系列的问题，核心思想就是：怎么保证这个过程是可控的。通常会出现很多方面的问题:
1)周期表没有生成，业务写入失败
2）过期周期表没有按时清理，磁盘空间报警
3）误删除周期表，导致数据无法回复
4）管理多个周期表，没有提醒的机制，导致人为跟进出错概率高
5）周期表创建了，可能权限没有刷新
6）周期表创建了，但是业务压根没有用到，数据量一直是0
7）周期表创建了，但是不连续，比如有的月份是31天，只创建了30天
当然还有很多，对此我的目标是把这些潜在的问题都解决掉，转换为一种闭环的操作。
所以看起来一个很简单的操作，在引入一个特定的场景后（目前维护的有60多张周期表，时间范围各不相同），就会发现要处理的问题实在是太多了。
从功能设计上，有下面的一些小的功能需要完善和补充：
- 生成周期表的创建语句
- 检测失效的周期表
- 转置失效的周期表
- 删除失效的周期表
- 周期表阈值检测
- 数据是否存在的检测
- 周期表连续性检查
- 周期表可访问预检查
- 周期表自动创建
对于里面的一个功能，如何检测周期表是否连续，出发点是很好的，但是在实现的时候发现比想象的要复杂一些。
在今天的总结中，我的最大收获就是想明白，重视设计，写出来一二三，然后按照设计的思路，完成之后就会事半功倍。
简单的梳理，我发现时间管理方面有很多重复的功能，如果每次都去单独处理，其实还是挺繁琐的，索性写了一堆的工具方法。
- N个小时后的时间
- N个小时前的时间
- 今天前的第N天
- 今天后的第N天
- 今天以前的N天列表
- 今天以后的N天列表
- 指定时间范围的时间列表
- 判断日期是否在日期范围之内
- 两个日期列表相同的日期
- 两个日期列表差异的日期
相关的部分代码如下：
# 得到几个小时前的时间
def beforeHours2Date(hours, date_format='%Y-%m-%d %H:%M:%S'):
hours = int(hours)
t = time.time() - hours*60*60
t = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(t))
return t# 得到几个小时后的时间
def afterHours2Date(hours, date_format='%Y-%m-%d %H:%M:%S'):
hours = int(hours)
t = time.time() + hours*60*60
t = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(t))
return t# 得到几天前的日期
def beforeDays2Date(days, date_format='%Y-%m-%d %H:%M:%S'):
days = int(days)
t = time.time() - days*60*60*24
t = time.strftime('%Y-%m-%d', time.localtime(t))
return t# 得到几天后的日期
def afterDays2Date(days, date_format='%Y-%m-%d %H:%M:%S'):
days = int(days)
t = time.time() + days*60*60*24
t = time.strftime('%Y-%m-%d', time.localtime(t))
return t#得到几天前到今天的日期列表
def beforeDays2Datelist(n):
before_n_days = []
for i in range(1, n + 1)[::-1]:
before_n_days.append(str(datetime.date.today() - datetime.timedelta(days=i)))
return before_n_days# 得到今天到几天后的日期列表
def afterDays2Datelist(n):
before_n_days = []
for i in range(1, n + 1)[::-1]:
before_n_days.append(str(datetime.date.today() + datetime.timedelta(days=i) ))
return before_n_days
# 根据起始和截止日期得到日期列表
def get_datelist_by_start_end(datestart,dateend):
data_list_arr = []
datestart = str_to_date_day(datestart)
dateend = str_to_date_day(dateend)
data_list_arr.append(date_day_to_str(datestart))
while datestart < dateend:
datestart += datetime.timedelta(days=1)
next_day = datestart.strftime('%Y-%m-%d')
data_list_arr.append(next_day)
return data_list_arr# 转换字符串为时间
def str_to_date_time(time_str):
return datetime.datetime.strptime(time_str, '%Y-%m-%d %H:%M:%S')# 转换时间为字符串
def date_time_to_str(time1):
return time1.strftime("%Y-%m-%d %H:%M:%S")# 转换字符串为日期
def str_to_date_day(time_str):
return datetime.datetime.strptime(time_str, '%Y-%m-%d')# 转换日期为字符串
def date_day_to_str(time1):
return time1.strftime("%Y-%m-%d")# 判断日期是否在指定的列表中
def date_in_range(date_str,start_date,end_date):
return date_str in get_datelist_by_start_end(start_date,end_date)# 得到指定时间范围内不连续的日期
def discontinuous_date_in_list(start_date,end_date,date_list):
defined_list = get_datelist_by_start_end(start_date, end_date)
return list(set(defined_list).difference(set(date_list)))比如我的一个需求，得到不连续的日期，调用函数discontinuous_date_in_list，输入参数为起始日期，结束日期，然后提供一个时间列表进行比对。
print discontinuous_date_in_list('2019-10-21','2019-11-01',['2019-10-21','2019-10-23'])输出为：
['2019-10-22', '2019-10-27', '2019-10-26', '2019-10-25', '2019-10-24', '2019-10-29', '2019-10-28', '2019-10-30', '2019-10-31', '2019-11-01']可以看到很简短的代码就实现了一些繁琐的逻辑调用，而在后续的功能开发中，时间部分的处理也能高效很多。
简单一句话：不要轻视设计，然后像拼装乐高一样完成逻辑集成。
腾讯云开发者
