前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >你知道程序是怎么处理时区问题的么?

你知道程序是怎么处理时区问题的么?

作者头像
敖丙
发布2021-02-07 15:47:17
4K0
发布2021-02-07 15:47:17
举报
文章被收录于专栏:三太子敖丙

前言

在实际业务开发中,会碰到夏令时,闰秒,时区转换的问题,这些问题都需要从业务角度去考虑,保证用户在任何地区看到的数据都一致的,这就需要MySQL数据库、后端服务以及前端服务做相应的处理才能完成。

最近我也刚好在开发的时候遇到了,所幸就写下这个比较冷门的文章,跟大家聊聊夏令时,闰秒,时区转换在实际开发过程中的解决方案。

夏令时

夏令时介绍

夏令时(Daylight Saving Time:DST):又称"日光节约时制",是一种为节约能源而人为规定地方时间的制度,在这一制度实行期间所采用的统一时间称为“夏令时间”。

一般在天亮早的夏季人为将时间调快一小时,可以使人早起早睡,减少照明量,以充分利用光照资源,从而节约照明用电,除了夏令时外还有冬令时,采用的是本地的标准时间。

可以看到意大利是有夏令时制,夏令时的时间从3月28日到10月31日,冬令时(本地标准时间)是从11月1日到3月27日,在夏令时时段内,时间比标准时间快一个小时,例如罗马市的时区GMT + 1:00,标准时间为10:00:00,在夏令时的时间就是11:00:00,冬令时的时间就是10:00:00。

CET (中欧标准时间) 是UTC + 01:00时区的名称之一,比UTC(世界标准时间)提前1个小时,与UTC的时间偏差可写为+01:00,在冬天使用,在夏季时使用CEST - 中欧夏令时间 (UTC + 02:00,提前一个小时)。

LInux时区

Linux服务器的系统时间的校准是通过NTP(Network Time Protocol)服务来实现,每隔一段时间会跟时钟源进行校对,确保Linux系统时间的准确性,同时Linux操作系统支持不同国家及地区的时区设置,所有时区信息位于/usr/share/zoneinfo目录下,如果需要设置时区,只需要将/etc/localtime软链接到一个具体的地区即可,如果这个地区有DST机制,那么Linux会自动在DST和标准时间之间切换,不需要额外的代码来处理。

代码语言:javascript
复制
## Linux支持的区域信息
$ ls -ltr /usr/share/zoneinfo/
total 320
lrwxrwxrwx  1 root root     3 10月 23 05:18 Zulu -> UCT
-rw-r--r--  1 root root  1544 10月 23 05:18 W-SU
-rw-r--r--  1 root root  1873 10月 23 05:18 WET
lrwxrwxrwx  1 root root     3 10月 23 05:18 UTC -> UCT
lrwxrwxrwx  1 root root     3 10月 23 05:18 Universal -> UCT
-rw-r--r--  1 root root   127 10月 23 05:18 UCT
-rw-r--r--  1 root root  1970 10月 23 05:18 CET
## 前端服务所在Linux服务器的时区
$ ls -ltr /etc/localtime 
lrwxrwxrwx 1 root root 33 11月  1 06:20 /etc/localtime -> /usr/share/zoneinfo/Asia/Shanghai

通过zdump命令查看下意大利罗马的时区属性。

代码语言:javascript
复制
$ zdump -v /usr/share/zoneinfo/CET
/usr/share/zoneinfo/CET  Sun Mar 28 00:59:59 2021 UT = Sun Mar 28 01:59:59 2021 CET isdst=0 gmtoff=3600
/usr/share/zoneinfo/CET  Sun Mar 28 01:00:00 2021 UT = Sun Mar 28 03:00:00 2021 CEST isdst=1 gmtoff=7200 #2021年夏令时开始
/usr/share/zoneinfo/CET  Sun Oct 31 00:59:59 2021 UT = Sun Oct 31 02:59:59 2021 CEST isdst=1 gmtoff=7200 #2021年夏令时结束

Sun Mar 28 01:00:00 2021 UT = Sun Mar 28 03:00:00 2021 CEST isdst=1 gmtoff=7200

从上面的信息可以看到,2021年夏令时的开始时间是Sun Mar 28 01:00:00,结束时间为Sun Oct 31 00:59:59,isdst = 1说明当前处于DST时段,gmtoff=7200表示与格林治时间的offset,单位秒,即UTC + 02:00,也称为CEST时间,这说明Linux操作系统已经自动实现了下夏令时DST的自动切换。

处理夏令时

举个例子,意大利罗马的客户需要开发一个税务系统,用于国内各地市的税收记账,由于意大利是有夏令时制,就需要考虑夏令时DST的处理,在开发的过程中,涉及时间问题的包括MySQL数据库(mysql-server),后端服务(backend-service)以及前端服务(frontend-service)三个方面,下面就从三个层面分析如何去处理DST。

  1. 前端处理

业务对前端的要求是:不管使用的是移动端还是PC端,都应该正确的显示当时时间,包括有夏令时制的时间。

如果在中国的话,就比较好处理,没有DST机制,统一使用东八区即GMT/UTC + 08:00即可,前端服务的时间直接取Linux服务服务器的系统时间,Linux的时区只需要设置为Asia/Shanghai即可,前端不需要做任何时间的转入转出。

**转入:**指POST请求写入数据,user —> frontend-service —> backend-service —> mysql-server,例如缴税接口。

**转出:**指GET请求查询数据,mysql-server —> backend-service —> frontend-service —> user,例如查询接口。

不过开心的是,Linux操作系统已经自动实现了DST转换,在前端不需要做任何处理,设置Linux时区为CET。

代码语言:javascript
复制
# 修改LInux时区为CET,也可以通过timedatectl命令修改。
$ ln -sf /usr/share/zoneinfo/CET /etc/localtime

这样在意大利国内的用户的通过终端(移动端或PC端),登录系统缴税或查询时,用户时间和前端服务的时间完全一致,即完成如下这一步的处理。

  1. 后端处理

我们了解了前端Linux服务器的时区设置为CET,就能自动处理意大利DST夏令时转换了,后端Java程序部署在Linux服务器上,将其时区设置跟前端一样,也是CET时区,后端只需要接收前端传过来的值进行MySQL的CRUD操作即可,税务表的结构如下:

代码语言:javascript
复制
CREATE TABLE `tax_form` (
  `id` bigint NOT NULL AUTO_INCREMENT COMMENT '主键id',
  `tax_id` varchar(20) NOT NULL DEFAULT '' COMMENT '税务编号',
  `amount` decimal(12,4) NOT NULL DEFAULT '0.0000' COMMENT '纳税金额',
  `tax_payer_id` varchar(20) NOT NULL DEFAULT '' COMMENT '纳税人编号',
  `status` tinyint NOT NULL DEFAULT '0' COMMENT '缴税状态',
  `audit_time` datetime NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '审核时间',
  `create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `update_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '修改时间',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci COMMENT='税务记录表';

主要看一下缴税和审核接口,分别的对应的SQL语句如下:

缴税

代码语言:javascript
复制
-- 缴税接口的对应的SQL
insert into tax_form(tax_id,amount,tax_payer_id,status) values('T001', 1234.56, 'U001', 0)

审核

代码语言:javascript
复制
-- 修改审核状态
update tax_form set status = 1, audit_time = '2021-01-07 12:02:30' where  tax_payer_id = 'U001';

涉及时间的字段有两类

**公共字段:**create_time,update_time这些是每个表必须有的时间字段,而且默认都是MySQL的CURRENT_TIMESTAMP,取的MySQL server的当前系统时间,而这个时间是跟MySQL的时区time_zone设置不同而变化的,同时MySQL也是支持夏令时DST自动转换的。

业务字段:audit_time审核时间属性是由前端页面传到后端进行处理,后端无需做任何转换。

  1. MySQL处理

MySQL也是支持夏令时DST机制,不过设置时区time_zone只能设置为地区(类似Linux设置时区一样),不能石永红MySQL设置的时区的相关变量

代码语言:javascript
复制
mysql> show variables like '%zone%';
+------------------+--------+
| Variable_name    | Value  |
+------------------+--------+
| system_time_zone | CST    |   -- 数据库服务器的当前时区,不可修改,CST这里指的是中国标准时间(China Standard Time UTC+08:00,即东八区)
| time_zone        | SYSTEM |   -- 数据库时区,默认跟服务器保持一致,可修改。

目前是东八区,修改为意大利时区,即东一区。

代码语言:javascript
复制
mysql> select now();
+---------------------+
| now()               |
+---------------------+
| 2021-01-07 13:43:31 
-- 修改数据库时区为零时区,即。
mysql> set time_zone = 'CET';
ERROR 1298 (HY000): Unknown or incorrect time zone: 'CET'
-- 尝试通过+0:00方式修改,可以成功修改。
mysql> set time_zone = '+1:00';
Query OK, 0 rows affected (0.00 sec)

MySQL存储时区信息的数据字典

代码语言:javascript
复制
mysql> show tables from mysql like '%time_zone%';
+-------------------------------+
| Tables_in_mysql (%time_zone%) |
+-------------------------------+
| time_zone                     |   -- 时区信息
| time_zone_leap_second         |   -- 时区闰秒信息
| time_zone_name                |   -- 时区名
| time_zone_transition          |   -- 时区转换
| time_zone_transition_type     |   -- 时区转换类型

默认情况下,这些表都是空的,需要通过MySQL专门提供的命令mysql_tzinfo_to_sql导入,数据会被插入到表time_zone相关的表中。

代码语言:javascript
复制
# Linux下的时区信息/usr/share/zoneinfo通过命令mysql_tzinfo_to_sql加载到相关的time_zone表中。
$ mysql_tzinfo_to_sql /usr/share/zoneinfo | mysql -u root mysql

执行完成之后,看一下表中的数据,再尝试设置时区为CET。

代码语言:javascript
复制
mysql> select * from mysql.time_zone_name where name like '%CET%';
+------+--------------+
| Name | Time_zone_id |
+------+--------------+
| CET  |          373 |
-- 设置时区为CET
mysql> set time_zone = 'CET';
Query OK, 0 rows affected (0.02 sec)
mysql> select now();
+---------------------+
| now()               |
+---------------------+
| 2021-01-07 10:00:36 |

而且也支持时区转换,例如将北京时间转换成罗马时间。

代码语言:javascript
复制
-- 北京时间17:00:00转换成CET的罗马时间就是10:00:00
mysql> select convert_tz('2021-01-07 17:00:00', 'Asia/Shanghai', 'CET') as time;
+---------------------+
| time                |
+---------------------+
| 2021-01-07 10:00:00 |

我们要解决的问题是:MySQL设置time_zone='CET'后是否能自动实现DST转换,如果可以的话,那么用户端、前端服务、后端服务以及MySQL服务器时区就统一为CET,同时都能自动处理DST,从上面的zdump -v /usr/share/zoneinfo/CET命令输出可以看到,2021年意大利的夏令时从3月28号01:59:59号开始,也就是时间调快一小时。

代码语言:javascript
复制
-- 01:59:59时间点,没有发生DST切换。
mysql> select convert_tz('2021-03-28 01:59:59', '+1:00', 'CET') as time;
+---------------------+
| time                |
+---------------------+
| 2021-03-28 01:59:59 | 
-- 02:00:00时间点,确实发生DST切换,从02:00:00调快了一小时变成了03:00:00
mysql> select convert_tz('2021-03-28 02:00:00', '+1:00', 'CET') as time;
+---------------------+
| time                |
+---------------------+
| 2021-03-28 03:00:00 |
-- 将+1:00时间换成CET,结果也是一样的,发生了DST切换。
mysql> select convert_tz('2021-03-28 02:00:00', 'CET', 'CET') as time;
+---------------------+
| time                |
+---------------------+
| 2021-03-28 03:00:00 |

从上面的结果可以看到,当time_zone设置成地区/城市,系统会自动解决夏令时DSTQ切换问题,如果设置time_zone='+1:00’这种方式就失去了夏令时机制,目前在MySQL数据库中,在初始化time_zone相关表元数据以后,MySQL就可以自己完成夏令时的修正,不需要额外的服务处理。

对于AWS RDS的来说,time_zone是可以选择地区/城市的,也就是支持夏令时的自动切换。

  1. 处理夏令时总结

通过上面的分析可以知道,Linux服务器和MySQL服务器都可以自动处理DST切换,前提是需要设置Linux的时区和MySQL时区为地区,例如都设置为CET。

闰秒

指为保持协调世界时接近于世界时时刻,由国际计量局统一规定在年底或年中(也可能在季末)对协调世界时增加或减少1秒的调整。最近一次闰秒在北京时间2017年1月1日7时59分59秒(时钟显示07:59:60)出现。

在实际的业务系统,受闰秒影响的有Linux服务器,Java代码以及MySQL数据库,我们来看看它们分别是怎么解决的LeapSecond问题的。

Linux服务器

对于大多数新的linux内核(2.6.x内核以后是支持LeapSecond,在这之前可能会导致Linux Kernel Crash),在设计时都是支持闰秒的,Linux操作系统时间是通过NTP服务来和时钟源来进行同步,NTP会一级一级地下发闰秒事件通知直到最边缘的NTP服务器,然后NTP就会把闰秒通知给客户端的操作系统,由操作系统来处理闰秒通知。

对于闰秒2017-01-01 07:59:60,Linux内核需要处理这个时间,就需要做一些特定的处理,一般会有以下三种方案。

  1. 后退一秒
  2. 停止一秒
  3. 真正的增加一秒

第一种方式会导致一些基于timestamp的消息通知乱序了,而第二种会导致出现两个一模一样的timestamp,而最后一种不会出现timestamp的问题,也是后面Linux内核选择的处理方案。

代码语言:javascript
复制
mysql> select UNIX_TIMESTAMP('2017-01-01 07:59:59') as nts;
+------------+
| nts        |
+------------+
| 1483257599 |
$ date -d '@1483257599' --utc
Sun Jan  1 07:59:59 UTC 2017
$ date -d '@1483257600' --utc
Sun Jan  1 08:00:00 UTC 2017

从这里可以看到,Linux采用的是第三种方案:真正的增加一秒,这也符合业务系统的需求。

Java代码

Java代码的System.currentTimeMillis()会产生闰秒60,是取决于Linux操作系统的,在Linux Kernel 2.6.x之后已经fix了LeapSecond问题。

MySQL数据库

上面看到了在MySQL下已经有了mysql.time_zone_leap_second数据字典,说明已经支持了LeapSecond,处理方案跟Linux类似。

代码语言:javascript
复制
-- 创建一张测试表存储timestamp时间戳
CREATE TABLE ls(  
id bigint NOT NULL COMMENT 'id',
ts TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY (id));
-- 设置数据库时区为UTC
mysql> set time_zone = 'UTC';
mysql> set timestamp = 1483257599;  --对应时间:2017-01-01 07:59:59
mysql> insert into ls(id) values(1);
mysql> set timestamp = 1483257600;  --对应时间:2017-01-01 07:59:60
mysql> insert into ls(id) values(2);
-- 可以看到MySQL对闰秒进行了处理,将07:59:60转换成了08:00:00。
mysql> select id, ts, unix_timestamp(ts) from ls;
+----+---------------------+--------------------+
| id | ts                  | unix_timestamp(ts) |
+----+---------------------+--------------------+
|  1 | 2017-01-01 07:59:59 |         1483257599 |
|  2 | 2017-01-01 08:00:00 |         1483257600 |
-- 通过闰秒时间查询会报错
mysql> select * from ls where ts = '2017-01-01 07:59:60';
ERROR 1525 (HY000): Incorrect TIMESTAMP value: '2017-01-01 07:59:60'
mysql> select * from ls where ts = '2017-01-01 08:00:00';
+----+---------------------+
| id | ts                  |
+----+---------------------+
|  2 | 2017-01-01 08:00:00 |

跨境系统的时间处理

上面介绍的意大利罗马的税务系统,其实属于政企业务,只服务于国内的用户的需求,不涉及海外用户的请求,相对来说地区和人员都比较固定,但是像这种跨境电商巨头ebay,它服务的用户遍布全球各地,而且每个地区的时区不同,同时每个时区的夏令时DST的起始时间也不一样,我们要解决的是要根据客户所在地区显示正确的时间(包括DST),跟前面的DST处理一样也涉及到三端处理:前端服务(frontend-service),后端服务(backend-service)以及MySQL数据库(mysql-server)。

从这个图上可以看到,前端服务的UI层跟用户所在的地区时间要完全一致,至于后端服务和MySQL如何处理时间,对于用户来说根本不关心的,这就要求前端必须要根据不同地区,不同时区,不同夏令时DST产生不同的时间的用户进行转换处理,不同地区的时间转换目前前端(Vue/React)已经有现成的插件可直接使用。

同时希望只在前端处理用户时间的转入和转出,后端和MySQL数据库不做任何修改就能完成业务处理和数据存储。

北京用户在UTC + 8也就是东八区,而罗马用户在UTC + 1东一区,都是在UTC的基础上做处理,那我们就可以将时区都设置为UTC,然后根据用户所在地区进行相应的处理。

MySQL处理

设置MySQL数据库的时区为UTC,不管用户来自哪个地区存储在数据库的时间都是UTC,包括公共时间字段(创建时间,修改时间)以及业务时间字段(交易开始时间,交易结束时间)。

代码语言:javascript
复制
-- 设置数据库时区为UTC,即零时区
set global time_zone = 'UTC'

后端处理

MySQL时区是UTC,那么后端服务的所在的Linux Server时区统一设置为UTC,跟MySQL保持一致,这样后端就不需要做任何转换。

前端处理

前端拿到标准时区UTC的数据,统一根据用户所在时区进行转换,这样保证与后端数据时区的一致性,前端根据实际情况进行渲染。一般来讲,前端将时间数据传递到后端,后端封装成timestamp后存储在MySQL中对应timestamp类型(MySQL中的timestamp是不区分时区的,例如数据库是UTC 02:00:00,北京用户使用ebay在CST 10:00:00下单,数据库中的订单表的create_time就应该存储2020-12-03 10:00:00),同时前端查询数据的也要做相应的转换处理。

定时任务

后端服务一般都会一些定时任务,这个时间一般取自Linux OS的时间,跟前端没关系,基于Linux的UTC时区做相应的调整即可。

总结

上面介绍了夏令时,闰秒以及跨境系统的时间处理问题,主要涉及到MySQL数据库,后端服务以及前端服务三个层面,对于夏令时,闰秒的转换处理,Linux和MySQL都可以自动完成处理,不需要额外转换;对于跨境系统的时间处理,通过设置Linux和MySQL时区为UTC,只需要前端服务处理不同地区用户时间问题,降低了系统改造的风险,今天就聊这么多,希望对大家有所帮助。

我是敖丙,你知道的越多,你不知道的越多,感谢各位人才的:点赞收藏评论,我们下期见!

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-01-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 敖丙 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 夏令时
    • 夏令时介绍
      • LInux时区
        • 处理夏令时
        • 闰秒
          • Linux服务器
            • Java代码
              • MySQL数据库
              • 跨境系统的时间处理
              • 总结
              相关产品与服务
              云数据库 SQL Server
              腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
              领券
              问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档