数据同步的一些思考与改进
数据同步的一些思考与改进
背景
闲的没事,自己写了个小网站,搭建在自己国外的VPS上,VPS内存极小(512M),而且还要跑点别的(你懂的),内存更紧张巴巴. 改造之前小网站用到了时髦的Redis,Rabbmitmq,Mysql,那时候阿里云的学生主机内存富足,装这么多中间件压力不大,可到了这样的小内存VPS上,一切都变得水土不服,索性啥中间件都不要了,数据库也不要了. 没了数据库,网站的数据从哪里来?存在哪里? 文本形式持久化到本地磁盘? 国外的VPS不比国内,可能哪天说不能访问就不能访问了,VPS的磁盘存储显然不踏实. 同事给我建议了万能的Github,听过Github托管代码?,托管静态页面?,托管女装大佬?,但托管网站数据倒是第一次听说,于是我对网站架构进行了重新设计.
Plan1 数据的同步
小网站数据不多,10M左右,所有数据直接加载到内存中服务器也不会吃力,网站启动,自动从Github Clone数据,并定期把内存中的数据序列化后Push到Github. 可以看到,整个过程中,好像没有磁盘啥事了,在我的眼里,Github就是一块延时略高的磁盘(其实延时也还好,国外的Github访问速度飞快).
Plan2 同步的频率
磁盘的读取速度和内存无法比,何况远程的Github,那么如果减少数据从内存到Github的同步开销呢?显然就是减少同步的频率. 一小时同步一次,应该够了. 但如果我的网站在这一小时挂了boom?,而数据还没来得及同步,那上次一同步到网站挂掉这个时间段内的数据不就没了吗?细思极恐?!
Plan3 多多不益善
既然一小时一次不安全,那就一分钟同步一次! 其实这样也是有问题的,小网站一般都是无人问津,如果以较高的频率进行数据同步,可以说绝大多数(用互联网的所法是百分之N个9)的数据同步都是没意义的,同时还增大了数据的同步开销,没准Github还会把我的账号给封了.
Plan4 内存数据变更立即触发数据同步
在我的网站中,有统一的数据访问层,只要数据访问层中的insert,update,delete处加入数据同步事件,即可实现一旦更新立即同步. 这样是数据是安全了,可是一次访问请求往往伴随着多次数据更新,每更新一次同步一次,可能是最脑残?的做法吧.
Question
数据更改一次同步一次不合理,同步频率太低数据不安全,频率太高多数同步没有意义,到底该怎样呢?
局部性原理
在揭开我的设计方案前,我们先来过一下CPU访问存储器时所遵守的局部性原理.
在计算机存储介质这个金字塔中,越靠近金字塔顶端,空间越小,但是读取数据越快;越靠近金字塔底端,空间越大,但访问速度也越慢. 正式因为这样,所以每次自下而上的数据数据流大小逐层递增, 交换频率逐层递减,如何在时间与空间上取到平衡点是关键. 于是有了空间局部性原理和时间局部性原理,力求让计算机的数据流动更高效.
空间局部性
如果一条数据被访问,那么与它临近的数据也可能要被用到. 比如数组,你访问了索引1上的数据,那么1附近的数据当然很有可能被访问,所以这个时候干脆把1附近的数据也往上加载一个层级.
时间局部性
如果一条数据项正在被访问，那么在近期它很可能还会被再次访问,所以这个时候干脆就把它留在当前层级,先不急着回收掉.
而网站的数据的更新也是具有时间局部性的,像我这样并冷门的网站,基本没人访问,但是一旦访问了,立即就要进行点击量的更新,站点响应速度的记录,没准又会有评论留言,然后要通知管理员进行留言审核.这大概就是不鸣则已,一鸣惊人,一次访问短期内往往立即触发一连串的数据更新,我认为这也是一种时间局部性.
所以,在数据同步上,我设计了如下方案.
- 另起一个线程作为定时任务,主要负责定时数据同步
- 正常情况下,每小时与Github进行数据同步.
- 一旦网站数据被更新,检查剩余同步时间是否大于30秒. ** 如果大于三十秒,强行把计时器剩余时间设置为30秒. ** 如果小于三十秒,不做操作.
- 计时器时间走完,立即同步数据到Github.
定时沙漏⏳
原本文章说到这里就可以结束了,但程序员注定爱代码爱过文字,又恰好我天生爱造轮子,我从令牌桶得到灵感设计了一个乞丐版沙漏计时器,可以用于任何定时任务的执行,班门弄斧,欢迎提出改进意见.
Show time
public class BlogsTimer
{
private static Stack<int> _upFunnel; //沙漏上部分
private static Stack<int> _downFunnel; //沙漏下部分
private static readonly List<Action> TimerEvents; //定时执行的事件
private static bool _timerSwitch; //沙漏开关
private static readonly int Speed; //每秒消费令牌数量
private static Thread _timerThread;
private static readonly object TimerLock;
static BlogsTimer()
{
_upFunnel = new Stack<int>();
_downFunnel = new Stack<int>();
Speed = 1 * 1000;
TimerEvents = new List<Action>();
TimerLock = new object();
}
//计时器开始
public static void Start(TimeSpan timeSpan)
{
lock (TimerLock)
{
_upFunnel.Clear();
_downFunnel.Clear();
for (var i = 0; i < timeSpan.TotalSeconds; i++)
{
_upFunnel.Push(i);
}
}
_timerSwitch = true;
_timerThread = new Thread(Consume); //起一个线程消费桶里的令牌
_timerThread.Start();
LunchEvents(); // 触发事件
}
public static void Stop()
{
_timerSwitch = false;
}
//给沙漏注册定时执行事件
public static void Register(Action timeEvent)
{
TimerEvents.Add(timeEvent);
timeEvent.Invoke();
}
//把沙漏加速到指定的时间
public static void AccelerateTo(TimeSpan timeSpan)
{
var accelerateSeconds = timeSpan.TotalSeconds;
lock (TimerLock)
{
if (_upFunnel.Count < accelerateSeconds) //当前沙漏中剩余令牌小于设置中秒数,则返回不加速
return;
while (_upFunnel.Count > accelerateSeconds && _upFunnel.Count > 1) //令牌数大于秒数,则释放出多余令牌
{
_downFunnel.Push(_upFunnel.Pop());
}
}
}
private static void LunchEvents()
{
TimerEvents.ForEach(a => a.Invoke());
}
private static void Consume()
{
while (_timerSwitch)
{
lock (TimerLock)
{
if (_upFunnel.TryPop(out var item))
{
_downFunnel.Push(item);
}
else
{
LunchEvents();
var tempStack = _downFunnel; //旋转沙漏
_downFunnel = _upFunnel;
_upFunnel = tempStack;
}
}
Thread.Sleep(Speed);
}
}
}源码地址: https://github.com/liuzhenyulive/iBlogs/blob/master/Src/iBlogs.Site.Core/Common/iBlogsTimer.cs 演示地址: https://www.iblogs.site