调整PG分多次调整和一次到位的迁移差别分析

前言

这个问题来源于我们研发的一个问题,在进行pg调整的时候,是一次调整到位好,还是分多次调整比较好,分多次调整的时候会不会出现某个pg反复挪动的问题,造成整体迁移量大于一次调整的

最近自己的项目上也有pg调整的需求,这个需求一般来源于pg规划好了,后期出现节点扩容的情况,需要对pg进行增加的调整

本篇用具体的数据来分析两种方式的差别

因为本篇的篇幅较长,直接先把结论拿出来

数据结论

调整pg

迁移pg

迁移对象

1200->1440

460

27933

1440->1680

458

27730

1680->1920

465

27946

1920->2160

457

21141

2160->2400

458

13938

总和

2305

132696

调整pg

迁移pg

迁移对象

1200->2400

2299

115361

结论: 分多次调整的时候,PG迁移量比一次调整多了6个,多了0.2%,对象的迁移量多了17335,多了15%

从数据上看pg迁移的数目基本一样,但是数据量是多了15%,这个是因为分多次迁移的时候,在pg基数比较小的时候,迁移一个pg里面的对象要比后期分裂以后的对象要多,就产生了这个数据量的差别

从整体上来看二者需要迁移的pg基本差不多,数据量上面会增加15%,分多次的时候是可以进行周期性调整的,拆分到不同的时间段来做,所以各有好处

实践

篇幅较长,详细信息请看http://www.zphj1987.com/2017/06/14/different-change-pg/

总结

本篇是对集群进行pg调整的这个场景下迁移的数据进行分析的,对于一个集群来说,还是要用数据来进行问题的说明会比较有说服力,凭感觉还是没有那么强的说服力,本篇因为环境所限,所以在模拟的时候采用的是单个pg100个对象的样本,如果需要更精确的数据可以采用多次测试,并且加大这个单个pg的对象数目

原文发布于微信公众号 - 磨磨谈(momotan1987)

原文发表时间:2017-06-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

推荐一些有助于理解TensorFlow机制的资料(一)

14820
来自专栏机器之心

资源 | 机器学习新框架Propel:使用JavaScript做可微分编程

29670
来自专栏机器之心

学界 | AAAI-17论文提出深度学习C语言修改器DeepFix:用人工智能加「;」

选自aaai.org 机器之心编译 参与:吴攀 如果你是一个程序员,你一定体验过编译时报错的痛苦,有时候一个小错误可能就需要你很多时间检查许多代码才能找到。近...

30750
来自专栏AI研习社

用神经网络对页面登录进行多参数优化的小妙招

我很乐意分享我用神经网络对页面登录进行多参数优化的一些实验。我想到这个点子已经有半年了,而且我发现从自动操作这个角度来看它十分有趣。A/B 测试会消耗市场专家...

7420
来自专栏AI研习社

深度学习库 Keras 2 重磅发布,与 TensorFlow 联系更紧密

昨天,著名深度学习开源库 Keras 通过官方博客正式发布了全新版本:Keras 2。 根据官方介绍,此次更新的重点有两个: Keras 2 API 将作为 ...

37880
来自专栏个人分享

PageRank算法

PageRank,网页排名,又称网页级别,传说中是PageRank算法拯救了谷歌,它是根据页面之间的超链接计算的技术,作为网页排名的要素之一。它通过网络浩瀚的超...

33820
来自专栏嵌入式程序猿

温故而知新

做嵌入式开发控制系统,应该经常会用到PID(比例,积分,微分,proportional,integral,derivative)算法,PID 控制器以各种形...

433130
来自专栏机器之心

深度 | PyTorch和TensorFlow哪家强:九项对比读懂各自长项短板

选自GitHub 作者:Awni Hannun 机器之心编译 参与:Panda 现在是各种机器学习框架群雄争霸的时代,各种各样的比较文章也层出不穷。近日,斯坦福...

33660
来自专栏PPV课数据科学社区

PyTorch和TensorFlow哪家强:九项对比读懂各自长项短板

近日,斯坦福大学计算机科学系博士生 Awni Hannun 也发表了一篇文章,谈了自己对 PyTorch 和 TensorFlow 这两大明星框架的心得体验,并...

45360
来自专栏me的随笔

【译】10个机器学习的JavaScript示例

原文地址:10 Machine Learning Examples in JavaScript

8720

扫码关注云+社区

领取腾讯云代金券