问大型配置缓存同步
EN

Stack Overflow用户

提问于 2016-01-15 22:32:21

回答 1查看 15关注 0票数 0

平台的所有配置数据都在一个中央MySQL数据库中。

对于在平台中运行的进程，该配置在高速缓冲存储器中读取，该高速缓冲存储器包括具有复杂数据结构的对象-适合于运行实时平台的目的。

我需要帮助定期将此中央缓存分发到每个分布式组件。目前，应用程序进程需要在缓存同步进行时暂停其常规任务，其中缓存同步是指清除旧的内存中的缓存，并从MySQL中的新数据重新创建它们。

我能想到的一个选择是，让进程在生成缓存副本的同时处理旧缓存，然后从旧缓存切换到新缓存并删除旧缓存。但缓存确实相当巨大，而且预计还会增长。

有没有更好的选择？

提前感谢！

发布于 2016-01-15 23:00:19

瓶颈是什么？拉姆？网络？何时需要将数据转换为内部表示？

无论如何，下面是一些额外的选项：

如果一致性约束允许，则将配置拆分为区块并逐个更新这些区块。这将防止内存不足。(Node下载chunk #0，将其转换为内部应用程序格式，并删除chunk #0的以前版本；然后移动到chunk #1；依此类推)。
根据您使用的语言/平台，可以创建将配置转换为内部应用程序格式的独立工具，而不是在每个节点上单独执行此操作。例如，如果你需要在巨大的有序数字列表中进行二进制搜索，转换工具可以从mysql中加载所有的值，对它们进行排序并写入文件。接下来，将此文件复制到每个节点，每个节点加载此文件以替换以前的版本。节点仍然会暂停片刻，但您不会一个接一个地在conversion.
Update节点上浪费时间(同样，如果一致性要求允许这样做的话)：从群集中删除节点#0，在其上删除旧版本的配置，加载新版本；添加回群集中；移动到下一个节点。
只需添加更多内存。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/34813317

复制

相似问题

问大型配置缓存同步EN