Loading [MathJax]/jax/output/CommonHTML/config.js

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >大型配置缓存同步

问大型配置缓存同步
EN

Stack Overflow用户

提问于 2016-01-15 14:32:21

回答 1查看 15关注 0票数 0

平台的所有配置数据都在一个中央MySQL数据库中。

对于在平台中运行的进程，该配置在高速缓冲存储器中读取，该高速缓冲存储器包括具有复杂数据结构的对象-适合于运行实时平台的目的。

我需要帮助定期将此中央缓存分发到每个分布式组件。目前，应用程序进程需要在缓存同步进行时暂停其常规任务，其中缓存同步是指清除旧的内存中的缓存，并从MySQL中的新数据重新创建它们。

我能想到的一个选择是，让进程在生成缓存副本的同时处理旧缓存，然后从旧缓存切换到新缓存并删除旧缓存。但缓存确实相当巨大，而且预计还会增长。

有没有更好的选择？

提前感谢！

EN

回答 1

Stack Overflow用户

发布于 2016-01-15 15:00:19

瓶颈是什么？拉姆？网络？何时需要将数据转换为内部表示？

无论如何，下面是一些额外的选项：

如果一致性约束允许，则将配置拆分为区块并逐个更新这些区块。这将防止内存不足。(Node下载chunk #0，将其转换为内部应用程序格式，并删除chunk #0的以前版本；然后移动到chunk #1；依此类推)。
根据您使用的语言/平台，可以创建将配置转换为内部应用程序格式的独立工具，而不是在每个节点上单独执行此操作。例如，如果你需要在巨大的有序数字列表中进行二进制搜索，转换工具可以从mysql中加载所有的值，对它们进行排序并写入文件。接下来，将此文件复制到每个节点，每个节点加载此文件以替换以前的版本。节点仍然会暂停片刻，但您不会一个接一个地在conversion.
Update节点上浪费时间(同样，如果一致性要求允许这样做的话)：从群集中删除节点#0，在其上删除旧版本的配置，加载新版本；添加回群集中；移动到下一个节点。
只需添加更多内存。

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/34813317

复制

相关文章

查看tensorflow是否支持GPU，以及测试程序

测试程序# Pythonimport tensorflow as tfhello = tf.constant('Hello, TensorFlow!')sess = tf.Session()print(sess.run(hello))是否支持GPUimport tensorflow as tfsess = tf.Session(config=tf.ConfigProto(log_device_placement=True))>>>Device mapping:/job:localhost/replica:0

狼啸风云

2019/10/28

5.6K0

TensorFlow使用GPU

查看机器 GPU 的信息： nvidia-smi 持续更新查看： nvidia-smi -l 其他方式如下： import os # 使用GPU0 和 GPU1 os.environ['CUDA_V

机器学习和大数据挖掘

2019/07/01

2.2K0

TensorFlow使用GPU

Tensorflow入门教程（九）——Tensorflow数据并行多GPU处理

tensorflow 编程算法

上一篇我介绍了用Python来构建原型内核和常用可视化方法。这一篇我会说Tensorflow如何数据并行多GPU处理。

医学处理分析专家

2020/06/29

1.5K0

Tensorflow入门教程（九）——Tensorflow数据并行多GPU处理

判断gpu是否可用

# 查看Keras 是否可使用gpu from keras import backend as K gpu =K.tensorflow_backend._get_available_gpus() print(gpu) # 查看tensorflow是否可使用gpu import tensorflow as tf print(tf.test.is_gpu_available())

Dean0731

2020/05/11

1.3K0

TensorFlow中使用GPU

TensorFlow默认会占用设备上所有的GPU以及每个GPU的所有显存；如果指定了某块GPU,也会默认一次性占用该GPU的所有显存。可以通过以下方式解决：

用户1432189

2020/02/19

4.3K0

为tensorflow指定GPU

tensorflow python linux

为tensorflow指定GPU，原因是，默认创建session时，会将所有显存占满，发现有人在用的时候，就会session不能创建而报错。首先nvidia-smi查看显卡的编号，最左边一列，看看哪个空的

水球喵子

2018/07/27

1.5K0

TensorFlow GPU 版安装

0x00 前言 CPU版的TensorFlow安装还是十分简单的，也就是几条命令的时，但是GPU版的安装起来就会有不少的坑。在这里总结一下整个安装步骤，以及在安装过程中遇到的问题和解决方法。整体梳理安装GPU版的TensorFlow和CPU版稍微有一些区别，这里先做一个简单的梳理，后面有详细的安装过程。 Python NVIDIA Cuda cuDNN TensorFlow 测试 0x01 安装Python 这里有两种安装的方法：安装基本的Python环境，需要什么再继续安装。安装Anaconda，

木东居士

2018/05/25

1.4K0

TensorFlow 安装GPU版本

https 网络安全 anaconda tensorflow 深度学习

TensorFlow 有两个版本：CPU 版本和 GPU 版本。GPU 版本需要 CUDA 和 cuDNN 的支持，CPU 版本不需要。如果你要安装 GPU 版本，请先确认你的显卡支持 CUDA。我安装的是 GPU 版本，采用 pip 安装方式，所以就以 GPU 安装为例，CPU 版本只不过不需要安装 CUDA 和 cuDNN。

Centy Zhao

2019/12/26

1.5K0

安装GPU加速的tensorflow 卸载tensorflow

深度学习 https http 网络安全 html

Ubuntu 16.04 + cuda9.0 + cudnn7.0 或 Ubuntu 16.04 + cuda8.0 + cudnn5.1

全栈程序员站长

2022/06/25

1K0

安装GPU加速的tensorflow 卸载tensorflow

不安装tensorflow-gpu如何使用GPU

tensorflow cpu gpu 博客内存

这是个很严峻的问题，每次跑代码，内存就炸了，gpu还没开始用呢，看一些博客上是这样说的：

bye

2021/01/07

1.8K0

安装Tensorflow-gpu版本

**下载cuda** **链接：**https://developer.nvidia.com/cuda-10.0-download-archive?target_os=Windows&target_a

陶陶name

2022/05/13

7620

tensorflow的GPU加速计算

tensorflow程序可以通过tf.device函数来指定运行每一个操作的设备，这个设备可以是本地的CPU或者GPU，也可以是某一台远程的服务器。tensorflow会给每一个可用的设备一个名称，tf.device函数可以通过设备的名称来指定执行运算的设备，比如CPU在tensorflow中的名称为/cpu:0。在默认情况下，即使机器有多CPU，tensorflow也不会区分它们，所有CPU都使用/cpu:0作为名称。而一台机器上不同为/gpu:0，第二个GPU名称为/gpu:1，以此类推。

狼啸风云

2019/03/04

7.4K0

tensorflow的GPU加速计算

Tensorflow多GPU使用详解

磐创AI 专注分享原创AI技术文章翻译 | fendouai 编辑 | 磐石【磐创AI导读】：本文编译自tensorflow官方网站，详细介绍了Tensorflow中多GPU的使用。欢迎大家点击上方蓝字关注我们的公众号：磐创AI。目录：介绍记录设备状态手动分配状态允许GPU内存增长在多GPU系统是使用单个GPU 使用多个 GPU 一．介绍在一个典型的系统中，有多个计算设备。在 TensorFlow 中支持的设备类型包括 CPU 和 GPU。他们用字符串来表达，例如： •"/cpu:0":

磐创AI

2018/07/03

5.6K0

Docker Compose + GPU + TensorFlow = Heart

容器镜像服务

Docker是一个开源的应用容器引擎——越来越多的人将它用于开发和分发上。即时环境设置、平台独立应用、即时解决方案、更好的版本控制、简化维护。可以说Docker是有很多好处的。但是，当涉及到数据科学和深度学习时，你必须记住所有Docker标志，以便在主机和容器之间共享端口和文件，从而创建不必要的run.sh脚本，并且处理CUDA版本和GPU共享。如果你见过下面这个错误，你就会知道这个错误带来的麻烦: $ nvidia-smi Failed to initialize NVML: Driver/libr

AiTechYun

2018/03/02

1.7K0

Docker Compose + GPU + TensorFlow = Heart

tensorflow-gpu版本安装

深度学习 https 网络安全 tensorflow

安装cuda，cudnn 地址：https://developer.nvidia.com/cuda-toolkit-archive

sofu456

2021/12/06

1.2K0

tensorflow-gpu版本安装

tensorflow-gpu版安装

需要环境 Anaconda CUDA cuDNN 注：tensorflow1.4用的是cuda8,cudnn6;tensorflow用的是cuda9,cudnn7，选择版本时要注意 CUDA安装首

听城

2018/04/27

7740

tensorflow-gpu版安装

GPUDockerfile实例：tensorflow-gpu

tensorflow ubuntu cuda dockerfile

tensorflow 与cuda对应版本 ubuntu 1604.py3 Dockerfile FROM scratch ADD ubuntu-xenial-core-cloudimg-amd64-root.tar.gz / # a few minor docker-specific tweaks # see https://github.com/docker/docker/blob/9a9fc01af8fb5d98b8eec0740716226fadb3735c/contrib/mkimage/debo

AI拉呱

2021/01/14

6110

TensorFlow-Gpu 1.8安装

tensorflow https 深度学习网络安全

终于又到周末了，大家周末快乐，我们都知道在数据挖掘里面有个比赛：Kaggle，这两天在玩Kaggle比赛之泰坦尼克号问题，在下面几节将会详细介绍，泰坦尼克号问题思路及Kaggle比赛玩法。我们一起来期待吧！这个是当前的成绩：

公众号guangcity

2019/09/20

1.2K0

TensorFlow-Gpu 1.8安装

点击加载更多

相似问题

GAE:知道何时将数据放入Memcache

26

如何知道何时在GPU内存上分配了数据

20

如何知道我导入的是tensorflow还是tensorflow-gpu？

224

不确定tensorflow-gpu是否真的使用GPU

29

测试GPU是否可用于tensorflow

1105

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例