首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

TensorFlow on Kubernetes性能瓶颈定位

Author: xidianwangtao@gmail.com 当前性能问题描述 增加worker数,一定范围内能带来较好的性能提升,但是继续增加worker数时,训练性能提升不明显; 增加ps数...,一定范围内能带来较好的性能提升,但是继续增加ps数时,训练性能提升不明显; 可能原因: 与ps和worker的分布情况强相关: 目前的调度策略,主要根据服务器的cpu和内存使用情况进行均衡调度,...如果调度时,每台包含worker的服务器都有对应一个ps,那么训练性能会更高?如果有,性能提升多少呢? K8S中的worker从HDFS集群中读取训练数据时存在IO瓶颈?...测试结论 分布式tensorflow中,每个worker选择哪个ps作为自己的参数服务器跟我们如何强制分布ps和worker的布局无关,由分布式tensorflow内部自己控制(跟tf.train.replica_device_setter...如果将Big参数拆分成众多Small参数,使用RR或LB或Partition策略之一,应该都能利用多个ps进行参数更新明显提升训练性能

1.5K70
您找到你想要的搜索结果了吗?
是的
没有找到

tensorflow 性能调优相关

如何进行优化tensorflow 将极大得加速机器学习模型的训练的时间,下面是一下tensorflow性能调优相关的阅读链接: tensorflow 性能调优:http://d0evi1.com/tensorflow.../performance/ (概括的较为完整)  tensorflow:input pipeline性能指南:http://d0evi1.com/tensorflow/datasets_performance...; 针对于数据集进行融合和裁剪,也能已经程度上加快tensorflow 的处理速度,在尽量少损失数据的情况下,减少整个数据集的大小,以提高处理速度; 使用大文件: 读取大量小文件可以极大影响I/O性能...fused Ops: Fused Ops会将多个Op结合成单个kernel来提升性能。在Tensorflow中有许多fused Ops,当可能时XLA会创建fused Ops来自动提升性能。...下面的示例会使用fused Ops,可以极大提升性能

79310

业界 | TensorFlow 携手 NVIDIA,使用 TensorRT 优化 TensorFlow Serving 性能

AI 科技评论按:日前,TensorFlow 团队与 NVIDIA 携手合作,将 NVIDIA 用来实现高性能深度学习推理的平台——TensorRT 与 TensorFlow Serving 打通结合...,使用户可以轻松地实现最佳性能的 GPU 推理。.../tensorrt TensorFlow Serving 是应用于机器学习模型的灵活的高性能服务系统,而 NVIDIA TensorRT 则是一个用以实现高性能深度学习推理的平台,将二者相结合后,用户可以轻松地实现最佳性能的...TensorFlow 团队与 NVIDIA 携手合作,在 TensorFlow v1.7 中添加了对 TensorRT 的首度支持,此后,他们更是保持密切的合作,共同致力于对 TensorFlow-TensorRT...此外,作为一次演示,上文中的性能数值仅适用于我们所使用的模型和运行该案例的设备,不过它的确体现出使用 TF-TRT 所带来的性能优势。

1.3K20

从服务混乱到服务网格

这就是服务网格来清理混乱的地方。 从单体到混乱的微服务 从历史上看,部署是困难的。为了避免这个问题,我们将软件的所有部分打包到一个大型部署包中——一个单体,并且很少部署它。...如图所示,这创建了一个非常混乱的网络架构。是什么阻止外部通信流直接调用内部组件?这种混乱的解决方案是:服务网格。 服务网格是什么 服务网格回答了这样一个问题:“我如何在服务之间观察、控制或保护通信?”...它还可以理解服务健康状况、拦截故障或注入混乱工程。 服务网格是用于监视和控制微服务集合的管理层。服务网格扩展但不替换它所控制的服务。...没有适当的业务需求,这会使事情变得更加混乱。 将服务网格集群与没有服务网格的集群进行比较。在常规集群中,有N个容器在工作。添加一个服务网格,我们有相同的N个容器和N个边车代理。...无论你是希望使用互TLS来保护流量,还是授权服务间通信或监视服务之间的流量,服务网格都是清理混乱的最佳选择。

1.1K10

【干货】TensorFlow 高阶技巧:常见陷阱、调试和性能优化

【新智元导读】文本将介绍一些 TensorFlow 的操作技巧,旨在提高你的模型性能和训练水平。文章将从预处理和输入管道开始,覆盖图、调试和性能优化的问题。...图(graph)的构建和训练 把图固定 TensorFlows把图的构建和图的计算模型分开处理,这在日常编程中是非常罕见的,可能会导致初学者产生一些混乱。...在连续评估图的过程中对图进行改动,会产生重大的性能损失,但这一点在最开始的时候很难注意到。幸运的是这很容易解决。...彻底分析图 实际上 TensorFlow 的分析功能是很强的,不过似乎没有得到那么多宣传。TensorFlow 里有一种机制,可以记录图操作的运行时间和内存消耗。...希望这篇文章对同样使用 TensorFlow 的你有用。

1.9K120

使用TensorFlow训练WDL模型性能问题定位与调优

经过对TensorFlow框架和Hadoop的分析定位,发现在数据输入、集群网络和计算内存分配等层面出现性能瓶颈。...我们在调整对TensorFlow接口调用、并且优化系统配置后,WDL模型训练性能提高了10倍,分布式线性加速可达32个Worker,基本满足了美团点评广告和推荐等业务的需求。...因此TensorFlow在处理稀疏特征性能不佳。不仅如此,我们发现分布式TensorFlow在进行embedding计算时会引发大量的网络传输流量,严重影响训练性能。...性能瓶颈分析与调优 在使用TensorFlow训练WDL模型时,我们主要发现3个性能问题: 每轮训练时,输入数据环节耗时过多,超过60%的时间用于读取数据。...总结 我们使用TensorFlow训练WDL模型发现一些系统上的性能瓶颈点,通过针对性的调优不仅可以大大加速训练过程,而且可以提高GPU、带宽等资源的利用率。

2.8K101
领券