腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
对象检测
模型
-
tensorflow
服务- k8s
部署
:耗时3-4秒
azure
、
tensorflow
、
kubernetes
、
tensorflow-serving
、
azure-aks
我有一个使用
TensorFlow
服务
的
TensorFlow
对象检测
模型
,并
部署
到
Azure
Kubernetes
集群
中
。我使用过Nvidia K80 GPU设备,
TensorFlow
/serving:1.12.3:gpu版本。
模型
部署
正确,
响应
正常,但
响应
时间较长,500*375 -135KB镜像
的
响应
时间为3-4秒。
浏览 0
提问于2019-10-03
得票数 0
1
回答
部署
到
Kubernetes
中
的
Tensorflow
模型
的
响应
延迟
kubernetes
、
tensorflow-serving
如何改善
Kubernetes
中
部署
的
模型
的
响应
时间? 我从localhost Tensorlfow
模型
得到了0.18秒
的
响应
时间,而Kubenetes集群上
的
相同
模型
给出了4秒
的
响应
时间。
Kubernetes
Cluster-我创建了一个简单
的
部署
和服务
到
主机
模型
。此
浏览 23
提问于2019-06-27
得票数 0
1
回答
部署
Tensorflow
对象检测
模型
和服务预测
python-3.x
、
tensorflow
、
machine-learning
、
google-cloud-platform
、
google-cloud-ml
我在Google cloud platform
的
ML引擎上
部署
了一个
Tensorflow
对象检测
模型
。我遇到过posts建议
Tensorflow
服务+ Docker来获得更好
的
性能。我是
Tensorflow
的
新手,我想知道什么是服务于预测
的
最好方法。目前,ml引擎在线预测
的
延迟
>50秒。我
的
用例是用户使用移动应用程序上传图片,并根据预测结果获得合适
的
浏览 8
提问于2019-02-10
得票数 2
1
回答
无法将AI
模型
部署
到
Kubernetes
docker
、
kubernetes
、
google-cloud-platform
、
deployment
、
artificial-intelligence
我是一个相对经验丰富的人工智能实践者,然而,当涉及
到
这些
模型
的
部署
时,我是一个完全
的
新手。我遵循了一个在线教程,该教程使用Docker Desktop在本地
部署
模型
。它为前端和后端创建了一堆容器。我在每个容器
中
安装了
Tensorflow
来运行AI
模型
(在Dockerfile文件
中
运行pip3 install
tensorflow
)。但是,我不能在
Kubernetes</e
浏览 13
提问于2020-04-26
得票数 0
回答已采纳
1
回答
Windows环境下基于GPU
的
Tensorflow
对象检测API及实时检测
python
、
windows
、
tensorflow
、
real-time
、
video-processing
然而,我训练
的
模型
(更快
的
RCNN resnet101 COCO) 需要15秒才能做出一个预测(虽然非常准确),可能是因为我只使用了
Tensorflow
CPU。我
的
三个问题是: 考虑
到
延迟
,问题在哪里?我听说更快
的
RCNN是一个很好
的
低
延迟
视觉检测
模型
,是因为只执行CPU吗?有了这样
的
延迟
,是否有可能使用
tensorflow
GPU进行高效
浏览 4
提问于2017-07-23
得票数 1
1
回答
如何使用Python和
TensorFlow
服务
模型
调用特定
的
模型
版本?
python
、
tensorflow
、
tensorflow-serving
我有一些通过
Kubernetes
上
的
TensorFlow
服务运行
的
机器学习
模型
。我希望能够有一个特定
模型
的
部署
,然后加载多个版本。这似乎比为我们拥有的每个
模型
的
每个版本维护单独
的
Kubernetes
部署
要容易得多。 但是,如何将我想要使用Python gRPC接口调用
的
版本或
模型
风格传递给TF服务并不明显。如何指定版本并传入?
浏览 19
提问于2021-03-11
得票数 1
回答已采纳
3
回答
TensorFlow
模型
在Google平台上
的
应用实例批量在线预测速度太慢
tensorflow
、
google-cloud-platform
、
tensorflow-serving
、
google-cloud-ml
、
tensorflow2.x
我正在尝试将
TensorFlow
模型
部署
到
Google平台上,用于在线预测。我有
延迟
和吞吐量问题,。在上述配置
的
AI平台上运行
模型
时,只要发送一幅图像,所需
的
时间就不到一秒钟
浏览 13
提问于2020-07-11
得票数 3
回答已采纳
1
回答
当StatusCode.DEADLINE_EXCEEDED试图呼叫
Tensorflow
Serving pod时获得gRPC
tensorflow
、
kubernetes
、
grpc
、
tensorflow-serving
、
grpc-python
我们有一个酒瓶服务器,它使gRPC调用一个
Tensorflow
服务POD(它使用官方tf服务码头形象),服务于大约20个
tensorflow
模型
。在
Kubernetes
上
部署
了水瓶微服务和Tf服务微服务。对于从酒瓶
到
Tf服务
的
0.5%-1%
的
请求,烧瓶服务器正在抛出一个RpcError -RpcError github上有一个类似的问题: .Please帮助我解决这个问题。
浏览 2
提问于2020-04-13
得票数 2
1
回答
从集群服务多种深度学习模式
tensorflow
、
keras
、
deep-learning
、
mxnet
我在考虑如何
部署
多个
模型
以供使用。我现在处理
的
是
tensorflow
。我指的是和
的
文章。 但是我找不到任何目标需要服务于几种
模型
的
文章。Q.1.是否为单机提供服务模式?有没有办法设置一组运行
tensorflow
服务
的
机器?这样,多台机器就可以在某种程度上充当主从工作
的
同一
模型
,或者说,在为不同
的
模型
服务时,它们之间
的
负载平衡。Q.2.对于其他深度
浏览 1
提问于2018-12-12
得票数 0
1
回答
在端点上
部署
模型
时出错-顶点AI
tensorflow
、
google-cloud-platform
、
gcloud
、
google-cloud-vertex-ai
我正在开发一个需要
部署
在顶点AI端点上
的
模型
。该
模型
是在
Tensorflow
中
开发
的
DNN。我已经在本地保存了
模型
,加载到GCS并导入到顶点AI
模型
部分,没有问题。当我试图将它
部署
到
一个新
的
端点时,
响应
如下: 我尝试搜索已发现错误
的
错误列表:1.字段: deployed_model.prediction_resources;Message: Re
浏览 4
提问于2022-06-28
得票数 2
1
回答
TFServing和KFServing在KubeFlow上有什么不同?
tensorflow
、
model
、
tensorflow-serving
、
kubeflow
TFServin和KFServing都将
模型
部署
在Kubeflow上,让用户可以轻松地将
模型
作为服务使用,不需要了解
Kubernetes
的
细节,隐藏底层。TFServing来自
TensorFlow
,它也可以在Kubeflow或独立上运行。KFServing来自Kubeflow,它可以支持多个框架,如PyTorch、
TensorFlow
、MXNet等。 我
的
问题是,这两个项目的主要区别是什么?如果我想在生产中推出我
的
模型
浏览 5
提问于2020-04-03
得票数 4
回答已采纳
2
回答
通过REST访问机器学习
模型
java
、
rest
、
machine-learning
、
microservices
、
conv-neural-network
我制作了一个卷积神经网络来分类猫和狗
的
图像。数据集以及代码都可以在线获得。我使用Python作为我
的
编程语言。但是现在我需要在服务器上
部署
这个
模型
,并需要使用REST访问它。我使用HDF5格式保存了我
的
模型
。参考示例"model.h5“:但是我更喜欢java. 我更喜欢使用Spring进行微服务。但我并没有一步一步地
浏览 2
提问于2018-07-26
得票数 1
回答已采纳
2
回答
如何获得
部署
在
Kubernetes
中
的
应用程序
的
延迟
?
kubernetes
、
google-kubernetes-engine
我在
Kubernetes
中
部署
了一个简单
的
基于java
的
应用程序。我希望获得发送到应用程序
的
请求
的
平均
延迟
时间( get和POST)。 具有负载平衡器
的
延迟
细节。但只有在210秒后才能收集
到
,这在我
的
情况下是不够
的
。如何在
Kubernetes
中
配置,以便每30秒(或1分钟)立即获得()
的
延迟
细节。我希望解决方案
浏览 1
提问于2019-11-29
得票数 0
1
回答
bazel在
tensorflow
源代码树外部构建
Tensorflow
应用程序
tensorflow
、
bazel
我想将我
的
TF
模型
部署
到
一个二进制可执行文件
中
。遵循,我似乎可以使用bazel在TF
的
源码树
中
构建我
的
应用程序,就像一样。更广泛地说,我正在寻找一个具有外部依赖(例如TF)
的
构建应用程序
浏览 4
提问于2017-03-23
得票数 0
1
回答
通过python测试
Kubernetes
中
部署
的
容器
azure
、
azure-aks
、
azure-container-registry
我已经将容器推送到容器注册中心,并能够将其
部署
到
kubernetes
。运行此容器以测试
部署
是否正常
的
最佳方法是什么?我已经阅读了这些文档,并看到我可以设置一个端点,但是,一旦设置了对端点
的
post请求,我就无法知道如何调用容器。注意,容器承载了一个python脚本,它基本上运行一个ml
模型
,并输出一个预测。因此,我希望有一种方法来对集群进行api调用来运行容器,并调用一个调用来打印容器
的
结果。或者,与其设置端点,还有更好
的
方法来实现这
浏览 3
提问于2022-02-23
得票数 0
回答已采纳
2
回答
如何在
kubernetes
中
运行启动服务
的
部署
疑难解答
tensorflow
、
kubernetes
、
grpc
我遵循工作流,当我试图从本地主机进行推断时,一切都很好地工作到通过k8s进行初始
模型
的
最终服务。我正在运行豆荚,$kubectl describe service初始服务
的
输出与
中
的
工作流所建议
的
内容一致。File "/home/dimlyus/serving/bazel- bin/
tensorflow
浏览 2
提问于2017-04-08
得票数 1
2
回答
如何在android应用中
部署
自定义图像处理算法?
android
、
deep-learning
、
computer-vision
、
conv-neural-network
、
tensorflow-lite
简单地说,应用程序
的
地标识别。现在,我知道了ML Kit for Firebase thing
的
Landmark Recognition API,但是如果我想
部署
我自己
的
算法呢?我
的
想法:在app - Faster-RCNN中进行特征检测,自动编码器进行图像去噪。在服务器
中
-使用Annoy Index进行图像搜索和检索。 这可行吗?你觉得呢?我可以使用
Tensorflow
Lite或其他工具在android应用程序中
部署
自己
的
神经网络
浏览 29
提问于2020-01-10
得票数 0
2
回答
将
tensorflow
模型
部署
到
世界
tensorflow
、
deployment
、
model
、
google-cloud-platform
我想将我
的
tensorflow
模型
部署
到
现实世界
中
。我已经使用了REST方法,使用FLASK在localhost
中
开发
模型
部署
(不使用
tensorflow
-serving)。我发现google-cloud和amazon提供了
模型
部署
服务器。除了google和amazon之外,还有没有其他方法来
部署
我
的
模型
?是否可以使用普通web
浏览 18
提问于2019-01-25
得票数 1
1
回答
基于Azure
Kubernetes
令牌
的
ML webservice身份验证
azure
、
kubernetes
、
azure-aks
、
azure-machine-learning-service
我能够使用AML服务将ML
模型
部署
到
Azure
Kubernetes
服务
中
。我在将
模型
部署
到
AKS时启用了令牌身份验证。docs.microsoft.com/en-us/azure/machine-learning/service/concept-enterprise-security“2路身份验证(密钥和令牌)中所提到
的
,可以使用
部署
在Azure
Kuber
浏览 12
提问于2019-08-21
得票数 0
1
回答
Openshift,
tensorflow
和GPU
tensorflow
、
kubernetes
、
openshift
、
minishift
我想使用OpenShift来构建和
部署
我
的
Tensorflow
应用程序。我还想使用GPU运行/服务器
tensorflow
应用程序。我认识
到
,在
Kubernetes
和Openshift
中
,GPU支持是相当新
的
,因此文档很少。0/1 nodes are available: 1 insufficient alpha.
kubernetes
.io
浏览 3
提问于2018-03-03
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何将机器学习的模型部署到NET环境中?
在云中部署机器学习模型
在 Kubernetes 上扩展 TensorFlow 模型
机器学习容器化:TensorFlow、Kubernetes和Kubeflow
谷歌再为机器学习贡献利器 并支持周边机器学习工具
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券