腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
为
训练
Tensorflow
网络
提供
spark
数据
帧
的
最佳
实践
python
、
tensorflow
、
keras
、
pyspark
、
apache-spark-sql
我想要
提供
来自
spark
集群
的
数据
,以
训练
一个深度
网络
。我在节点中没有GPU,所以分布式
TensorFlow
或像elephas这样
的
包不是一个选择。 我已经想出了下面的生成器来完成这项工作。它只是从
Spark
中检索下一个批次。为了处理批处理,我添加了一个额外
的
列index (这是简单
的
增量id列),并在每次调用下一个批处理时对其进行过滤。class SparkBatchGenerator(tfk.u
浏览 4
提问于2019-09-11
得票数 6
回答已采纳
1
回答
从
数据
流运行
tensorflow
模型
训练
python
、
tensorflow
、
google-cloud-dataflow
我在玩
tensorflow
,今天我注意到google也
为
他们
的
数据
流开源了Python SDK。目前,当我需要并行
训练
和评估多个
网络
时,我通常使用luigi并逐个运行模型
训练
,或者使用
spark
并在map步骤中执行每个模型
训练
。整个
数据
处理只是管道
的
一部分。我想知道在
数据
流管道中是否有或是否有计划执行
tensorflow
模型
训练
步骤? 目前有没有
浏览 2
提问于2016-03-24
得票数 2
1
回答
在
Spark
Pipeline中部署
Tensorflow
/Keras模型
python-3.x
、
apache-spark
、
tensorflow
、
keras
、
nlp
我已经
训练
了几个要在包含pyspark管道步骤
的
管道中部署
的
RNN+biLSTM模型。
spark
-deep-learning似乎是一个陈旧
的
项目,只适用于处理图像
数据
。目前有没有将
tensorflow
/keras模型(及其相关
的
向量嵌入)加载到pyspark管道中
的
最佳
实践
?
浏览 21
提问于2019-01-12
得票数 1
2
回答
如何在不同
的
平台/技术中使用经过
训练
的
神经
网络
?
python
、
c++
、
tensorflow
、
neural-network
假设我在笔记本电脑上使用
Tensorflow
和Python
训练
了一个简单
的
神经
网络
,我想在C++应用程序中在我
的
手机上使用这个模型。UDP.我也对
Tensorflow
到非-
Tensorflow
兼容性感兴趣.我是否需要从头开始构建它,还是有任何
最佳
实践
?
浏览 0
提问于2018-06-19
得票数 0
回答已采纳
1
回答
如何使用API中
的
TensorFlow
部署和服务预测?
python
、
tensorflow
、
tensorflow-serving
从谷歌教程中,我们知道如何在
TensorFlow
中
训练
一个模型。但是,保存经过
训练
的
模型
的
最佳
方法是什么,然后在生产服务器中使用基本
的
最小python来
提供
预测。我
的
问题基本上是关于
TensorFlow
最佳
实践
,以保存模型并在不影响速度和内存问题
的
情况下在活动服务器上
提供
预测。因为API服务器将永远在后台运行。 请
提供
一小块py
浏览 2
提问于2016-01-27
得票数 17
回答已采纳
1
回答
Tensorflow
多线程
数据
竞赛
tensorflow
在并发读取和更新权重时,
Tensorflow
中避免权重不一致
的
最佳
实践
是什么?因为它是按顺序发生
的
,所以我
的
GPU使用率非常低(大约10%)。
Tensorflow
提供
了SyncReplicasOptimizer,但根据文档,
浏览 7
提问于2018-02-13
得票数 3
1
回答
在同一会话中测试时,
Tensorflow
使用
的
是
最佳
权重还是最新权重?
python-3.x
、
tensorflow
这可能是一个愚蠢
的
问题,但希望有人告诉我是或不是。假设我在
Tensorflow
中有一个LSTM
网络
,并且正在使用Adam Optimizer
训练
它,通过在
训练
期间
为
X和Y变量
提供
一组X和Y dict来最小化成本函数,然后在同一会话中,
为
变量
提供
新
的
X和Y dict以进行测试,
Tensorflow
是自动使用在
训练
期间找到
的
最佳
模型(即使用在
浏览 19
提问于2019-11-05
得票数 1
回答已采纳
1
回答
如何在一维ConvNet (conv1d)上执行TensowFlow中
的
最大池操作?
machine-learning
、
tensorflow
我正在
训练
一个关于文本
的
卷积神经
网络
(在字符级别上),我想做最大
的
池。tf.nn.max_pool需要4级张量,但是在
tensorflow
(批处理、宽度、深度)中,一维凸集是3级,所以当我将conv1d
的
输出传递给最大池函数时,这是一个错误:总的来说,我对
tensorflow
和深度学习框架很陌生,我希望在这里
提供
关于
最佳
实践</
浏览 2
提问于2016-10-04
得票数 7
回答已采纳
1
回答
时间序列
数据
在
TensorFlow
中
的
分布
python-3.x
、
numpy
、
tensorflow
、
kdb
我目前有一个kdb+
数据
库,其中有大约100万行
的
财务节拍
数据
。使用Python3、
TensorFlow
和numpy,将时间序列财务
数据
分解
为
训练
/开发/测试集
的
最佳
方法是什么?建议使用k折交叉验证,它将
数据
划分为互补
的
子集。但它来自Spring-2014,在读完它之后,我仍然不清楚如何在
实践
中实现它。这是最好
的
解决方案,还是像等待验证这样<e
浏览 15
提问于2018-02-22
得票数 1
2
回答
海量
数据
集上
的
深度学习
apache-spark
、
deep-learning
我知道,在处理无法放入单机内存
的
数据
集时,
spark
+ EMR是一种很好
的
方法。我是不是走错路了?对内存无法容纳
的
数据
进行深度学习
的
<
浏览 10
提问于2017-10-18
得票数 0
1
回答
仅用CPU
训练
神经
网络
neural-network
、
deep-learning
、
computer-vision
、
conv-neural-network
我正在远程服务器上
的
虚拟机上工作,我想在它上
训练
一个神经
网络
,但是我在这个VM中没有GPU。是否可以仅使用CPU在此VM上
训练
网络
?如果是这样的话,它是否适用于大型
数据
集,还是会成为一个问题?
浏览 1
提问于2019-02-27
得票数 0
0
回答
如何读取一个hdf5
数据
文件中
的
批次进行
训练
?
python
、
tensorflow
、
deep-learning
我有一个大小
为
(21760, 1, 33, 33)
的
hdf5
训练
数据
集。21760是
训练
样本
的
整数。我想使用大小
为
128
的
小批量
训练
数据
来
训练
网络
。我想问一下: 如何使用
tensorflow
每次从整个
数据
集中
提供
128小批量
训练
数据
?
浏览 6
提问于2016-07-06
得票数 6
回答已采纳
1
回答
识别特定卡通人物脸
的
最佳
框架?
computer-vision
我有一个特定的卡通人物
的
脸
的
图像。我有好几个小时
的
录像。我想自动找到视频中这个卡通人物出现
的
部分。https://github.com/ageitgey/face_识别似乎对卡通人物不太有效(它不能识别我图像中
的
任何一张脸)。 这方面的最新情况是什么?是否有一个开源库或框架对此很在行?
浏览 0
提问于2019-10-15
得票数 0
回答已采纳
2
回答
如何使用
Tensorflow
对象检测API启用多GPU
训练
tensorflow
、
deep-learning
我正在尝试使用
TensorFlow
对象检测应用编程接口执行多GPU
训练
。 我在我
的
NVIDIA-SMI中看到
的
是,实际上只有1个GPU被使用。
提供
的
其他3个GPU加载了GPU进程,但内存使用率
为
300MB,利用率始终
为
0% 我使用在COCO上预先
训练
的
基于固态硬盘MobileNetV1
的
网络
,然后用我
的
自定义
数据
集对其进行
训练
。
浏览 49
提问于2019-10-09
得票数 3
1
回答
智能视频缩略图生成器算法
algorithm
、
video-thumbnails
你好,我是一个Java开发人员,我是视频点播网站团队
的
一部分。我目前正在研究如何实现我们计划构建
的
后端组件;该组件有望自动生成表示视频内容
的
有意义
的
缩略图,就像YouTube中用于生成默认缩略图
的
算法一样。然而,我似乎找不到任何好
的
开源或付费实现可以做到这一点,并且从头开始构建算法非常复杂,需要大量时间,我认为公司在当前阶段(可能在未来)不愿意投资。如果有人能推荐任何可以帮助我
的
实现,或者甚至是销售可以服务于我组件目标的实现或产品
的
供应商,我将不胜感激
浏览 0
提问于2015-02-01
得票数 2
2
回答
Spark
中
的
多输出分类
python
、
pyspark
、
classification
、
apache-spark-ml
我有一个包含多个目标变量
的
数据
集0 Pbl1 Low5 2 6 1 8在这里,我
的
自变量是“问题和复杂性”,我必须预测特定问题
的
“技能”,而我
的
目标变量是“Skill1,Skill2,
浏览 0
提问于2019-02-15
得票数 1
2
回答
如何在EC2星火集群上
训练
深度神经
网络
(
tensorflow
)?
apache-spark
、
amazon-ec2
、
tensorflow
、
deep-learning
我正在使用深度学习在一个包含100个分类
的
大型
数据
集上进行图像识别。(与cifar-100
的
大小相比)我现在正在没有GPU
的
单个机器上调优超参数。
训练
速度非常慢。我想知道是否有任何现有的方法来在EC2星火集群上进行
训练
?我知道有SparkNet,但它似乎只支持Caffe。
浏览 0
提问于2016-06-22
得票数 3
1
回答
spark
是否
提供
了一种生成64位随机盐
的
方法?
apache-spark
、
pyspark
我正在使用Pyspark,并希望生成随机加密盐作为我
的
数据
帧
中
的
一个附加列。我想用它来
为
我
的
数据
生成Hash或一种保留加密密码值
的
格式。
Spark
dataframe API中是否有生成加密盐
的
最佳
实践
?
浏览 2
提问于2018-05-30
得票数 0
1
回答
TensorFlow
视频
帧
与静止图像
python
、
tensorflow
、
image-processing
、
png
、
video-processing
我对
TensorFlow
有一个奇怪
的
问题,我怀疑它有一个简单
的
解决方案。 我在处理视频
数据
。为了创建我
的
培训
数据
,我使用ffmpeg将视频
帧
提取到PNG文件中,然后使用LabelImg创建一个边界框
数据
集。经过
训练
的
网络
可以很好地处理这些PNG文件。但是,如果我使用OpenCV打开一个视频,并将视频中
的
帧
传送到
网络
中,那么它根本不起作用。库<em
浏览 0
提问于2018-07-08
得票数 0
回答已采纳
1
回答
如何同时使用
Tensorflow
tf.nn.Conv2d进行
训练
和预测?
python
、
tensorflow
、
neural-network
、
deep-learning
、
reinforcement-learning
我来自一个强化学习Atari (Pong)问题,在这个问题中,我想使用
网络
进行批量培训,并且(以一定
的
概率)进行每一步
的
预测。这意味着,为了
训练
,我给
网络
提供
了一整批,比如说100,每个单元由3
帧
组成,大小
为
160,128。使用
tensorflow
的
NHWC格式,我对input
的
输入将是一个形状(100,160,128,3)
的
tf.placeholder。所以为了
训练</e
浏览 1
提问于2018-11-29
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
分布式TensorFlow:使用多台GPU服务器,减少神经网络的实验与训练时间
腾讯 angel 发布 3.0:高效处理千亿级别模型
与 TensorFlow 功能互补的腾讯 angel 发布 3.0:高效处理千亿级别模型
三种分布式人工智能主流框架方案对比
Databricks统一分析平台提供AutoML Toolkit
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券