腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
Apache
Spark
中
并行
训练
Keras
模型
python
、
apache-spark
、
pyspark
、
deep-learning
\我正在尝试使用
Apache
Spark
和Elephas
并行
训练
多个
Keras
模型
。(
keras
_model=model_duration_time, rdd = rdd2)
spark
_model_3 = fit_to_
spark
_model(
keras
_model=model_avg_duration_time/stats_app.py 很多代码都被抽象出来了,但基本上train_LSTM_model(
浏览 29
提问于2019-10-05
得票数 0
2
回答
在
Apache
Spark
& Elephas中使用
Keras
模型
作为广播变量
apache-spark
、
keras
、
broadcast
我有一个
keras
模型
,预
训练
权重h5df约为700mb。我想在
Apache
Spark
中使用它作为广播变量。1.这似乎是不可能的,因为
keras
模型
本身不是
spark
感知的,也是不可序列化的。2.我
在
谷歌上搜索了一下,发现了Elephas库。因此,尝试
在
ElephasTransformer
中
包装
Keras
预
训练
模型
。这抛出了多个错误(我使用的是
浏览 6
提问于2017-09-30
得票数 3
3
回答
在
同一个大规模数据集上对数百个
模型
进行评分的最佳实践?
scoring
我有预测各种事物的500+
模型
,以及一个由400m+个人和大约5,000个可能的自变量组成的大型数据库。目前,我的评分过程大约需要5天,操作方法是将400m+记录分块成10万人的片段,并旋转n个线程,每个线程都有一个特定的500+
模型
子集,并以这种方式运行,直到所有
模型
的所有记录都得分为止。每个线程都是一个Python进程,它提交R代码(即加载一个R .rds
模型
和相关的数据集转换逻辑)。这个过程耗时太长,容易出错(更多的是它变成的复杂代码网络的一个指标),代价很高(需要大量的云实例),并且只允许
在
R<e
浏览 0
提问于2020-01-21
得票数 2
1
回答
在
R
中
并行
预测
r
、
hadoop
、
apache-spark
、
parallel-processing
、
predict
我正在使用R
中
的预测
模型
,并且我正在使用mgcv包。当前的预测
模型
与GAM一起运行。然而,使用R需要很多天的时间,我想优化命令。PS2:花费很多时间的代码(实际上只
在
R服务器上运行,只使用一台
浏览 0
提问于2017-06-20
得票数 0
2
回答
Azure ML:如何在多个实例上
训练
模型
azure-machine-learning-service
当我执行管道时,我希望集群
并行
地
在
两个实例上运行
训练
。但是集群状态报告只有一个节点繁忙,另一个节点空闲。这是我提交管道的代码,正如你所看到的,我正在解析集群名称并将其传递给我的Step1,这是
在
Keras
上
训练
模型
。
浏览 11
提问于2020-07-09
得票数 1
回答已采纳
2
回答
如何加载逻辑回归
模型
?
apache-spark
、
apache-spark-ml
我想用Java
中
的
Apache
Spark
训练
逻辑回归
模型
。作为第一步,我想只
训练
模型
一次,并保存
模型
参数(截距和系数)。随后,使用保存的
模型
参数
在
稍后的时间点进行评分。我可以使用以下代码将
模型
保存在parquet文件
中
trainedLRModel.writeat
浏览 3
提问于2017-12-07
得票数 4
1
回答
SparkML (Scala)
中
并行
训练
独立
模型
scala
、
apache-spark
、
apache-spark-mllib
、
apache-spark-ml
假设我有3个简单的SparkML
模型
,它们将使用相同的DataFrame作为输入,但完全独立于彼此(无论是在运行的序列
中
还是在所使用的数据列
中
)。我想到的第一件事就是创建一个管道数组,其中包含三个阶段数组
中
的
模型
,并运行总体拟合/转换来获得完整的预测等等。但是,我的理解是,因为我们将这些
模型
作为一个序列堆叠在一个管道
中
,所以
Spark
不一定会
并行
运行这些
模型
,尽管它们完全独立于彼此。 话虽如此,是否有办法<
浏览 3
提问于2021-01-04
得票数 0
回答已采纳
1
回答
在
PyTorch
中
组合在数据集不同部分
中
训练
的多个
模型
machine-learning
、
pytorch
在
PyTorch
中
,理论上是否有可能将多个
模型
“合并”成一个
模型
--有效地将迄今学到的所有数据结合起来?
模型
是完全相同的,然而,
训练
的不同部分的培训数据。如果是这样的话,是否有可能将数据集分割成相同的部分,并以类似于折叠@home的方式
在
多台计算机之间分发培训?新的
模型
会像没有分发一样好吗?
浏览 4
提问于2021-04-10
得票数 0
回答已采纳
1
回答
Apache
MLlib随机森林的
并行
训练
java
、
apache-spark
、
machine-learning
、
random-forest
、
apache-spark-mllib
我有一个Java应用程序,它在一个包含200K样本的
训练
集上
训练
一个MLlib随机森林(org.
apache
.
spark
.mllib.tree.RandomForest)。我注意到
在
训练
过程
中
只使用了一个CPU核心。鉴于随机森林是N个决策树的集合,人们可能会认为这些树可以
并行
训练
,从而利用所有可用的核心。是否有配置选项或API调用或其他任何东西可以启用决策树的
并行
训练
?
浏览 0
提问于2016-11-05
得票数 0
1
回答
使用已保存的
模型
对新数据进行预测时,
spark
数据帧格式错误
scala
、
dataframe
、
apache-spark
、
apache-spark-sql
、
apache-spark-mllib
我能够
训练
模型
并保存
模型
(Train.scala)。现在我想使用这个经过
训练
的
模型
来预测新数据(Predict.scala)。我
在
Predict.scala
中
创建了一个新的VectorAssembler来特色化新数据。我是否应该在Train.scala
中
对Predict.scala文件使用相同的VectorAssembler?因为我
在
转换后发现了特征数据类型的问题。例如:当我读入
训练
好的
模型
并尝试对
浏览 2
提问于2019-08-24
得票数 1
1
回答
如何用不同的数据
在
不同的GPU上独立
并行
运行相同的
Keras
模型
?
python
、
tensorflow
、
parallel-processing
、
keras
假设我有两个
keras
模型
实例model0和model1以及数据集data0和data1。如果我有两个或更多的GPU,有没有一种方法可以
在
GPU0上
并行
训练
model0,
在
GPU1上
并行
训练
data1上的model1?到目前为止,我发现的所有方法都将单个
模型
的
训练
分散到多个gpus上。
浏览 2
提问于2018-08-09
得票数 0
1
回答
与
Keras
并行
读取行(GPU)
machine-learning
、
keras
、
gpu
我想知道是否有可能在
Keras
中用我的GPU
并行
读取文件
中
的几行。假设我有一个有50个特征(即50列)和10k行的文件,我想要
并行
处理,使用
Keras
最有效的方法是什么?此外,我不想
训练
我的
模型
,因为我已经处于项目的部署阶段。
浏览 0
提问于2017-09-25
得票数 0
1
回答
是否可以
在
Keras
中
并行
运行多个已保存的
模型
?
python
、
keras
、
neural-network
对于每个特征,我都
训练
了一个不同的神经网络
模型
,并将其保存为HDF5文件。现在我加载它们是为了进行预测,但我问自己,我是否不能
并行
运行它们,同时相应地显示所有功能,因为输入是相同的?
浏览 14
提问于2020-03-24
得票数 0
回答已采纳
1
回答
其他
模型
中
的
Keras
1.2.2
模型
python
、
keras
、
neural-network
我有一个
Keras
2.3代码的工作片段,它构建:一个编码器,一个解码器,并使用Functional API和以下方法将它们合并到一个
模型
(自动编码器)
中
:现在,我想尝试
在
Hadoop集群上分发此
模型
的
训练
过程。为此,我选择了 (0.6.0)框架,使用
Spark
实现分布式
训练
,并提供一些高级API来构建
模型
。更具体
浏览 4
提问于2019-11-07
得票数 0
回答已采纳
2
回答
如何将滑雪板管道转换成火花放电管道?
python
、
pyspark
、
scikit-learn
、
databricks
、
apache-spark-ml
我们有一个机器学习分类器
模型
,我们已经
训练
了一个熊猫数据和一个标准的学习管道(StandardScaler,RandomForestClassifier,GridSearchCV等)。我们正在研究Databricks,并希望使用
并行
计算火花提供的方法将这个管道扩展到一个大型数据集。 clf.fit(iris.data, iris.target)py4j.security.
浏览 3
提问于2020-09-01
得票数 6
回答已采纳
2
回答
多个小ML
模型
的分布式
训练
data
、
distributed-computing
、
machine-learning
我有一个数据科学应用程序,涉及到
训练
数以万计的小个体高斯
模型
。所谓“小”,我的意思是,任何单独的
模型
都可以很容易地
在
我们的一个工人服务器上
训练
。事实上,我们应该能够
在
每一个节点上同时
训练
几个。我一直
在
探索与Yarn一起使用
Spark
,但是
Spark
似乎真的是为了
训练
多台机器上的大型
模型
,而不是包含在单个机器上的许多小型
模型
。我正在想象一个工作流程,看起来像: 按键
浏览 0
提问于2018-09-17
得票数 2
回答已采纳
1
回答
用tensorflow和
keras
并行
化数据准备
python-3.x
、
tensorflow
、
keras
、
training-data
、
tensorflow2.x
我正在使用Tensorflow
Keras
在
GPU上
训练
一个LSTM
模型
。
在
调用model.fit()时开始
训练
之前,需要大约30分钟才能开始
训练
过程。如果是,我如何使用多核
并行
化这个数据准备过程?
浏览 0
提问于2020-03-05
得票数 0
回答已采纳
1
回答
MLlib
模型
(RandomForestModel)使用大量小拼图文件保存
模型
apache-spark
、
parquet
、
apache-spark-mllib
我正在尝试使用RandomForest.trainRegressor应用编程接口
训练
MLlib RandomForestRegression
模型
。 这是预期的行为吗?
浏览 3
提问于2016-01-31
得票数 1
1
回答
_thread.lock
模型
: TypeError: can't pickle
Keras
objects
python
、
apache-spark
、
keras
、
pyspark
、
keras-2
我
在
PySpark中使用
训练
有素的
Keras
模型
时遇到了问题。使用以下版本的库:h5py==2.7.0另外,我使用的是
Spark
2.4.0。from pyspark.sql import SparkSessionfrom
keras
.models import load_model() my_model = load_mode
浏览 1
提问于2018-12-10
得票数 0
1
回答
如何在gpu集群(多gpu)上
训练
CNN?
python
、
tensorflow
、
cluster-computing
、
multi-gpu
我使用下面的代码
在
一个UCF101数据集上
训练
CNN,但是由于数据集的大小,
训练
时间太长了。sess.run(train_init_op) sess.close()完整的回购可以
在
找到。
浏览 3
提问于2020-10-03
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
分布式训练中数据并行远远不够,“模型并行+数据并行”才是王道
如何无缝地将人工智能扩展到分布式大数据
深度学习库Keras快速入门
深度解析 TalkingData 使用 DJL 进行大规模深度学习打分应用
TensorFlow.js 0.10.3 发布,在浏览器中训练 ML 模型
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券