腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何分类新的
培训
例子后,模型
培训
的apache火花?
scala
、
apache-spark
阅读的src:import org.apache.
spark
.ml.evaluation.MulticlassClassificationEvaluatorimport org.apache.
spark
.mllib.util.MLUtilsval.
浏览 4
提问于2016-03-14
得票数 2
回答已采纳
1
回答
错误: org.apache.
spark
.SparkException:没有为以下任务配置指定执行器资源配置: gpu
tensorflow
、
apache-spark
、
google-cloud-dataproc
:没有为以下任务配置指定执行器资源配置: gpu
spark
会话代码: from pyspark.sql import SparkSession .config("
spark
.executor.resource.gpu.amount", "0") .config("
spark
.executor.cores", "4")
浏览 15
提问于2021-05-07
得票数 2
3
回答
如何读取多个Excel文件并将它们连接成一个Apache
Spark
DataFrame?
excel
、
scala
、
apache-spark
、
apache-spark-dataset
、
spark-excel
最近,我想做
Spark
Summit 2016的
Spark
机器学习实验室。
培训
视频为,导出的笔记本电脑可在上使用 实验中使用的数据集可以从下载。它包含了一组来自燃气发电厂各种传感器的读数。为了使用实验室中的数据,我需要从Excel文件中读取所有的表格,并将它们连接到一个
Spark
DataFrame中。在
培训
期间,他们使用的是Databricks Notebook,而我使用的是IntelliJ IDEA和Scala,并在控制台中评估代码。如何读取所有的Excel文件并将它们连接到一个Apache
浏览 15
提问于2017-03-12
得票数 3
1
回答
为什么Apache
Spark
ML on Dataproc仅在单个节点上训练?
apache-spark
、
google-cloud-platform
、
pyspark
、
google-cloud-dataproc
我是分布式ML的新手,目前正在做我的个人项目
spark
= SparkSession.builder.appName('sparkify-train').getOrCreate() paramGrid = ParamGridBuilder
浏览 3
提问于2021-03-14
得票数 2
1
回答
(Py-)火花结构流星火列车模型
python
、
apache-spark
、
spark-structured-streaming
、
apache-spark-ml
我正在使用
Spark
3.x,我不知道如何训练一个模型,例如,使用星火结构化流,而不是火花流的随机森林分类器。我已经设置了所需的流来处理用于
培训
的微批,我已经设置了
spark
.ml管道,但是我错过了一个函数或类似于partial fit的东西。由于
spark
基本上是为大数据和分布式ml创建的,所以必须有这样的方法(training_data, test_data) = data.randomSplit([0.7, 0.3
浏览 5
提问于2022-02-23
得票数 0
回答已采纳
1
回答
如何在火花上部署tensorflow模型只进行推理
java
、
apache-spark
、
tensorflow
、
hdfs
、
serving
我想部署一个大的模型,例如伯特,在火花进行推断,因为我没有足够的GPU。现在我有两个问题。 但是,我找不到一种方法来加载用于hdfs文件系统路径的pb模型 我不确定这是为tensorflow模式服务的好方法。如有其他
浏览 3
提问于2019-07-02
得票数 5
1
回答
如何在星火数据上训练神经网络自动编码器(Keras)
apache-spark
、
keras
、
pyspark
、
autoencoder
、
systemml
我在集群上创建了一个非常大的
Spark
,它太大了,无法放入内存中。我还有一个带有Keras的自动编码器模型,它接受Pandas (内存中的对象)。 把这两个世界结合在一起的最好方法是什么?
浏览 1
提问于2018-11-02
得票数 4
1
回答
H2O汽水允许以卡夫卡作为流媒体来源的在线
培训
吗
apache-spark
、
pyspark
、
h2o
、
sparkling-water
有一些可能的用例,包括H2O/
Spark
中的数据传递,模型构建和离线
培训
和在线流预测。我想知道是否也可以使用Sparkling-Water与Kafka Streaming Source一起进行在线
培训
?
浏览 13
提问于2019-03-27
得票数 0
1
回答
Word2Vec火花实现是分布式的吗?
python
、
pyspark
、
nlp
、
apache-spark-mllib
、
word2vec
我相对来说是个新手,很难理解
Spark
。 我的问题是,我有3TB的文本,我想训练一个Word2Vec模型。我正在运行的服务器大约有1TB的ram,所以我不能临时保存该文件。我的问题是
Spark
库是否分发Word2Vec
培训
?如果是这样的话,在处理这么大的文本文件时有什么需要我担心的吗?如果没有,那么在
培训
Word2Vec时是否仍然要流这些数据?
浏览 3
提问于2020-12-17
得票数 0
回答已采纳
1
回答
Java :在分类数据情况下为aprroxNearestNeighbor创建关键向量
apache-spark
、
nearest-neighbor
、
apache-spark-ml
、
lsh
new StructField("fruits", DataTypes.StringType, false, Metadata.empty()) }); Dataset<Row> dfA =
spark
.createDataFrame
浏览 1
提问于2018-05-22
得票数 1
回答已采纳
1
回答
对每个分区的火花模型进行
培训
。以便每个分区都有一个经过训练的模型。
apache-spark
、
apache-spark-ml
如何使用scala对
spark
中的每个分区进行并行模型
培训
?这里给出的解决方案是在Pyspark中。我在找scala的解决方案。
浏览 7
提问于2020-04-13
得票数 0
回答已采纳
1
回答
在这种情况下,我应该使用哪个分类器或ML?
machine-learning
、
scikit-learn
、
random-forest
、
apache-spark-mllib
、
xgboost
培训
数据(包括
培训
和验证集)大约有100万个80样本,每个样本都有200密集浮点。有6标记的classe,它们是不平衡的。在常用的ML库中(例如,libsvm、scikit-learn、
Spark
MLlib、random forest、XGBoost还是其他),我应该使用哪一个?
浏览 0
提问于2016-05-18
得票数 0
回答已采纳
4
回答
如何服务星火MLlib模型?
apache-spark
、
machine-learning
、
apache-spark-mllib
我正在为基于ML的生产应用程序评估工具,我们的选择之一是
Spark
,但是我有一些关于如何在模型经过
培训
后提供服务的问题?例如,在Azure ML中,一旦经过
培训
,模型就会公开为一个web服务,可以从任何应用程序中使用,这与Amazon类似。 如何在Apache中服务/部署ML模型?
浏览 6
提问于2016-11-10
得票数 45
回答已采纳
1
回答
有火花的机器学习,数据准备性能问题,MLeap
performance
、
apache-spark
、
machine-learning
、
apache-spark-mllib
、
scoring
是否有有效的方法将“
spark
数据准备管道”(它在
培训
期间工作,但在
spark
框架中)转换为健壮的、性能有效的、优化的字节码?
浏览 0
提问于2019-07-03
得票数 1
回答已采纳
1
回答
Sagemaker客户端生成IOrecord
amazon-sagemaker
由于
培训
数据是使用
spark
生成的,所以我有问题要从dataframe生成csv文件(目前看来这是坏的),所以我尝试使用protobuf。问题是,当触发
培训
作业时,我收到来自SageMaker: ClientError: No
培训
数据处理的消息。
培训
通道要么是空的,要么是小批量大小太高。验证
培训
数据是否包含非空文件,并且小批处理大小小于每个
培训
主机的记录数。
培训
文件肯定不是空的。我怀疑我生成
培训
数据的方式是不正确的,因为我能够使用l
浏览 0
提问于2018-05-10
得票数 1
回答已采纳
1
回答
如何与CSV文件中的数据集一起使用决策树?
scala
、
apache-spark
、
apache-spark-sql
、
apache-spark-mllib
、
decision-tree
我想像下面的代码一样使用
Spark
的org.apache.
spark
.mllib.tree.DecisionTree,但是编译失败。import org.apache.
spark
.ml.Pipelineimport org.apac
浏览 4
提问于2017-05-22
得票数 0
1
回答
局部训练与Dataproc训练火花ML模型的不一致性
scala
、
apache-spark
、
google-cloud-dataproc
我正在使用Dataproc映像1.4.27-debian 9在Google平台的Dataproc上重新使用
Spark
2.4.5重新
培训
一个模型。为了进行健康检查,我重新
培训
了我的当地火花2.4.5的模型。模型元数据文件中的impurity设置为gini。 因此,我检查了GBT Javadoc中的
spark
2.4.5 。Dataproc使用的
spark
2.4.5似乎与Apache文档一致。但是,我使用的
Spark
2.4.5将impurity值设置为gini。我创建了一个简单的
培
浏览 7
提问于2020-05-27
得票数 1
回答已采纳
1
回答
毫升调优-火花交叉验证
apache-spark
、
machine-learning
、
apache-spark-mllib
例如,使用k=3折叠,CrossValidator将生成3个(训练,测试)数据集对,每个使用2/3的数据进行
培训
,1/3用于测试。因此,我不明白为什么代码中的数据在
培训
和测试中是分开的:val cvModel= cv.fit(training) // Prepare test documents, which are unlabeled (id, text) tuple
浏览 4
提问于2021-11-10
得票数 0
回答已采纳
1
回答
如何在sagemaker服务中部署使用SparkR训练的模型?
sparkr
、
amazon-sagemaker
用sparkR语言建立了基于k-means算法和ALG算法的训练模型。我想部署模型抛出AWS Sagemaker服务。我已经运行了一些内置的例子,它使用conda_python3语言,但是如何使用SparkR呢?
浏览 14
提问于2018-01-22
得票数 0
1
回答
如何使用
Spark
/管道为每个用户构建一个模型
scala
、
apache-spark
、
apache-spark-mllib
在
Spark
/管道中是否有支持这一功能的建筑? 如果不是,为每个用户
培训
多个独立模型的最简单/最干净的方法是什么?
浏览 0
提问于2017-08-11
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
就业技能培训或创业培训补贴
《培训计划》Altair 九月培训计划
走进大数据 Spark-Spark streaming
Spark实战(5)_Spark Core核心编程
Spark及Spark Streaming 核心原理及实践
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券