腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Apache
Spark
处理能力和资格
json
、
mongodb
、
python-3.x
、
apache-spark
我是Apache
Spark
的新手,不知道它是否适合我的特定场景。在我的例子中,我正在抓取小的数据集(作为MongoDB的JSON文件)。我正在尝试的是对这些数据文件运行
机器
学习
(分类/回归)算法,并从中获取信息。 当你考虑这种情况时,你认为
Spark
有资格在集群环境中通过并行处理来加速吗?或者你认为我应该收敛到一些其他的选择?
浏览 5
提问于2017-06-11
得票数 0
2
回答
pyspark流媒体是否适合
机器
学习
/科学计算?
python
、
numpy
、
pyspark
、
spark-streaming
我是
spark
的新手,不得不写一个流媒体应用程序,它必须执行一些任务,比如快速傅立叶变换和一些
机器
学习
的东西,比如使用svms进行分类/回归等。据我所知,
spark
使用dstream。这些流是否可以转换为numpy数组之类的内容,或者可以作为python函数的输入的类似内容? Thx
浏览 0
提问于2017-09-25
得票数 0
1
回答
分组、聚类、分类和预测
elasticsearch
、
kibana
、
kibana-4
例如,像
机器
学习
一样,给它一些样本,然后它就可以理解其他数据的趋势。 谢谢
浏览 1
提问于2015-10-21
得票数 0
1
回答
Spark
Machine Learning在一台
机器
上运行:它是分布式的还是非分布式的?
apache-spark
、
apache-spark-mllib
最近我正在
学习
可伸缩的
机器
学习
,
Spark
MLlib是我
学习
使用的第一个工具。我已经成功地使用
Spark
MLlib实现了一些简单的
机器
学习
任务,比如线性回归,它们在我的笔记本电脑上都运行得很流畅。有人能告诉我为什么
Spark
MLlib让可伸缩的
机器
学习
实现
浏览 3
提问于2019-01-03
得票数 0
1
回答
火花放电MLlib还保持开发吗?
apache-spark
、
pyspark
、
apache-spark-mllib
我2017年出版的“
学习
火种”一书可以读到: 所以我想知道是否有任何关于情况的最新情况。MLlib还在维护吗?
浏览 0
提问于2020-05-29
得票数 0
回答已采纳
1
回答
Scikit-
学习
KNN(K近邻)使用Apache
Spark
并行化
python
、
scala
、
apache-spark
、
machine-learning
、
scikit-learn
我一直在使用Python和Python的Scikit- learning
机器
学习
API研究
机器
学习
KNN (K近邻)算法。我已经搜索了许多选项、帮助和代码示例,它们将使用
spark
和Scikit-learn API并行分发我的
机器
学习
处理,但我没有找到任何适当的解决方案和示例。您能让我知道如何使用Apache
Spark
和Scikit-learn API的K近邻来实现和提高性能吗? 提前感谢!!
浏览 0
提问于2016-06-12
得票数 1
1
回答
异步算法使用什么框架?
algorithms
我对一个非常大的数据集有一个问题(谁不呢?)它存储在块中,因此各块之间的差异很小(例如,这些块具有一定的代表性)。我想用算法来进行异步分类,但我想自己编写代码。start a masterwhile some criterion is not met classify the data inexactly using some kind of iterative algorithm and return to master master waits fo
浏览 0
提问于2015-07-09
得票数 2
1
回答
如何在一台
机器
上设置全功能(包括集群)星火
学习
发展?
scala
、
apache-spark
我想开始
学习
Spark
2.0,所以我尝试设置我的dev (Scalav2.11)环境。我不是追求性能,我需要一些东西来模拟一个工作集群,以便我可以
学习
火花。如何设置一个开发环境来
学习
和开发星火应用程序,而不必访问多台
机器
,但仍然能够
学习
和编写基于
Spa
浏览 3
提问于2016-08-13
得票数 0
回答已采纳
1
回答
如何在pyspark
机器
学习
中使用Dataframe?
python
、
dataframe
、
machine-learning
、
pyspark
我已经简单地
学习
了如何使用RDDs来构建ML模型,但在过去,我通常使用数据帧来构建ML模型。我知道
spark
.ml是用于
spark
机器
学习
的DataFrame应用程序接口,但我还没有找到如何使用它的示例。我的问题是,您能否提供一个示例,说明如何使用Dataframe来构建
spark
机器
学习
模型? 另外,如果这个问题不合适的话,很抱歉,我不知道在哪里发布这个问题。
浏览 1
提问于2017-03-09
得票数 1
1
回答
spark
机器
学习
--更好的设计
python
、
apache-spark
、
machine-learning
我正在尝试在
Spark
中实现一个
机器
学习
算法。基本思想是将数据分成N个分区,并在每个单独的数据集分区上分别
学习
N个单独的模型。在预测期间,我们轮询这N个模型,并获得它们的o/p,然后组合它们。a)为了将数据划分为N个部分,我们使用repartition(N);b)为了
学习
我们使用mapPartitionsWithIndex的每个分区上的模型 问题是多个分区映射到同一台物理机--在同一物理节点上启动多个模型构建
浏览 1
提问于2016-11-23
得票数 3
3
回答
在同一个大规模数据集上对数百个模型进行评分的最佳实践?
scoring
我有预测各种事物的500+模型,以及一个由400m+个人和大约5,000个可能的自变量组成的大型数据库。这个过程耗时太长,容易出错(更多的是它变成的复杂代码网络的一个指标),代价很高(需要大量的云实例),并且只允许在R中构建模型(我想基本上不知道模型来自哪种语言,但我主要想启用Python和R--这是一个不
浏览 0
提问于2020-01-21
得票数 2
1
回答
机器
学习
应该
学习
哪种语言?
machine-learning
、
python
、
scala
我目前在BigData中使用
Spark
框架。我想从零开始
学习
机器
。对于
机器
学习
,Scala还是Python,哪种语言更适合
学习
?
浏览 0
提问于2019-07-18
得票数 -1
回答已采纳
1
回答
Pyspark管道在pandas数据帧上的应用
python
、
pandas
、
dataframe
、
pyspark
我有一个pyspark管道(包含估算和一个
机器
学习
模型)和一个pandas数据帧。我是否可以在不将其转换为Pyspark dataframe的情况下将管道应用于此pandas数据帧?
浏览 3
提问于2021-09-13
得票数 1
2
回答
如何为严密的防火墙配置Apache
Spark
随机工作端口?
configuration
、
apache-spark
、
worker
、
ports
我正在使用Apache
Spark
运行
机器
学习
算法和其他大数据任务。以前,我使用
spark
集群独立模式,在同一台
机器
上运行
spark
master和worker。现在,我添加了多台worker
机器
,由于严格的防火墙,我必须编辑worker的随机端口。有没有人可以帮助我如何更改随机
spark
端口,并告诉我需要编辑的确切配置文件?我读了
spark
文档,它说应该配置
spark
-defaults.conf,但我不知道如何配置
浏览 10
提问于2015-01-01
得票数 15
1
回答
随机林火花加工数据
apache-spark
、
apache-spark-sql
、
apache-spark-mllib
、
random-forest
、
apache-spark-ml
使用的答案,我能够使用ml.classification.RandomForestClassifier训练一个随机森林,并使用经过训练的随机森林处理一个不确定的数据。使用mllib.tree.model.RandomForestModel,它展示了如何保存经过训练的森林,但据我所知,只能在(并在将来处理) LabeledPoint RDD上进行培训。我在LabeledPoint RDD中遇到的问题是,这只能包含标签双和特征向量,因此我将失去所有用于其他目的所需的非标签/非功能列。 因此,我想我需要
浏览 3
提问于2016-01-24
得票数 0
回答已采纳
2
回答
org.apache.
spark
.ml.classification与org.apache.
spark
.mllib.classification的区别
scala
、
apache-spark
、
apache-spark-mllib
例如,LogisticRegression在org.apache.
spark
.ml.classification中有一个,在org.apache.
spark
.mllib.classification中也有一个我唯一能找到的区别是,org.apache.
spark
.ml中的那个是从Estimator继承的,可以用于交叉验证。我很困惑,因为它们被放在不同的包裹里。有人知道原因吗?谢谢!
浏览 8
提问于2015-05-14
得票数 17
回答已采纳
1
回答
为什么有人要在Tez上运行
Spark
/ Flink?
hadoop
、
apache-spark
、
apache-flink
、
apache-tez
、
tez
在Saha等人的中,显示了具有Tez的Hadoop2的以下模块化体系结构:为什么有人要在Tez上运行
Spark
/Flink? 其优势是什么?更好地利用纱线?
浏览 0
提问于2016-09-09
得票数 8
1
回答
Apache Storm有没有像Apache
Spark
那样的
机器
学习
库?
apache-storm
、
spark-streaming
、
apache-spark-mllib
我正在比较Apache Storm和Apache
Spark
streaming,以选择分布式实时计算系统。已经有很多讨论对这两种技术进行了比较,例如stackoverflow.com/questions/24119897/apache-
spark
-vs-apache-storm/。但是,我找不到Apache Storm是否有像Apache
Spark
那样的
机器
学习
库。事实上,我想做在线
机器
学习
,这是一个重要的要求。
浏览 0
提问于2016-07-08
得票数 2
1
回答
sparkML和systemML有什么不同?
apache-spark
、
systemml
spark
ML和system ML有什么区别?IBM上的apache
spark
engine中的system ml和
spark
ml都解决了问题,想知道主要区别是什么吗?
浏览 44
提问于2020-04-21
得票数 1
1
回答
如何在Hadoop程序中使用
机器
学习
算法?
mapreduce
、
machine-learning
、
hadoop2
如何在程序中使用
机器
学习
算法?我想使用分类算法,决策树,聚类算法。除了马赫特之外,请提出一些建议。
浏览 1
提问于2015-09-02
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
基于Spark的机器学习经验
Spark机器学习库之线性回归
Spark MLlib基础入门_LS-Spark MLlib 机器学习算法与源码解析
Spark机器学习模块开发环境部署与实例
Apache Spark 技术团队开源机器学习平台 MLflow
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券