腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(24)
视频
沙龙
2
回答
如何通过Conda Python在本地机器上安装和使用
mmlspark
?
python
、
pyspark
、
conda
、
azure-machine-learning-studio
如何在装有英特尔Python 3.6的本地计算机上安装与使用
MMLSpark
?pyspark.sql.SparkSession.builder.appName("MyApp") \ .getOrCreate() from
mmlspark
import TrainClass
浏览 214
提问于2018-07-11
得票数 -2
回答已采纳
2
回答
无网络接入的CDH集群如何安装parckage(如
mmlspark
)?
java
、
python
、
apache-spark
、
installation
、
pyspark
因为在中国很难连接maven.org,所以我不能不通过以下方式安装
mmlspark
pyspark --packages com.microsoft.ml.spark:
mmlspark
_2.11:1.0.0但import
mmlspark
仍然是ModuleNotFoundError: No module named '
mmlspark
' 通过一些努力 我发现:解压
mmlspark
.jar,压缩文件夹里面的
mmlspark
并放到hdfs( hdfs:/
浏览 278
提问于2020-07-29
得票数 4
回答已采纳
1
回答
如何安装
mmlspark
pyspark
、
google-cloud-dataproc
、
lightgbm
我正试图在我的pyspark代码上部署一个
mmlspark
.lightgbm模型。我在master的ssh上尝试了pip install
mmlspark
,我知道它是令人满意的,但是当我运行我的项目时,我又得到了: 找不到火花。yarn").config("spark.sql.shuffle.partitions",20).config("spark.jars.packages", "com.microsoft.ml.spark:
mmlspark
_2.11:1.0.0-rc1&q
浏览 1
提问于2020-06-07
得票数 2
1
回答
将
MMLSpark
库作为Maven依赖项下载时出现问题
java
、
maven
、
jar
我正在尝试使用截图命令从microsofts
MMLSPARK
库下载一个jar文件: ? 我得到了这个错误...不知道问题出在哪里。standalone-pom: Couldn't download artifact: Missing:[ERROR] 1) com.microsoft.ml.spark:
mmlspark
using the command: [ERROR] mvn install:install-file -DgroupId=com.microsoft.ml.spark -D
浏览 91
提问于2021-09-09
得票数 0
回答已采纳
1
回答
“TabularLIME”未定义为Azure DataBricks
machine-learning
、
python
、
pyspark
、
lime
这里是代码:from
mmlspark
import * .setModel(randomForestModel)\Traceback (most recent call last) 2 from
mmlspark
浏览 2
提问于2020-08-05
得票数 0
1
回答
如何为LightGBM的
mmlspark
实现设置n_estimators
apache-spark
、
lightgbm
我使用的是LightGBMRanker的
mmlspark
版本(但同样的问题似乎也适用于LightGBMClassifier等)--在实例化估计器时,似乎没有一种方法可以设置正常(非spark)版本的LightGBM
浏览 83
提问于2021-05-10
得票数 0
1
回答
在spark类路径中为
mmlspark
添加jars
maven
、
pyspark
、
jar
我的要求是在我的pyspark应用程序中使用com.microsoft.ml.spark:
mmlspark
_2.12:1.0.0-rc3-43-54379bf7-SNAPSHOT。对于下载依赖项,我使用: mvn dependency:get -DremoteRepositories="https://
mmlspark
.azureedge.net/maven" -Dartifact="com.microsoft.ml.spark:
mmlspark
_2.12:1.0.0-rc3-43
浏览 88
提问于2021-08-26
得票数 1
1
回答
当我尝试在pyspark中加载csv时,我收到一个错误
pyspark
我已经导入了
mmlspark
来使用LightGBM,如果我不这样做,任何事情都是好的。pyspark.sql.SparkSession.builder.appName("MyApp") \ .config("spark.jars.repositories", "https:&
浏览 36
提问于2020-11-09
得票数 1
1
回答
认知服务:未定义名称“TextSentiment”
azure-databricks
、
azure-cognitive-services
我正在尝试使用以下指南实现认知服务from
mmlspark
.cognitive import *我已经安装了Azure库:
mmlspark
浏览 7
提问于2022-05-12
得票数 1
回答已采纳
1
回答
LGBM如何在没有规范的情况下处理分类特性
scala
、
lightgbm
我正在玩LGBM和索引我的分类功能使用StingIndexer。但在那之后,我还没有告诉我的模型,哪些特征是绝对特征。所以,我想知道它是如何知道哪些功能是分类的。val lgbm = new LightGBMClassifier("lgbm"). setFeatureFraction(0.85). setLabelCol("is_booker")
浏览 2
提问于2020-10-06
得票数 0
回答已采纳
1
回答
PySpark: Spark将ImageSchema列转换为nDArray作为新列
apache-spark
、
pyspark
、
apache-spark-sql
、
databricks
、
azure-databricks
我看到ndArray函数在
MMLSpark
中有一些是集成在中的,有人用过吗? 谢谢
浏览 3
提问于2020-03-06
得票数 1
回答已采纳
1
回答
当试图用
MMLSpark
的scala库解释模型时出现异常
scala
、
apache-spark
、
machine-learning
、
artificial-intelligence
我试图解释我的XGboost模型使用scala的MMLSparks Lime包所做的预测。这是我第一次使用莱姆库,我能够在dataset上执行一个fit操作,当我试图执行转换操作时,程序会以一个异常停止,即“java.lang.ClassCastException: org.apache.spark.ml.linalg.SparseVector无法转换为org.apache.spark.ml.linalg.DenseVector”。
浏览 0
提问于2019-08-14
得票数 1
回答已采纳
1
回答
PySpark ALSModel load在通过Azure服务进行错误java.util.NoSuchElementException: Param blockSize不存在的部署中失败
python
、
apache-spark
、
machine-learning
、
pyspark
、
azure-machine-learning-service
/org/apache/ivy/core/settings/ivysettings.xml File "/home/
mmlspark
/lib/spark/python/lib/py4j-0.10.7-src.zip/py4j/java_gatewa
浏览 7
提问于2020-08-01
得票数 1
回答已采纳
1
回答
与储存、装载和预测有关的问题
apache-spark
、
pyspark
、
azure-synapse
、
lightgbm
com.microsoft.azure:synapseml_2.12:0.9.4") \ .config("spark.jars.repositories", "https://
mmlspark
.azureedge.net
浏览 24
提问于2021-12-09
得票数 0
1
回答
从Azure事件中心读取并使用Protobuf时使用org.apache.spark.sql.catalyst.encoders.init的NoSuchMethodError
scala
、
apache-spark
、
azure-eventhub
、
protobuf-java
unmanagedJars in Compile += file("lib/azure-cosmosdb-spark_2.4.0_2.11-3.6.7-uber.jar") "org.apache.commons"% "2.3.1
浏览 2
提问于2021-03-01
得票数 0
1
回答
理解火星雨中的罐子
apache-spark
、
pyspark
、
spark-koalas
我是个新手,我的理解是: 为什么需要这些jar文件。为什么用python中的所有代码都不够呢?(我猜答案是,Spark最初是用scala编写的,在那里它以jars的形式分发它的依赖项。因此,为了不必再次创建代码库山,python库只是通过一些转换器调用python解释器中的javacode,该转换器将java代码转换为等效的python代码。如果我理解
浏览 5
提问于2021-12-09
得票数 1
回答已采纳
1
回答
如何让spark集群从本地路径而不是master获取包jar?
apache-spark
、
pyspark
我发现每次我在我的spark独立集群中启动一个带有外部包的应用程序时,比如pyspark --master=spark://master:7077 --packages Azure:
mmlspark
:
浏览 22
提问于2019-05-23
得票数 0
回答已采纳
3
回答
在管道运行中使用Environment类
azure-machine-learning-service
我对使用Environment类的管道使用了一个估计器步骤,以便拥有一个自定义的Docker镜像,因为我需要一些apt-get包才能安装特定的pip包。从日志中可以看出,与估计器的非管道版本不同,它完全忽略了环境变量的docker部分。很简单,这似乎是不正确的:FROM mcr.microsoft.com/azureml/base:latest\nRUN apt-get update && apt-get -y install freetds-dev freetds-bin vim gcc
浏览 2
提问于2019-10-09
得票数 3
2
回答
PySpark诉内存问题
machine-learning
、
pandas
、
pyspark
("probability", ascending=False) \我尝试了lightgbm,只更改了.fit()部分: from
mmlspark
浏览 0
提问于2019-02-06
得票数 2
回答已采纳
2
回答
Azure ML:如何在多个实例上训练模型
azure-machine-learning-service
我有一个AML计算集群,它的最小和最大节点数设置为2。当我执行管道时,我希望集群并行地在两个实例上运行训练。但是集群状态报告只有一个节点繁忙,另一个节点空闲。 这是我提交管道的代码,正如你所看到的,我正在解析集群名称并将其传递给我的Step1,这是在Keras上训练模型。 aml_compute = AmlCompute(ws, "cluster-name") script_name="Train.py",
浏览 11
提问于2020-07-09
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
解读微软开源MMLSpark:统一的大规模机器学习生态系统
为AI程序员减负!微软来源深度学习库SynapseML,支持可扩展的智能
微软开源深度学习库 SynapseML:可直接在系统中嵌入45种不同机器学习服务、支持100多种语言文本翻译
普通程序员要如何开发AI应用?
Jupyter在美团民宿的应用实践
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券