当我尝试在Sagemaker Studio中使用PySpark运行Sagemaker时，提供了一些示例 import os
from sagemaker import get_execution_rolejars = sage
浏览 20提问于2021-01-18得票数 2
回答已采纳
在它中，我有一个带有pyspark内核的木星笔记本。pip install pandas
然后，我可以用pip freeze验证成功。然而，当我使用pyspark笔记本，使用sc.list_packages()时，我会看到一个不同的包列表。某些包</e
浏览 8提问于2022-06-19得票数 0
我一直在尝试添加一个存放python模块的文件夹，但到目前为止，我还无法通过AWS的终端完成此操作。包含.py文件的文件夹在主SageMaker文件夹中，所以我正在尝试(我也在SageMaker/zds中尝试过，它是保存模块的文件夹)：在</e
浏览 0提问于2019-03-11得票数 1
我想在运行的内核中安装新的库(而不是引导)。我可以创建一个连接到EMR集群的sagemaker笔记本，但是安装包很麻烦。无法在notebook上安装包。我已经尝试了几种方法，比如在jupyterLab中通过终端安装包。$ conda install numba 在conda_pytorch_p
浏览 31提问于2020-01-22得票数 0
在AWS SageMaker中执行以下代码有一些困难。它应该只列出DynamoDB中的所有表。笔记本内核被设置为"conda_python3“，那么代码执行得很好，并且按预期在笔记本中列出了表(这几乎是立即发生的)。但是，如果我将内核设置为"Sparkmagic (PySpark)“，那么相同的代码将无限地运
浏览 3提问于2019-11-22得票数 1
回答已采纳
1回答
Sagemaker支持PYSICATE2.4，我希望在SageMaker中安装最新版本的pyspark。请让我知道如何在SageMaker笔记本上安装最新版本的火花放电。
浏览 5提问于2022-04-19得票数 0
1回答
我安装了一个带有JupyterHub的码头容器，运行在AWS集群上，如本文所述，。它有Python3内核、PySpark 3、PySpark、SparkR和SparkR，在容器中安装了conda和许多其他Python包，但是没有火花。问题是，当我运行pyspark或pyspark3内核时，它会连接到安装在主节点(在</e
浏览 0提问于2018-09-19得票数 4
我之所以看Databricks是因为它集成了像Kinesis这样的AWS服务，但在我看来，SageMaker是Databricks的直接竞争对手吗？我们大量使用AWS，是否有任何理由将DataBricks添加到堆栈或odes填充相同的角色？
浏览 1提问于2019-03-13得票数 9
回答已采纳
有人想出了如何在AWS Sagemaker Notebook实例上安装软件包，以便在PySpark内核中可用吗？我现在做了几次尝试，包括生命周期脚本，但似乎就是错过了正确的python env。有问题的包是joblib，但我猜它不应该有什么关系？！
浏览 12提问于2019-12-23得票数 3
当我为木星笔记本安装PySpark时，我使用以下cmd：但是，我知道
[ToreeInstall] ERROR | Unknown interpreter PySpark.Skipping installation of <e
浏览 0提问于2019-03-15得票数 9
我和使用jupyter笔记本电脑的PySpark内核，我已经成功地选择了PySpark内核，但我一直收到以下错误( a)确保星火有足够的可用资源让木星创建星火环境。c)重新启动内核。Loaded magics.
2019-10-10 13:37:43,744 DEBUG python
浏览 3提问于2019-10-10得票数 9
我查看了类似的问题，但都没有解决我的问题。我有一个SageMaker笔记本实例，打开了一个连接到AWS EMR集群的SparkMagic Pyspark笔记本。我有一个连接到这个笔记本的SageMaker存储库，也叫做dsci-Python。目录如下所示：/
浏览 9提问于2019-11-28得票数 2
3回答
总的来说，我对AWS和Spark非常陌生，我正试图在Amazon中运行一个笔记本实例。当我试图导入pyspark来启动会话并从s3加载数据时，我会得到名为'pyspark‘的错误号模块。我创建的集群已经填充了Spark选项，我做错了什么？
浏览 3提问于2019-11-19得票数 4
回答已采纳
通常的做法是在任何Python项目上创建虚拟环境，以避免全局安装和包冲突错误，当然还要跟踪跨项目的Python版本。
亚马逊SageMaker已经提供了conda环境。事实上，SageMaker笔记本实例已经是独立的conda环境。因此，这就引出了一个问题(我认为)，在SageMaker笔记本中创建一个虚拟环境是否有意义？如果我想使用特定版本的<
浏览 2提问于2022-02-11得票数 0
我使用Google-Colab通过使用FbProphet创建模型，并尝试在Google-Colab本身中使用Apache。现在我可以在aws Sagemaker/Lambda中免费上传这个(without charge for Apache Spark and only charge for AWS SageMaker)笔记本了吗
浏览 6提问于2022-07-27得票数 2
回答已采纳
只是想知道是否有人能够让Python +R内核在AWS Sagemaker笔记本实例上工作？
我之所以问这个问题，是因为我可以使用python环境在其中运行R包，特别是“bst”和“boom”。有没有办法创建同时安装了Python +R的内核？
浏览 2提问于2022-06-28得票数 0
我正在使用带有PySpark内核的AWS笔记本。packages = sc.list_packages()
type(packages) # <class 'NoneType'
浏览 5提问于2022-04-10得票数 0
回答已采纳
使用AWS运行TensorFlow 2.0的最佳方法是什么？
到今天(2019年8月7日)，AWS还没有提供TensorFlow 2.0 ，所以我的理解是我需要构建自己的。什么是最适合使用的基本图像？例如Dockerfile？
浏览 1提问于2019-08-07得票数 13
回答已采纳
为了创建我的Glue脚本，我使用与运行Pyspark (Sparkmagic)内核的Sagemaker笔记本一起的开发端点。最新版本的Glue (1.0版)支持Spark2.4。然而，我的Spark笔记本电脑使用的是Spark版本2.2.1。我想测试的函数只在Spark2.3中存在。有办法解决dev端点和Glue作业之间的不匹配
浏览 1提问于2019-08-26得票数 2
回答已采纳
如何使用来自lambda函数的预装conda内核而不是使用默认内核来执行jupyter笔记本？
浏览 16提问于2022-11-11得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
