我有： Apache Spark : 2.4.4 JupyterHub : 1.1.0 舵图版本: 0.9.0 K8S : 1.15 我用官方文档https://zero-to-jupyterhub.readthedocs.io/在k8s上构建了Jupyterhub 我使用官方的Spark镜像来做一些本地工作:jupyter/all-spark-noteboo
浏览 44提问于2020-12-01得票数 1
我有一个spark集群，运行在10台机器(1 - 10)上，主机在机器1上。所有这些都运行在CentOS 6.4上。我正在尝试使用sparkR将jupyterhub安装(由于在CentOS上安装时出现问题而在ubuntu docker中运行)连接到集群，并获取spark上下文。我使用的代码是
Sys.setenv(SPARK_HOME="/usr/local/
浏览 0提问于2015-07-24得票数 0
1回答
我在特定命名空间中的K8S上运行了spark (3.0.1)、livy (0.8.0)和Jupyterhub (火花魔术)，Kubernetes master作为资源管理器使用。当我试图在木星中心的笔记本中创建pyspark会话时，我得到了一个错误：
22/02/04 12:09:16警告InteractiveSession:未能阻止RSCDriver。杀了它。配置的服务帐户没有访问权限。服务帐户可能已被撤销。禁止使用:用户“sy
浏览 21提问于2022-02-07得票数 0
2回答
我通过浏览器访问jupyterhub notebook，因为它运行在远程服务器上(使用nginx以便jupyterhub可以被客户端机器访问).When我访问notebook时，一个内核错误显示在屏幕顶部Jupyterhub和jupyter notebook运行在kubernetes集群上，jupyter notebook是一个适合python编程的定制docker镜像。我是python/jupyter集线器/笔记本</em
浏览 3提问于2018-10-03得票数 1
amazon emr上的jupyterhub docker中的pyspark3、pyspark和spark kearnels似乎不允许自动完成函数名称或文档字符串shift-Tab键。我用jupyterhub和spark启动了一个集群。我为pyspark或pyspark3创建了一个新的笔记本。
它似乎在docker中使用了conda。我试着升级所有的东西，但是这打破了所有的东西。
浏览 12提问于2018-09-09得票数 13
我的spark工作是从kafka中读取并解码信息。我的spark作业在MAC上的本地spark集群(https://archive.apache.org/dist/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz)上运行良好。但是在k8s和o
浏览 42提问于2019-01-04得票数 1
回答已采纳
我最近在我们的K8s集群中托管了Jupyterhub。我们将内存限制设置为1 1GB，所以现在所有的Jupyter笔记本都使用这种配置。但是我们的笔记本电脑是资源(内存和cpu)密集型的，而有些笔记本电脑不是资源密集型的
那么，有没有办法为多个jupyter pod分配不同的资源呢？我正在使用helm chart部署jupyterhub
浏览 77提问于2021-12-04得票数 1
需要关于运行spark/kubernetes的建议。我有Spark 2.3.0，它带有原生kubernetes支持。我正在尝试使用spark-submit运行spark作业，参数master为“kubernetes-apiserver:port”和其他必需的参数，如spark image和其他。有没有我可以遵循的示例文档？一些基本的例子/文档会很有帮助。或者有没有其他方法可以在kubernetes上部署sp
浏览 1提问于2018-12-03得票数 0
我有星火驱动程序设置使用Zeppelin和或JupyterHub作为客户端进行AWS EMR上的交互式火花编程。与任何Spark一样，EMR上的这些客户端应该使用我的自定义配置属性，因为SparkSession代码是火花提交、火花配置文件和火花默认值之前的第一个最高覆盖。在创建一个基本应用程序的示例中，应该实现这些集群资源信任，而不是标准的默认信任，这就是Zeppelin/Jupy
浏览 0提问于2019-08-15得票数 0
我正试着在k8s上运行jupyter来寻找火花。k8s不支持客户端模式。$ bin/spark-shell --master k8s://192.168.99.100:8443...那就是
火花外壳不能在集群模式下运行。apache 0.5.0是否支持k8s上的spark？如有任何关于建立星火集群的
浏览 0提问于2018-08-09得票数 0
我试图在k8s中的流应用程序中使用集群模式下的spark提交将一些数据合并到增量表中。得到下面的错误，但是它在k8s本地模式和我的笔记本电脑中工作得很好，与三角湖相关的操作都没有在k8s集群模式下工作，SPARK_VERSION_DEFAULT：org.apache.spark.
浏览 14提问于2022-10-07得票数 0
回答已采纳
我正在使用Terraform创建一个EMR集群(emr-5.24.0)，部署到一个私有子网，其中包括Spark、Hive和JupyterHub。我已经在部署中添加了额外的配置JSON，这应该会将Jupiter笔记本的持久性添加到S3中(而不是本地磁盘上)。 整个架构包括一个连接到S3的VPC端点，并且我能够访问我试图将笔记本写入的存储桶。调配群集后，JupyterHub服务器无法启动。 登录到主节点并尝试启动
浏览 33提问于2019-06-26得票数 0
我在一台机器上设置了JupyterHub + DockerSpawner +全火花笔记本，我有一个现有的星火集群。
我可以登录并启动服务器，但是如何使笔记本(Toree)访问现有的星火集群？我谷歌了一下，发现有人扩展了全火花笔记本的对接图像，并重新安装Toree。https://github.com/jupyter/docker-stacks/wiki/Docker-Recipes#use-j
浏览 5提问于2017-11-09得票数 1
1回答
我想使用HDFS作为存储Kubernetes上Spark的数据的地方。因此，我只需要来自HDP的hdfs。但是我想知道我是否可以在没有其他HDP组件的情况下安装它。我能这么做吗？如果是，那是怎么做的？
浏览 15提问于2020-01-20得票数 0
我可以使用ssh登录远程星火集群主机，并使用这样的示例运行spark-submit：现在我已经在我的笔记本上安装了spark，但是我没有运行它。我想
浏览 1提问于2018-05-03得票数 2
1回答
我可以看到，默认情况下，它会将1主和2执行程序分开，并在ClusterIP上公开端口：8080。我不想使用k8s作为spark的集群管理器。我试图了解是否有一种方法可以将spark作为应用程序托管在k8s上，并将作业提交给它，因为它是一个具有工作节点<
浏览 0提问于2019-04-17得票数 2
回答已采纳
我正在kubernetes吊舱中运行python脚本和kubectl exec -it bash.Its，这是一个长时间运行的脚本，可能需要一天时间才能完成。如果我关闭我的笔记本电脑，脚本会停止在吊舱内运行吗？
浏览 9提问于2022-09-28得票数 1
我的笔记本电脑上有一个本地的PySpark作业。如果我想使用spark-submit在minikube集群上提交它，你知道如何传递python文件吗？./spark-submit \ --deploy-mode cluster \spark<
浏览 1提问于2020-05-10得票数 1
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
