带有EMR和Jupyter笔记本的Postgres JAR

文章/答案/技术大牛

发布

1回答

postgresql、amazon-web-services、jupyter-notebook、amazon-emr

我正在尝试启动一个包含Postgres驱动程序JAR文件的电子病历集群，这样我就可以从Postgres加载数据并使用PySpark进行分析。我将我想要包含的JAR存储在S3中。connection-user": "MYUSER", }, } ] 2-添加J

浏览 13提问于2021-04-06得票数 2

回答已采纳

2回答

在EMR星火上使用木星笔记本

amazon-web-services、apache-spark、amazon-ec2、jupyter-notebook、amazon-emr

我是新的火花和AWS，我试图安装木星在我的星系团(EMR)，我不能打开木星笔记本在我的浏览器在最后。我可以访问EC2实例的IP地址以及端口22和</em

浏览 0提问于2016-05-19得票数 4

2回答

如何从本地运行的Spark Shell连接到Spark EMR

apache-spark

我已经创建了一个Spark EMR集群。我希望在本地主机或EMR集群上执行作业。假设我在本地计算机上运行spark-shell，我如何告诉它连接到Spark EMR集群，要运行的确切配置选项和/或命令是什么？

浏览 2提问于2016-06-06得票数 5

4回答

Dataproc:木星电火花笔记本无法导入图形框架包

pyspark、jupyter、google-cloud-dataproc、graphframes

在Dataproc星火集群中，星火外壳中有图形框架包，而jupyter pyspark笔记本中却没有。Pyspark内核配置：下面是初始化群集的cmd： gcloudproperties spark.jars.packages=com.databricks:graphframes:graphframes:0.2.0-spark2.0-s_2.11 --metadata &quo

浏览 10提问于2016-11-30得票数 3

回答已采纳

2回答

您应该如何在Spark EMR集群上运行jupyter笔记本

amazon-web-services、apache-spark、amazon-s3、amazon-emr、spark-submit

编辑:这个问题是关于您应该如何定义python/jupyetr-notebook文件的参数，以便在EMR Amazon Spark Cluster上进行spark-submit ...我已经在Amazon AWS (EMR)上创建了Spark Yarn集群，有一个主服务器和3个从服务器。我在上面创建了一个jupyter笔记本(并且能够使用PySpark内核运行和查看输出)。我已经使用PuttY连接到集群(我猜是连接到主节点)，我已经将jupyter</

浏览 1提问于2020-07-10得票数 1

1回答

亚马逊EMR集群可以免费订阅吗？

apache-spark、jupyter-notebook、amazon-emr

我在jupyter笔记本上有一个pyspark程序，我想把它部署在集群上。我发现的两个教程是使用、microsoft azure和amazone EMR。我试过microsoft azure，免费订阅不包括创建一个“如果我遵循教程”的能力，作为对这个问题的回答。所以现在我想尝试一下amazone电子EMR，看看它是否免费，或者从jupyter笔记本到amazone电子EMR集群部署一个小火花放电程

浏览 1提问于2022-05-11得票数 1

1回答

从运行在EC2上的Jupyter/IPython向EMR集群发送命令

amazon-ec2、jupyter、amazon-emr、jupyter-notebook

我们可以从运行在亚马逊EC2上的Jupyter/IPython笔记本发送命令到拥有我们的字数统计代码的亚马逊EMR吗？我已经按照下面的url安装了，还有另一个安装的链接然而，我想分离EC2上的Jupyter和执行EMR的字数。有没有办法做到这一点？

浏览 0提问于2016-02-17得票数 1

2回答

mount_workspace_dir笔记本魔法不在EMR中工作

python、jupyter-notebook、amazon-emr

在EMR Python3笔记本中，我执行以下操作：---

浏览 19提问于2022-03-16得票数 0

回答已采纳

1回答

如何在电子病历笔记本中安装.jar依赖项？

pyspark、jupyter-notebook、dependencies、amazon-emr

我正在运行一个EMR笔记本(平台: AWS，笔记本: jupyter，内核: PySpark)。我需要安装一个.jar依赖项(sparkdl)来处理一些映像。笔记本上做同样的事情呢？但是笔记本似乎无法到达存储库…另外，我也不知道如何让它加载S3备用桶…上复制的文件%%configure -f "spark.jars": "s3

浏览 3提问于2019-12-17得票数 4

4回答

在amazon上添加postgresql

apache-spark、amazon、pyspark、apache-spark-sql、emr

我尝试过使用-驱动程序类路径和-jars来提交火花-提交，并且尝试了这个方法。如何在命令行中使用SPARK_CLASSPATH，如谢谢

浏览 10提问于2016-05-10得票数 1

回答已采纳

1回答

克隆电子病历笔记本

amazon-web-services、jupyter-notebook、amazon-emr

自从multi-users access is not possible in EMR Notebooks以来，我想知道是否有可能克隆一个现有的笔记本，以使开发人员能够并行工作，而不是必须等待对方完成才能访问该笔记本

浏览 12提问于2020-09-04得票数 0

回答已采纳

2回答

创建notebook时，出现了“服务角色没有访问LocationUri {}的权限”错误

amazon-web-services、jupyter-notebook、amazon-emr

当我创建AWS EMR Notebook时，收到以下错误。服务角色是EMR_Notebook_DefaultRole。

浏览 25提问于2021-01-29得票数 1

回答已采纳

1回答

码头-所有火花-笔记本通讯链接故障

docker、apache-spark、jupyter-notebook、jupyter、jupyter-server

我刚开始使用码头和火花。我的docker-compose.yml文件是 shared-workspace: notebook:Dockerfile-jupyter-jar是：USER root RUN，并且

浏览 7提问于2022-04-05得票数 1

回答已采纳

1回答

有没有办法在EMR中加载install-interpreter.sh文件，以便加载第三方解释器？

jdbc、amazon-emr、apache-zeppelin

我正在运行一台Apache Zeppelin笔记本，我正在尝试将jdbc和/或postgres解释器加载到我的笔记本中，以便从Zeppelin写入postgres DB。加载新解释器的主要资源here告诉我运行下面的代码来获得其他解释器： ./bin/install-interpreter.sh --all 但是，当我在EMR终端中运行此命令时，我发现EMR集群没有附带install-preparter.

浏览 4提问于2019-05-16得票数 0

2回答

在SparkR中使用Jupyter* notebook*

sparkr、jupyter-irkernel

我想在SparkR上使用Jupyter笔记本，我想在我的Spark集群上安装Jupyter上的IR内核。我可以找到在pySpark中使用Jupyter的帮助，但在SparkR中找不到帮助。我已经在AWS-EMR集群上创建了我的Spark集群。

浏览 1提问于2016-05-25得票数 0

1回答

AWS EMR* Airflow: Postgresql连接器*

postgresql、amazon-web-services、airflow、amazon-emr

不幸的是，据我所知，该连接器在EMR中默认不可用，因此出现以下错误： Traceback (most recent call last): File "my_emr_script.py", line编辑：我遵循@Emerson的建议，将.JAR下载到一个S3文件夹中，并通过Airflow JOB_FLOW_OVERRIDES中的configs直接传递： "Configurations": [) 不幸的是，问题仍然存在。=&#

浏览 36提问于2021-10-13得票数 0

回答已采纳

1回答

AWS EMR* jupyter密码*

amazon-web-services、hadoop、jupyter-notebook、amazon-emr

我正在使用EMR，并且希望使用jupyter(ipython)，所以我在集群中添加了引导操作: s3://elasticmapreduce.bootstrapactions/ipython-notebook/install-ipython-notebook 我执行了端口调优，从本地主机访问jupyter，运行良好，但它要求登录密码，尝试为空，尝试hadoop，但没有运气，有谁知道jypyter密码是什么？

浏览 3提问于2016-12-15得票数 1

1回答

浏览器中安装在EMR 4.3.0上的Access木星笔记本

python、amazon-web-services、amazon-ec2、emr、jupyter

按照EMR页面上的步骤，我已经启动了AWS EMR集群。在通过SSH ( Windows 7中的putty)和启用foxyproxy (Chrome)连接之后，它启动得很好，可以在我的笔记本浏览器中访问。电火花和sparkR配备EMRSpark1.6.0安装，并在终端中完美地工作。jupyterjupyter notebook 它打开了我关闭的终端的

浏览 11提问于2016-02-10得票数 3

回答已采纳

1回答

如何在aws上自动执行jupyter笔记本？

amazon-web-services、aws-lambda、jupyter-notebook、amazon-sagemaker、aws-emr-studio

我有一个任务要完成，我需要自动化木星笔记本执行在AWS。我对AWS环境完全陌生，所以我不知道如何有效地做到这一点。我需要做的是-我需要哪些AWS组件来执行上述任务？import boto3,timeemr = boto3.client( region_name='

浏览 5提问于2021-10-30得票数 1

1回答

为什么EMR笔记本在作为AWS帐户所有者运行时不能连接到其群集

amazon-emr

我已经使用默认设置创建了AWS EMR集群和笔记本。我查看了由笔记本失败的集群创建的日志文件。

浏览 17提问于2022-04-04得票数 6

回答已采纳

点击加载更多