将火花连接到远程火花连接。
将火花连接到远程火花连接。
提问于 2016-09-30 19:28:52
我想将本地桌面RStudio会话通过sparklyr连接到远程spark会话。当您在RStudio中的sparklyr选项卡中添加一个新连接并选择群集时，表示您必须在集群上运行，或者具有到集群的高带宽连接。
有人能说明如何建立这种联系吗？我不知道如何创造这方面的可复制的例子，但总的来说，我想做的是：
library(sparklyr)
sc <- spark_connect(master = "spark://ip-[MY_PRIVATE_IP]:7077", spark_home = "/home/ubuntu/spark-2.0.0", version="2.0.0")从远程服务器。我知道会有延迟，特别是当试图在遥控器之间传递数据时。我还知道，最好在实际的集群上有RStudio --服务器，但这并不总是可能的，我正在寻找一个用于服务器和桌面RStudio会话之间交互的sparklyr选项。谢谢。
回答 3
Stack Overflow用户
回答已采纳
发布于 2016-11-01 17:38:36
Stack Overflow用户
发布于 2018-11-27 15:49:01
使用最新版本的sparklyr (例如，版本0.9.2 )，就可以连接到远程星火集群。
下面是一个连接到星火独立集群版本2.3.1的示例。有关其他主URL方案，请参见主URL。
#install.packages("sparklyr")
library(sparklyr)
# You have to install locally (on the driver where RStudio is running) the same Spark version
spark_v <- "2.3.1"
cat("Installing Spark in the directory:", spark_install_dir())
spark_install(version = spark_v)
sc <- spark_connect(spark_home = spark_install_find(version=spark_v)$sparkVersionDir,
master = "spark://ip-[MY_PRIVATE_IP]:7077")
sc$master
# "spark://ip-[MY_PRIVATE_IP]:7077"我写了一个关于这个主题的https://www.back2code.me/2018/11/configure-sparklyr-to-connect-to-a-standalone-spark-cluster/。
Stack Overflow用户
发布于 2019-01-24 05:14:47
最后，我使用李薇成功地将本地R连接到星火集群的云实例(在我的例子中是HD洞察力)
在sparklyr的spark_connect中，有一个连接到livy的选项。(方法= "livy")
sc <- spark_connect(master = "https://<clustername>.azurehdinsight.net/livy/",
method = "livy", config = livy_config(
username = "<admin>",
password = rstudioapi::askForPassword("Livy password:")))页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/39798798
复制相关文章
相似问题
腾讯云开发者
