我创建了一个Dataproc集群，并使用以下说明成功启动了RStudio服务器：https://cloud.google.com/solutions/running-rstudio-server-on-a-cloud-dataproc-clustersc <- spark_connect(master = "local") 但是，我想知道如何连接到BigQuery。有一个sparkbq库，但是我不确定如何
浏览 15提问于2020-11-28得票数 1
回答已采纳
我所在的组织需要使用Spark从客户的bigquery数据集中提取数据，考虑到客户和我们都使用GCP，使用Dataproc来实现这一点是有意义的。我读过，它看起来非常有用，但是它似乎假设dataproc集群、bigquery数据集和临时BigQuery导出的存储桶都在同一个GCP项目中-对我来说并非如此。我有一个服务帐户密钥文件，它允许我连接到存储在bigquery</em
浏览 2提问于2018-11-02得票数 0
阅读这个repo：下的说明，我按照下面的初始化操作创建一个新的Dataproc集群，并安装了特定版本的Google和BigQuery连接器：--max-age=5h \--labels=<owner>=christos,<team>=group \
--tags=allow-internal-dataproc-
浏览 4提问于2019-10-02得票数 3
回答已采纳
我试图连接从谷歌数据流应用卡桑德拉。我们的卡桑德拉环也在谷歌云上。当我们必须在dataproc上通过星星之火连接到cassandra时，我们通过传递“-标记cassandra”来创建集群，这允许运行在dataproc上的应用程序连接到Cassandra。
浏览 1提问于2017-03-24得票数 0
回答已采纳
我已经设置了一个节点Dataproc集群，并使用初始化操作在其上安装。当我试图使用简单的BigQuery查询访问示例select sql表时，它将引发来自Zeppelin的错误：SELECT * FROM `GCPPJ-238506.ML_DATASET.test请注意，我已经为服务帐户设置了凭据访问权限，并在齐柏林飞艇上的BigQuery解释器中设置了以下值：
zeppelin.<em
浏览 0提问于2019-04-26得票数 1
1回答
通过查看Google文档，我能够向Dataproc集群提交Spark作业，并在集群中安装JupyterLab，以便在笔记本上运行迭代操作。但是，我无法找到使用DataProc集群资源从本地木星笔记本(在我的计算机上)运行迭代命令的正确配置。我特别感兴趣的是从本地JupyterLab创建集群，然后使用pySpark (考拉)对托管在BigQuery和GCS上
浏览 3提问于2022-01-11得票数 2
我正在考虑运行一个持久化GCP Dataproc集群，该集群承载一个Hive服务器，它将提供一个HiveQL接口，用于查询和更新存储在Google中的长期数据，通过访问。我正在阅读以下文档：
如果没有持久集群无法完成您的工作，则可以创建一个集群。如果有一种方法可以在短暂的集群上完成您的工作，那么这个选项可能很昂贵，
浏览 3提问于2022-01-11得票数 2
从运行在dataproc集群上的pyspark代码中，可以获得它正在运行的dataproc集群名称吗？
浏览 4提问于2022-10-01得票数 2
我正在看，在这段17:33左右的视频中，主持人说：
为了使数据可访问，需要做的另一件事是GCS中存在的所有数据，BigQuery上也是如此。所以最近推出了Dataproc Metastore，所以这是一个高兼容的Metastore。它是基于高Metastore。我理解这个引号的方式是，如果我有一个名为BigQuery的my_bigquery_table表，我应该能够运行以下的Hi
浏览 15提问于2022-05-10得票数 4
我将Dataproc与(MySQL)上的数据连接到具有IPv4地址的GCSQL中。是否有从Dataproc到BigQuery的连接，以便我可以在BigQuery上使用数据？
浏览 1提问于2016-03-24得票数 1
回答已采纳
我是Spark和GCP的新手。我试着和它联系起来但它显然不能工作(例如，没有身份验证)。
我该怎么做呢？是否可以从Google Cloud外部连接到它？
浏览 3提问于2016-09-29得票数 5
通过执行此中的步骤，我已经设置了一个运行Presto的Google Dataproc集群。
它工作得很好，我可以通过gcloud命令行工具运行查询，如链接所示。有没有办法通过我的Python应用程序在Dataproc集群上运行查询？我知道有适用于Presto的Python客户端，但我找不到有关如何将其与运行在Dataproc集群上的Presto连
浏览 13提问于2021-03-14得票数 3
我正在尝试从一个运行在google cloud dataproc上的作业连接到google cloud sql。我没有授权外网访问云sql实例。因为我的dataproc集群与云sql在同一个项目中，所以我希望它允许连接。
我已经按照文档连接到了云sql ()。但本文档是GAE接入云sql的文档。尽管如此，我还是尝试了这些步骤。但是看起来com.mysql.jdbc.GoogleDriver在数据处理环境中是不可用<e
浏览 0提问于2017-09-27得票数 1
我在Google Cloud Dataproc集群上使用Spark，我想在PySpark作业中访问Bigtable。我们有没有像谷歌BigQuery连接器那样的Spark的Bigtable连接器？如何从PySpark应用程序访问Bigtable？
浏览 4提问于2016-11-02得票数 5
我正在尝试从我的.hql文件访问BigQuery表，我将在Dataproc集群上运行该文件。table_name;
然后，我编写了一个查询，将输出插入到BigQuery中的表中。Insert into ${destination_table_name} select count(*) from ${so
浏览 0提问于2020-02-12得票数 0
我有一个运行在GCP上的Dataproc集群，安装了Jupyter组件，它将笔记本存储到GCS上集群的临时存储桶中，并直接通过Dataproc的Jupyter web界面进行编辑。有没有办法使用VSCode直接从GCS编辑和运行(使用jupyter扩展)我机器上的笔记本，这样我仍然可以使用集群的计算资源和GCP中的在线数据？
浏览 41提问于2021-08-17得票数 2
1回答
我怎样才能将“星火”连接到谷歌的BigQuery？但是我发现唯一的JDBC驱动程序是旧的。如果答案涉及JDBC，那么url参数应该是什么样子的？
浏览 3提问于2015-10-03得票数 1
这不是一个与编程相关的问题，请耐心等待。有人能在这方面给我指点一下吗？(我看过关于rstudio桌面-> hive连接和从spark集群中运行rstudio-ser
浏览 1提问于2018-05-14得票数 1
我是Dataproc的新用户，我正在尝试运行一个PySpark作业，该作业应该使用MongoDB连接器从托管在Googke Kubernetes引擎集群中的MongoDB副本集中检索数据。有没有办法实现这一点，因为我的副本集不应该在不使用端口转发或其他方式的情况下从外部访问？
浏览 43提问于2018-07-26得票数 0
有没有可能用Dataproc的组件网关来暴露色调？我看了一遍文档，没有找到任何添加服务的选项。我正在使用下面的命令创建Dataproc集群。gcloud beta dataproc clusters create hive-cluster \ --image-versioninit-scripts/hue.sh \
--properties hive:hive.metastor
浏览 2提问于2020-11-02得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
