我在dataproc上有一个Jupyter笔记本，它使用dataproc进行处理。我还将这个笔记本存储在gcs上的一个位置"gc:/bucket/...“。我想创建一个编写器工作流，以便在我现有的dataproc集群上运行此笔记本。这在GCP中是可能的吗？
浏览 30提问于2020-09-23得票数 2
尝试通过Jupyter Notebook使用Dataproc从计算机进行访问时，我使用pip安装了所需的库。但是，在导入时出现错误 import google.cloud.dataproc_v1 错误信息如下： ModuleNotFoundError Traceback(most recent call last)----> 1
浏览 21提问于2020-09-11得票数 1
Google cloud平台中的Notebooks对于云中的Python开发来说已经很棒了，但最后一个缺失的部分只是按计划运行现有的notebooks。
浏览 16提问于2021-07-29得票数 1
到目前为止，我已经将以下内容包含在运行在运算符集群中的pyspark脚本的顶部：logging.info('Test bare logger') l.info('Test {} logger'.format(ls))它不会产生任何输出，尽管操作符脚本会按预期运行我非常想得到偶尔引用的状态检查，在计算的中间
浏览 2提问于2020-12-08得票数 2
回答已采纳
但是，我希望将在/datalab/notebook目录中创建的笔记本持久化，然后在创建新集群时将它们复制到同一目录中，这样在前一个集群上创建的所有笔记本都可用。我可以在关机前将笔记本复制到GCS存储桶中，但无法在创建新集群后将它们从GCS复制回/datalab/network，因为目录/datalab/notebook是在我的启动脚本运行时或初始化脚本datalab.sh这个目录是在哪里创建的
浏览 12提问于2019-04-30得票数 2
当运行!pwd或os.getcwd()时，Google Dataproc上的所有笔记本都返回根目录/。它们实际上位于文件系统中更深的位置，例如：/jupyter/users。这个问题似乎是Google Dataproc特有的。有什么办法找到位置吗？
我尝试更改启动jupyter服务器的命令，但之后笔记本就会认为路径就是它们所在的位置。/opt/conda/miniconda3/bin/jupyter notebook
浏览 2提问于2021-04-28得票数 1
我的任务是通过造纸厂操作员自动安排一些每天运行在AI平台笔记本上的笔记本的日程安排，但实际上通过Cloud Composer来做这件事给我带来了一些麻烦。 如有任何帮助，我们将不胜感激！
浏览 53提问于2020-01-30得票数 3
回答已采纳
我正在测试一个DAG，我曾经在Google Composer上没有错误地运行在一个本地安装的Airflow上。DAG启动Google Dataproc集群，运行Spark作业(位于GS存储桶上的JAR文件)，然后关闭集群。所有其他任务的执行都没有错误，唯一的区别是DAG不再在Composer上运行： default_dag_args = {
'start_date': y
浏览 8提问于2019-03-05得票数 1
回答已采纳
2回答
我在Hadoop有一个本地环境。它由存储在HDFS上的文件和一堆编写API调用并触发猪作业的python脚本组成。这些python作业是通过cron调度的。
我想了解在GCP中做类似事情的最佳方法。我知道我可以使用GCS作为HDFS的替代品。该Dataproc可用于拆分Hadoop集群并运行Pig作业。是否有可能将这些Python脚本存储到GCS中，有一个类似cron的时间表来拆分Hadoop集群，并指向GCS中的这些Python脚本来运行呢？
浏览 10提问于2022-03-31得票数 2
回答已采纳
我正在使用Cloud Composer环境在GCP项目中运行工作流。我的一个工作流使用DataprocClusterCreateOperator在不同的项目中创建了一个Dataproc集群，然后尝试使用来自airflow.contrib.operators.dataproc_operator要创建集群，我可以指定一个project_id参数来在另一个项目中创建它，但是DataProcPySparkOperator似乎
浏览 22提问于2020-08-13得票数 0
回答已采纳
无论是在本地托管airflow时，还是在cloud composer上，它都能完美运行。但是，无法在Composer UI中单击DAG本身。我找到了一个类似的问题，并尝试了中链接的被接受的答案。from airflow.contrib.operators.dataproc_operator import DataProcSparkOperator
from schemas.schemaVa
浏览 13提问于2019-03-28得票数 1
回答已采纳
我使用以下命令在谷歌DataProc中创建了一个集群： gcloud beta dataproc clusters create my-cluster \
--project my-project \="gs://${BUCKET}/notebooks/zeppelin/${CLUSTER_NAME}"#dataproc:jupyter.notebook.gcs.dir="gs://${B
浏览 10提问于2020-01-29得票数 2
回答已采纳
在免费试用帐户中尝试，工作流DAG的第一个任务运行以下操作符： task_id='create_dataproc_cluster',
cluster_name='quickstart-cluster-{{ ds_nodash }}显示当前使用量为6，75%，位于4条中的3条，这意
浏览 0提问于2019-05-25得票数 3
回答已采纳
我使用动态端口转发连接到我的Spark集群主节点，这样我就可以在我的本地机器上打开jupyter notebook web界面。我遵循了Google Cloud Dataproc教程中的说明：gcloud compute ssh --zone=<cluster-zone> --ssh-flag
浏览 15提问于2017-03-02得票数 1
回答已采纳
想使用GCP提供的dataproc-container-v20210802-debian-10镜像来创建Dataproc HUB notebook实例。在组织中，不允许具有外部IP地址和到VM的SSH连接的VM实例。 我们只想在内部网络中使用Dataproc集线器实例。我的问题是，如果我在创建Dataproc集线器实例时选择了内部IP地址，并且没有可用的SSH连接，则需要进行哪些额外的更改？ 提前谢谢。
浏览 28提问于2021-08-11得票数 3
我在1个集群上使用1个作业的Dataproc。 我希望在创建群集后立即开始我的作业。我发现实现这一点的最佳方法是使用如下所示的初始化脚本提交作业。gcloud dataproc jobs submit pyspark ...export -f submit_job
echo "checkinggcloud dataproc clusters list --region=
浏览 54提问于2021-09-03得票数 3
回答已采纳
我使用这里的链接中的步骤设置了数据流程
我没有设置任何密码。我运行了../root$ sudo grep -ir password并获得了以下结果，因此确认没有设置密码.jupyter/jupyter_notebook_config.py
浏览 10提问于2016-12-13得票数 5
回答已采纳
我想知道，Dataproc是否提供了在Jupyter Notebook中以集群模式使用Spark的可能性？ 如果是，它是如何工作的？
浏览 24提问于2020-07-24得票数 1
我使用以下命令创建了一个Dataproc集群： gcloud beta dataproc clusters create my-cluster \
--project my-project \,gs://goog-dataproc-initialization-actions-${REGION}/python/conda-install.sh,gs://goog-dataproc-initialization-actionsspark-b
浏览 13提问于2020-01-30得票数 1
2回答
期望行为/home/user/notebooks/notebook1.ipynb/home/user/notebooks/notebook1_output.log/home/user/notebooks问题
然而，我们现在正在尝试Google和木星可选组件，并且当前目录始终是/，而不管它从哪个笔
浏览 9提问于2022-07-06得票数 2
回答已采纳
云服务器
ICP备案
实时音视频
云直播
对象存储
腾讯云开发者
