我在gcp中设置了一个composer环境,它正在运行一个DAG,如下所示 with DAG('sample-dataproc-dag',
default_args=DEFAULT_DAG_ARGS,
schedule_interval=None) as dag: # Here we are using dag as context
# Submit the PySpark job.
submit_pyspark = DataProcPySparkOperator(
task_id='run_dataproc_pyspark'
在GCP上运行pyspark作业(使用dataproc 1.4),我正在尝试从GCP存储中读取数据。获取以下错误: from google.cloud import storage
File "/opt/conda/default/lib/python3.6/site-packages/google/cloud/storage/__init__.py", line 38, in <module>
from google.cloud.storage.blob import Blob
File "/opt/conda/default/l
我需要通过credentials.json (隐式)验证我的python代码。当我在本地(文件夹中)提到我的crediential.json文件时,它工作得很好。
,但我需要的是:我不想在本地呈现(crediential.json)的。
它必须远程存在于GCP秘密管理器或GCP云存储或任何其他存储恢复中。
我的工作代码:
import os
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = r'C:\Users\testfolder\crediential.json'
我需要的:
import os
o