首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >在GCP上的Flink方案: gs没有FileSystem

在GCP上的Flink方案: gs没有FileSystem
EN

Stack Overflow用户
提问于 2022-08-03 13:08:09
回答 1查看 159关注 0票数 1

我一直试图在GCP (https://github.com/spotify/flink-on-k8s-operator)上使用Flink,但谷歌云存储访问存在一个问题。

所以,我遵循了这里解释的步骤(https://github.com/spotify/flink-on-k8s-operator/blob/master/images/flink/README.md)

所以,我创造了一个码头形象,比如;

代码语言:javascript
运行
复制
ARG GCS_CONNECTOR_VERSION=latest-hadoop2
ARG FLINK_HADOOP_VERSION=2.8.3-10.0

ARG GCS_CONNECTOR_NAME=gcs-connector-${GCS_CONNECTOR_VERSION}.jar
ARG GCS_CONNECTOR_URI=https://storage.googleapis.com/hadoop-lib/gcs/${GCS_CONNECTOR_NAME}
ARG FLINK_HADOOP_JAR_NAME=flink-shaded-hadoop-2-uber-${FLINK_HADOOP_VERSION}.jar
ARG FLINK_HADOOP_JAR_URI=https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/${FLINK_HADOOP_VERSION}/${FLINK_HADOOP_JAR_NAME}

RUN echo "Downloading ${GCS_CONNECTOR_URI}" && \
  wget -q -O /opt/flink/lib/${GCS_CONNECTOR_NAME} ${GCS_CONNECTOR_URI}
RUN echo "Downloading ${FLINK_HADOOP_JAR_URI}" && \
  wget -q -O /opt/flink/lib/${FLINK_HADOOP_JAR_NAME} ${FLINK_HADOOP_JAR_URI}

部署作业后,我可以看到任务管理器和作业管理器库文件夹上的jars,但是任务管理器抛出的错误如下;

代码语言:javascript
运行
复制
org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 'gs'. The scheme is not directly supported by Flink and no Hadoop file system to support this scheme could be loaded. For a full list of supported file systems, please see https://ci.apache.org/projects/flink/flink-docs-stable/ops/filesystems/.

有趣的是,任务管理器抛出一个错误,但我可以看到应该为GCS上的检查点创建的基本路径。例如;

我给出了gs://bucket/flink/job/检查点配置,我可以在部署后看到这个文件夹,但是当然里面没有数据。

问题是什么?

EN

回答 1

Stack Overflow用户

发布于 2022-08-03 13:34:48

您应该检查官方的GCS连接器文档。基本上,您需要在plugins目录下复制可选的gcs插件,以便在容器映像中将其提供给Flink。

在这方面,我建议您查看最近添加的Flink Kubernetes操作员项目,它将为您当前的设置提供一些好处,并改进与较新的Flink版本的集成。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/73222298

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档