首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >使用GCP与Bucket互连(云存储API)

使用GCP与Bucket互连(云存储API)
EN

Server Fault用户
提问于 2021-02-24 12:39:16
回答 2查看 975关注 0票数 1

我正在尝试使用本地计算资源+ Google平台来实现一个混合工作流。该系统的工作就像一个魅力,但我们得到了糟糕的上传速度,所以这是主要的障碍,在我们的管道(大约300 10的数据/运行),我们得到约(5-10个/周)和通常使用gsutil的上传速度大约是5.5 mbps -可怕!

为了上传大量数据,我们进行了研究,并设法获得了一个连接到特定项目(projectIC)的互连连接。互连基本上是一个专用管道,可以更快地到达GCP. --这是成功的,如果我在projectIC中建立一个VM,我可以从我们的内部网络中平移内部ip。我也可以做一个简单的scp和转移在大致22mbps -这又是一个好消息!

然而,我们依靠gsutil将数据传输到云。它是工作流的一部分,也是存储数据的推荐方法(在存储桶中,而不是在VM上)。

另一个问题是互连是特定于项目的,并且希望将其他项目连接到这个项目(如下所示的研究)

我是一位拥有基本云经验的软件开发人员,我也愿意学习,但需要有人为我指明正确的方向。

有两个明显的解决方案: 1.从本地上传到VM到桶2。连接互连到Cloud不确定这是否可能。

经过一些研究,我认为这些是我需要采取的步骤:

  1. 在projectIC和projectOTHER中创建VPC网络
  2. 更新两种防火墙规则
  3. 为projectIC和projectOTHER创建虚拟专用网
  4. 为CloudRouter和projectIC创建projectOTHER
  5. 为projectIC和projectOTHER创建(至少2) VPN隧道
  6. BGP路由(路由流量)

在这一点上,我应该能够通过VPN隧道从projectOTHER通信到projectIC。如果以上所述是正确的,那就解决了我的一个问题。如果有一种连接云API的方法,那么当我使用gsutil cp <local-file> gs://<some-bucket>时,它应该使用专用管道并给我(至少比当前的5.5mbps高出22.2mbps )

我希望我能很好地解释我的问题。如有任何建议或指导,将不胜感激。如果你需要更多的信息,请告诉我!

似乎没有任何关于这个问题的活动,我仍然不能使用我与GCP存储桶的互连。这里没有专业的GCP吗?

EN

回答 2

Server Fault用户

发布于 2021-02-24 15:31:38

为此,您可以使用共享VPC

共享VPC允许组织将来自多个项目的资源连接到公共虚拟私有云(VPC)网络,以便它们能够安全有效地使用来自该网络的内部IP进行通信。

另一种方法是使用VPC网络监听

使您能够连接VPC网络,以便不同VPC网络中的工作负载能够在内部通信。流量停留在谷歌的网络中,不会穿越公共互联网。

哪一个会更好地工作在很大程度上取决于项目的具体情况,您可以找到这两个这里的有用的比较。

票数 1
EN

Server Fault用户

发布于 2021-03-08 02:24:01

使用VLAN附件将多个VPC连接到您的互连。

使用私有谷歌访问访问Google和服务,如云存储( Cloud )。这将需要更新您的路由器在房地内。如果您正在使用合作伙伴互连,他们应该能够帮助您。

票数 0
EN
页面原文内容由Server Fault提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://serverfault.com/questions/1054886

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档