我有一个将定期增长的数据集。
我打算将数据存储到Google Bigquery中,然后我想使用Python和pandas进行一些分析和数据转换,然后再将其放入Google Bigquery中。
我在考虑使用云计算引擎实例从Google Bigquery获取数据。我会从一个小的实例开始,随着数据的增长,使用一些云函数来计算数据的大小,例如熊猫需要处理这些数据,并检查我是否需要增加实例的能力,但我不知道是否有更好的方法来解决这个问题。
我想知道google云中是否有能够自动扩展实例能力的服务,因为随着数据的增长,实例将需要更多的能力。
应用引擎能做到这一点吗?或者应用程序引擎仅横向扩展添加更多虚拟机?
Cloud run,这是一种我可以用来触发运行docker的服务,它将自动创建一个实例并对其进行扩展,从而能够处理数据?这是我可以使用的东西吗?
发布于 2020-04-30 21:45:33
目前,唯一可用的垂直自动扩展(增加VM大小)是通过pods in Google Kubernetes Engine实现的。否则,当虚拟机仍处于活动状态时,应用程序引擎和计算引擎仅支持horizontal autoscaling (添加更多虚拟机)。但是,如果您的用例允许关闭VM,以便在需要时增加机器大小,那么这是完全可能的。我建议选择一个足够大的机器类型来容纳您的数据,或者使用一个实例组来分散您的工作负载,如果这在您的用例中。
https://stackoverflow.com/questions/61505621
复制相似问题