如何使用metaflow从s3获取元数据？
如何使用metaflow从s3获取元数据？
提问于 2020-01-11 07:13:15
metaflow的官方教程表明，在运行脚本之后，可以使用jupyter notebook和元数据完成分析。另外，我知道metaflow会自动将元数据写入s3。那么我如何使用jupyter notebook从s3获取元数据呢？我能想到的唯一方法就是使用boto3。我想可能会有更好的工具可用。
回答 2
Stack Overflow用户
发布于 2020-01-15 04:46:12
您应该能够使用metaflow提供的python客户端来访问数据。
示例：
from metaflow import Step
print(Step('DebugFlow/2/a').task.data.x)其中DebugFlow是流名，2是运行号，a是步骤名，x是您试图加载的工件/元数据的变量名。
这里记录了这一点：https://docs.metaflow.org/metaflow/client#accessing-data
Stack Overflow用户
发布于 2020-01-30 02:34:35
默认情况下，Metaflow将元数据存储在本地文件系统中。为了利用S3，您必须配置Metaflow以实际使用亚马逊网络服务资源。
这里是Metaflow的高级概述，只是为了便于您熟悉它。
Learn Metaflow in 10 mins - A hands-on tutorial
以下是将其连接到AWS的具体指导原则。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/59690152
复制相关文章
相似问题
腾讯云开发者
