我想使用TensorFlow数据验证来分析和验证数据,以便输入到我的ML模型中。但是,我的原始数据表在BigQuery上(超过30 as ),我不能将其加载为pandas数据帧。如何将数据从Bigquery加载到我的笔记本中,以便使用TensorFlow数据验证对其进行分析? 我想我可以使用Dataflow,但是我可以找到一个合适的例子
在每个视频中,一些帧(不是每一帧,大约16万帧)都有它的标签,因为一个帧可能有多个对象。
我对创建数据集有些困惑。我的想法是首先将视频转换为帧,然后将每一帧只有标签的帧转换为tfrecord或hdf5格式。最后,我将使用for my task将每个帧的路径写入csv文件(训练和验证)。我的问题是: 1.是否有足够的效率(tfrecord或hdf5)?在创建tfrecord或hdf5文件之前,是否应该对每一帧进行预处理以节省存储空间?2.有没有办法直接在tensorflow或pytorch中</em