我在S3存储桶里放了一堆CSV压缩文件,我想把它们导入到BigQuery中。从文档中看,BQ可以从不同的来源导入gzipped数据。然而,当我配置数据传输作业时,它只允许CSV、JSON、AVRO、PARQUET、ORC文件格式。将传输作业配置为CSV文件格式并运行后,它会记录以下内容:
Moving data from Amazon S3 to Google Cloud complete: Mov
这可能是一个愚蠢的问题,但既然只要在同一区域内,EC2和S3之间的传输就是免费的,为什么不能通过EC2流式传输所有来往于S3的传输,并使这些传输完全免费呢?具体来说,我关注的是Heroku,这是一个运行在EC2上的Ruby on Rails托管服务,带宽是免费的。他们已经解决了上传的问题,特别要注意的是,如果通