我在S3存储桶里放了一堆CSV压缩文件,我想把它们导入到BigQuery中。从文档中看,BQ可以从不同的来源导入gzipped数据。然而,当我配置数据传输作业时,它只允许CSV、JSON、AVRO、PARQUET、ORC文件格式。将传输作业配置为CSV文件格式并运行后,它会记录以下内容:
Moving data from Amazon S3 to Google Cloud complete: Mov
我编写了一个bash脚本,它执行python脚本将文件写入目录,然后将该文件发送到Amazon。当我从命令行执行脚本时,它执行得很完美,但是当我使用cron运行它时,文件会写入目录,但不会被发送到S3。我一定是在对克伦做错事。#!script that exports file to home directory
#export file created by python to S3s3cmd pu