从Hive到Google Storage/Big Query的数据传输
从Hive到Google Storage/Big Query的数据传输
提问于 2017-07-07 13:00:06
我在一个预置hadoop集群中有一些Hive表。
我需要将表转移到谷歌云中的BigQuery。
你能推荐一些google工具或任何开源工具来进行数据传输吗？
提前感谢
回答 2
Stack Overflow用户
发布于 2017-07-08 01:31:22
BigQuery可以import Avro files通。
这意味着您可以执行类似于INSERT overwrite table target_avro_hive_table SELECT * FROM source_hive_table;的操作
然后，您可以通过bq命令行工具或使用控制台UI将底层.avro文件加载到BigQuery中：
bq load --source_format=AVRO your_dataset.something something.avro
Stack Overflow用户
发布于 2022-02-17 12:52:29
使用BigQuery迁移评估功能，我们可以从数据仓库迁移到BigQuery。https://cloud.google.com/bigquery/docs/migration-assessment
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/44962851
复制相关文章
相似问题
腾讯云开发者
