使用GCP数据融合将数据从MySQL复制到BigQuery -获取“日期”数据类型的问题
我希望将中保存的Mysql表复制到GC BigQuery中。我引用了这个文档：https://cloud.google.com/data-fusion/docs/tutorials/replicating-data/mysql-to-bigquery。所以我决定在工作中使用GCP数据融合。
一切正常，数据在Bigquery中被复制。因此，我测试了对此复制的不同数据类型支持。
当我在复制管道中遇到问题时，，所以每当我尝试为数据融合复制放置'DATE‘数据类型列时，整个表(其中包含'DATE’列)不会出现在BigQuery中。
它使用与Bigquery中相同的模式和“日期”数据类型创建表，并且我使用了BigQuery支持的相同的日期格式。
我还查看了数据融合日志，它显示管道正在将数据非常好地加载到BigQuery中，还捕获了从源Mysql添加到Mysql中的新行，并进行了插入和更新。但不知何故，行并没有进入Bigquery。
是否有人使用数据融合复制和“日期”列数据类型？这是BigQuery还是数据融合的问题？我需要在BigQuery中提供任何手动设置吗？有人能提供这方面的投入吗？
回答 2
Stack Overflow用户
发布于 2021-06-06 03:32:19
我会把这个问题标为解决的。由于问题在于数据融合，而且最新版本6.4.1现在支持在BigQuery中复制数据类型。我正在收到正确的日期和日期数据。
(谢谢你的帮助:)
Stack Overflow用户
发布于 2021-05-04 02:10:31
我使用了以下模式，其中包含日期字段。
create table tutorials_tbl(tutorial_id INT NOT NULL AUTO_INCREMENT, tutorial_title VARCHAR(100) NOT NULL, tutorial_author VARCHAR(40) NOT NULL, submission_date DATE, PRIMARY KEY ( tutorial_id ));当我运行复制管道时，我看到如下模式创建了BQ表：
我还在表中看到了以下事件：
您能共享输入表架构吗？您也可以检查“职务历史记录”和“查询历史记录”选项卡，以查看是否有任何错误。
https://stackoverflow.com/questions/67317827
复制相似问题
腾讯云开发者
