尝试将SAP BW迁移到AWS/Azure/GCP Cloud (云存储或云数据库/DWHs)时，有哪些可能性？
免责声明:我从未使用过SAP BW，只使用过云服务。
浏览 10提问于2018-07-09得票数 0
7回答
我希望将数据从BigQuery中的表传输到Redshift中的另一个表中。我计划的数据流如下：我知道谷歌云存储传输服务，但我不确定它是否能帮助我。来自Google文档：
此页面描述云存储传输服务，您可以使用该服务快速将联机数据
浏览 13提问于2016-09-05得票数 41
回答已采纳
我正在尝试将Redshift迁移到BigQuery。表的大小是2TB+，我正在使用bigquery红移数据传输服务。但是迁移已经运行了5个多小时。还可以看到在Redshift端执行的查询将数据卸载到50MB的区块中。由于无法在红移传输作业中配置块大小参数。将2TB的数据从redshfit传输到BigQuery需要这么多时间，或者可以做一些事情来改进这项工作。
有一些像雪花一样的系统，从红移到
浏览 39提问于2019-07-22得票数 0
2回答
我刚接触过Redshift，并对Redshift的运作方式做了一些澄清：
Amazon是否有自己的后端存储平台，还是依赖S3将数据存储为对象，Redshift仅用于查询、处理和转换，并有临时存储从S3中提取特定的片段并进行处理从这个意义上说，redshift是否有自己的后端云空间，如oracle或Microsoft，它们都有自己的物理服务器存储数据</em
浏览 5提问于2020-05-07得票数 6
回答已采纳
我目前正在S3中构建一个数据湖，并且已经成功地使用DMS将数据从mysql迁移到S3。在DMS中，我选择了“迁移现有数据并复制正在进行的更改”选项。我将数据转换为csv，但将来可能会选择拼花。此方法创建一个初始csv文件，其中包含来自数据库表的所有原始数据。然后，它创建具有插入、删除和更新功能的后续csv文件。
现在我正在寻找一种将数据从S3复制到Reds
浏览 1提问于2017-11-12得票数 0
1回答
你能帮助我提供如何在biGQuery中加载我的谷歌分析数据到Redshift的方法吗？云函数能做到这一点吗？或者，我如何从python端触发它，而不是使用bigquery脚本来调用BigQuery端？
浏览 0提问于2019-11-28得票数 1
使用airflow，我从MySQL数据库中提取数据，使用python进行转换，并将其加载到Redshift集群中。编辑:这是一个关于气流的问题，是选择任务粒度以及如何在它们之间传递数据的最佳实践。这不是一个关于数据迁移或ETL的一般性问题。在本问题中，ETL仅用作气流任务的工作负载示例。
浏览 36提问于2017-01-10得票数 13
我只看到如何将数据加载到我的bigquery数据库，但我没有看到任何wiki或帖子来帮助我回答我的问题:是否可以将数据从bigquery数据库加载到像google sheet这样的外部源(这可以通过云存储平台实现
浏览 20提问于2019-11-15得票数 0
回答已采纳
3回答
我正在查看数据流，以尝试将数据从Datastore导出到Spanner。扳手似乎只接受通过数据流连接器的avro文件。我能找到的唯一数据流模板是从数据存储到文本文件。并且数据存储区导出服务仅导出为levelDB格式。任何线索都会很有帮助，谢谢！
浏览 59提问于2019-05-03得票数 0
回答已采纳
1回答
我将数据从项目A的防火墙数据库导出到projects的云存储桶，然后导入到项目的B云存储桶中。我如何将数据从项目的B云存储桶转移到它的防火墙数据库中？从官方文档中，我只能找到如何将()数据导入云存储桶，而不是如何将数据<e
浏览 4提问于2020-10-26得票数 2
回答已采纳
1回答
我的任务是将MySQL数据库移到amazon。目前，我正试图通过2)将它们存储在S3中4)使用COPY命令将数据从S3传输到redshift
我正在使用Python来尝试自动化这个过程，并在进入S3的过程中使用S3加密数据。但是，按照我现在的流程，我必须在Redshift中为S3中的每个csv手动创建一个表。因为我最终
浏览 0提问于2018-06-12得票数 2
我刚刚在一个云数据库项目中工作，涉及一些大数据处理，需要快速地将数据直接从bigquery迁移到snowflake。我在想，是否有任何直接的方法可以将数据从bigquery推送到snowflake，而不需要任何中间存储。
请让我知道有一个实用程序或api或任何其他方式，bigquery提供推送数据到雪花。
浏览 22提问于2020-05-15得票数 2
我正在计划从AWS MySQL实例到GCP BigQuery的数据迁移。我不想迁移每个MySQL数据库，因为最后我想使用BigQuery创建一个数据仓库。将AWS MySQL DB作为csv/json/avro导出到S3存储桶，然后传输到GCP存储桶是一个好的选择吗？此数据管道的最佳实践是什么？
浏览 37提问于2019-03-10得票数 0
回答已采纳
我使用bigquery数据传输服务将所有数据从红移迁移到BigQuery。
在此之后，如果缺少任何数据，我希望在特定的时间内执行回填。但我看不出在调换工作中有什么回填选择。我如何在bigquery中实现这一点？
浏览 4提问于2020-09-23得票数 0
回答已采纳
1回答
我希望将一些MySQL数据库移到Amazon的云上。目前，我正在创建一个Python脚本，将表转换为CSV，对它们进行加密，将它们放入S3中，然后将数据复制到Redshift中。我已经读过，您可以将数据分割成多个文件并并行上传，但是我相信这仍然仅用于将数据加载到一个表中。有办法一次在多个表上使用副本吗？从每个表中逐个复制数据似乎效率很低。
浏览 0提问于2018-06-21得票数 1
4回答
我目前正在努力查询存储在分区表中的数据块(每个日期的分区)date, product_id, orders2019-11-01, 2, 200现在，例如，如果我想要查询产品id 1和2在2周内的总订单，并按日期分组(在每个日期的图形中显示)，数据库必须转到2周的分区并获取它们的数据。我读到过AWS Redshift适用于这类任务。我正在考虑将我的分区表(每天的聚合分析)转移到该技术上，但我不知道这是否真的是
浏览 8提问于2019-11-21得票数 4
2回答
我使用的是centOS-7机器，bacula社区-版本 11.0.5和PostgreSql数据库我按照下面的文档链接将备份存储在亚马逊的S3桶上。如上面的链接所示，我配置了存储守护进程，在备份之后，备份就成功了，并备份了存储在给定路径/mnt/v磁带/磁带中的文件，但是备份文件并没有从/mnt/v磁带/磁带转移到AWS s3桶。在上面提到的文档中，我们需
浏览 5提问于2021-08-16得票数 0
企业希望获取数十亿行(20-30亿)，将它们从Oracle流式传输到云(在我们的案例中是AWS)。到目前一切尚好。然后他们想要在云中处理它们，在这里仍然可以。然后，他们希望每天更新大约5%(称为1.25亿)的行的子集，并再次处理数据。
我不是说这是不合理的，我只是不确定解决这个问题的最有效的方法。对于一些背景，我是一名高级全栈开发人员，有丰富的AWS和巨型数据集工作经验，但绝不是大数据专家。此外，如今云中的大数据选择如此之多，很难知道从哪里开始。像Glue这样的东西之所
浏览 13提问于2021-10-22得票数 0
我正在我的AWS Dashboard中设置一个简单的AWS Glue ETL作业，它将位于AWS S3存储桶中的拼图文件中的数据映射到Redshift数据库中。如果我将Redshift JDBC连接设置为我的ETL作业的要求，它将立即失败，并显示以下消息：“调用HeadObject操作时出现错误(403)：禁止”，如果我将其从作业的要求中删除，它将在一段时间后面临连接超时我已经尝试过检查S3区域和红移区域是否相同。(虽然S3存
浏览 26提问于2018-12-24得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
