海量数据迁移11.11活动 - 腾讯云开发者社区

文章/答案/技术大牛

发布

2回答

请问已有帐号的, 续费有优惠吗？

费用中心

请问已有帐号的, 续费有优惠吗地址：https://cloud.tencent.com/act/double11Mozilla/5.0

浏览 720提问于2017-11-02

1回答

如何将数据从Mongo迁移到Firestore？

firebase、google-cloud-firestore、google-cloud-datastore

我们希望将海量的数据从Mongo迁移到Firestore。我知道我们可以通过编程来完成这个任务，但是有什么工具吗？

浏览 0提问于2019-01-03得票数 0

回答已采纳

2回答

将mysql (5.5)生产数据库升级到5.6并最大限度减少停机时间的最佳方法是什么

mysql、upgrade、mysqldump、database-administration

我们现有的数据库大小约为200 if，如果我们可以使用一致的并行备份方法。为了测试，我使用mysqldump选项将开发Db从5.5迁移到5.6，但对于生产，我正在寻找一种方法，可以在最短的停机时间内将mysql prod Db升级到5.6。

浏览 2提问于2013-11-27得票数 0

5回答

我们应该使用实体框架吗？

asp.net、asp.net-mvc、entity-framework、webforms

我们目前有以下堆栈：Web表单IIS 6VS 2010Server 2008我的问题是，当我们使用VS 2010迁移到MVC时，我们应该使用实体框架(或另一个ORM)、微ORM (比如海量)，还是仅仅使用普通的SQL？我所读到的关于VS 2010的所有教程都是针对使用实体框架进行数据事务的，但是在可预见的未来(5+年)会不会出现这种情况呢？如果有关系，我们客户端的应用程序可以有10,000个活动用户。

浏览 0提问于2011-10-19得票数 31

回答已采纳

1回答

为什么我的数据库在ADF拷贝活动运行时被锁定？

azure、sql-insert、azure-data-factory、bulkinsert

我只想知道为什么，当Azure Data Factory (ADF)复制活动将数据从云传输到本地数据库时，会阻塞所有的表。当我单击表的+按钮时，会出现一条超时错误消息。我正在处理海量数据。我没有使用ForEach活动，但所有的复制活动都是并行运行的。

浏览 5提问于2021-10-22得票数 0

1回答

云硬盘能不能独立于云服务器？

云服务器、、神经网络、GPU 云服务器

我可不可以租一块云硬盘，在云硬盘里存好系统、环境、训练用到的图片等数据，然后按需租GPU云服务器？比如先租一年的云硬盘，然后这几天需要了就租块GPU跑，跑完就不租了；过一周需要的时候再租GPU跑。这样能省下装环境、传训练数据的麻烦吗

浏览 381提问于2022-10-04

2回答

将海量数据集导入到Rails应用程序的最聪明的方法？

ruby-on-rails、database、import、dataset、migration

我有多个海量(几十亿字节)的数据集需要导入到Rails应用程序中。这些数据集目前都在我的开发机器上各自的数据库中，我需要读取它们，并根据它们包含的信息在我的Rails数据库的表中创建行。我的Rails数据库中的表将与源数据库中的表不完全相同。我在考虑迁移，但我不确定如何将迁移连接到数据库，即使这是可能的，也会慢得离谱吗？

浏览 4提问于2010-03-13得票数 1

1回答

IBM DB2到SQL Server的迁移

c#、sql-server、db2、database-migration、sqlbulkcopy

我得到了一项将数据从DB2迁移到SQL Server的工作。能够通过命令提示符连接DB2数据库和IBM DB2客户端。我们已经在C#中使用ASP.NET SQL批量复制将Oracle数据迁移到SQL server。需要根据每日更新定期迁移DB2数据。还需要有关如何在C#中使用海量复制同步DB2数据的信息。提前感谢您的回答！

浏览 5提问于2017-02-16得票数 0

1回答

你为什么要使用行业标准ETL？

api、ssis、etl、informatica

我刚开始在一家新公司工作，该公司拥有一个数据仓库，它使用一些用PHP构建的bizzare专有ETL。唯一真正的缺点是，许多数据源是web，返回单个逐行记录，与标准ETL相比，PHP更容易通过这些记录

浏览 2提问于2015-04-01得票数 1

1回答

SQL Server 2016中清除表数据的性能优化

sql-server、sql-server-2016

我必须自动清除从主表到Archive的海量数据。我将从主表插入数据到归档表。数据库: Server 2016 OS: Windows和IIS

浏览 0提问于2020-08-15得票数 2

1回答

Oracle:数组绑定和sql加载器有什么区别？

oracle、oracle11g、sybase、bcp、sql-loader

我使用bcp (sybase海量插入)插入数百万条记录，但我的公司正在迁移到甲骨文。我不确定是否应该使用数组绑定或sql加载程序。我记忆中有很多数据。我可以1.用数据创建一个文本文件并使用sql-加载程序插入它，或者2.使用数组绑定库插入数据。我不知道哪一个更适合我的申请。两者之间有什么区别。对于某些应用来说，一个更好吗？

浏览 1提问于2014-07-01得票数 0

回答已采纳

1回答

如何在Heroku上进行海量数据迁移？

ruby-on-rails、heroku、migration

这意味着我们需要时不时地对我们的数据进行一些非常大的迁移。我的问题不是关于编写迁移本身，而是关于在Heroku上运行它们。

浏览 0提问于2011-12-14得票数 1

回答已采纳

2回答

我应该在MySQL中还是在应用程序中计算百分比？

mysql、ruby-on-rails、database

我正在编写一个Rails应用程序，对导入的按点击付费的广告数据进行大量计算。导入的日志都存储在一个海量日志表中，其中包含印象、点击、转换等记录，然后需要与转换表连接，以计算每次转换的成本，每个活动的转化率。在MySQL中执行似乎足够快(400ms)，但是有理由在应用程序而不是数据库层执行此操作吗？谢谢!

浏览 0提问于2010-09-08得票数 4

回答已采纳

1回答

Azure数据库迁移

azure-sql-database

有人知道在部署数据时在Azure数据迁移助手过程中运行什么SQL吗？我看到一个暂停在开始，然后数据被复制，然后暂停在结束。

浏览 1提问于2018-06-20得票数 0

回答已采纳

1回答

类似于SQL表的循环调度，用于跟踪最近的活动

sql

我们需要跟踪不同时间段的用户活动，如24小时，7天等。我们预计不会有很大数量的不同时期，但用户数量将非常大，可能在数百万。每晚cronjob汇总每个用户的统计数据听起来并不合理。我知道过去我曾用RRD表这样跟踪网络使用情况，但这些只是BerkeleyDB的，而且每个统计数据必须有一个文件，这是行不通的，但这个想法似乎是我想要的。有没有我忽略的模式/最佳实践？

浏览 1提问于2011-12-31得票数 2

回答已采纳

2回答

Alteryx -从Server批量复制到格林梅-需要提示以提高性能

sql-server、greenplum、bulk-load、alteryx

需要提示:使用Alteryx设计器，我将从Server (10M行)中提取一个大型数据集，并需要迁移到Greenplum中我可以在Server和Alteryx上进行控制或修改，以提高性能，但在格林梅中不行你好，艾瑞克

浏览 0提问于2018-09-05得票数 0

回答已采纳

1回答

在两个数据库之间迁移数据时出现致命错误

sql-server-2008、asp-classic、data-migration

在我的公司，我们从每个客户都有单独的数据库到每个客户都有一个大型数据库。我们已经完成了用ASP编写迁移脚本以将数据迁移到新数据库的艰巨任务。此迁移脚本一直在运行，直到有大量数据要迁移的特定客户。有4个特定的表，它们之间大约有650万行要迁移。此外，我想知道是否有更好的方法来迁移如此海量的数据？一个存储过程(尽管我讨厌在写完这么大的ASP脚本后还要写这么大的过程)会

浏览 1提问于2011-08-18得票数 0

回答已采纳

1回答

在Android中以Tabs片段显示web服务数据的最佳方法

android、web-services、android-fragments、android-tabs

我需要开发一个带有以下屏幕的Android应用程序： Details活动(单击任何制表符A/B/C中的任何特定列表项后-应显示该特定项的详细信息)我们能在同一时间呈现所有标签数据吗?因为我

浏览 0提问于2015-01-10得票数 1

回答已采纳

3回答

Oracle中的海量数据迁移与空间问题

oracle、migration

作为从SchemaA.table1到SchemaB.table2的数据迁移的一部分，我尝试在同一个Oracle数据库中进行插入追加。由于Table2的重构，在迁移过程中会出现某种形式的数据转换。由于数据量巨大，这可能需要10个小时到30个小时。我不想因为表空间不足而导致迁移失败。Oracle中是否有一种方法可以根据table1中数据的大小预先确定空间需求，这样我就可以以正确的方式让用户增加表空间了吗？或者，当我将数据移到table1中

浏览 0提问于2011-04-24得票数 2

2回答