腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
转换
将
2亿条
记录
从
源
模式
迁
移到
目标
模式
java
、
oracle
、
performance
、
migration
、
data-migration
我正在做一些迁移项目,我们需要将数据
从
旧系统迁
移到
新系统。每个系统都有自己的
模式
,因此我们也需要
转换
。这里值得注意的一点是,2亿条
记录
并不是建立在1个关系上,而是2亿条逻辑业务对象。因此,每个逻辑业务对象实习生由许多表组成(粗略地说,我可以说是10-12个关系,每个逻辑业务对象总共平均有50条
记录
) 在我们之前的迁移中,我们有一个spring批处理作业(具有4个线程的多线程)在公司基础设施上运行,
使用
16 we和4个核心CPU,在2秒内迁移5个逻辑业务对象。寻找替代方法
浏览 23
提问于2020-11-10
得票数 2
1
回答
如何在
使用
Spring批处理作为ETL时进行审计
mysql
、
spring-batch
、
etl
我需要
使用
Spring作为ETL
将
数据
从
源
数据库(MySQL)中的一组表迁
移到
目标
数据库(MySQL)中的另一组表。
目标
表中的
模式
不同于
源
表中的
模式
,因此我
使用
处理器来
转换
数据以匹配
目标
模式
。我需要一个块一个块地执行这个迁移块,即像一次按需
记录
集(,而不是所有的)。 我没什么好担心的。我将为每个作业生成一个惟一的随机ID (可能
浏览 1
提问于2019-03-18
得票数 1
1
回答
用于
将
数据库
从
任意DBMS导出到任意DBMS的Java库
java
、
sql
、
export
、
database
有没有一个java库可以
从
任何数据库管理系统(Mysql、SQLServer、Oracle、SQLite等)导出数据库?到任何DBMS?
浏览 4
提问于2011-10-17
得票数 0
回答已采纳
1
回答
以CSV格式导出数据库是否会保留其架构?
database
、
oracle
、
database-schema
、
database-migration
、
btrieve
我想将一个数据库
从
Btrieve (PSQL)迁
移到
Oracle。为此,我
将
首先将
源
数据库
转换
为CSV,然后
将
导出的CSV
转换
为
目标
数据库。我不确定,但据我所知,在
将
DB导出到CSV时不可能保留
模式
。
浏览 8
提问于2015-04-02
得票数 0
2
回答
如何
将
DB中的结果集
转换
为Java中的merge语句?
java
、
database
、
jdbc
我有两个
模式
。有可能吗?不
使用
insert的原因是因为
目标
模式
中已经存在
记录
的可能性,这将在插入时抛出唯一约束。 补充一点:
源
数据库和
目标
数据库驻留在不同的服务器上。
浏览 0
提问于2018-10-24
得票数 1
1
回答
AWS DMS (数据库迁移服务)全LOB不适用于Server
sql-server
、
amazon-web-services
、
amazon-dynamodb
、
aws-dms
我正在尝试
使用
AWS
将
Server表迁
移到
DynamoDb
目标
。在迁移数据时,AWS
将
CLOB数据
转换
为DynamoDB字符串。Server
源
数据类型 全LOB
模式
:LongDe
浏览 1
提问于2019-09-16
得票数 5
1
回答
将
循环内的
记录
映射到不属于作用域的
目标
记录
xml
、
xslt
、
mapping
、
biztalk
、
edifact
基本上,我在
源
模式
中有一条
记录
,它被循环以在
目标
模式
中创建5条不同的
记录
。我的任务是
将
源
模式
中的字段映射到<em
浏览 8
提问于2019-07-19
得票数 0
回答已采纳
1
回答
如何增加要查找的数据流的数量
ssis
在我的包中,我有一个包含大约120000条
记录
的
源
表和一个没有缓存
模式
的查找
转换
,还有一个
目标
表。我正在
将
数据
从
与
目标
不匹配的
源
传递到同一
目标
table.When中。执行包时,我可以看到,一次只有9000条
记录
移动到lookup.once插入到
目标
中,其他9000条
记录
移动到查找并执行on.What是只有9000条
记录
的原因?我尝试
将</
浏览 0
提问于2012-06-01
得票数 2
回答已采纳
1
回答
将
SQL Server迁
移到
新的AWS Aurora DB
sql-server
、
amazon-web-services
、
migration
、
amazon-aurora
我们正在
将
现有的本地SQL Server数据库迁
移到
cloud.We中的AWS Aurora数据库,刚刚在RDS实例中构建了
目标
Aurora DB。它没有表,完全empty.In
模式
转换
工具,我已经连接
源
SQL server数据库和
目标
AWS Aurora DB。此时,如果我
从
SQL Server迁
移到
空Aurora DB。SCT和DMS应该将我的整个SQL server数据库迁
移到
AWS Aurora,对吗?或者,
浏览 72
提问于2019-03-22
得票数 1
回答已采纳
1
回答
从命令行编辑配置文件中的SSIS连接
ssis
、
sql-server-2008-r2
、
oracle11g
、
database-migration
我
使用
Server导出向导实用程序生成了一个SSIS。如果是这样的话,哪些是“关键字”以确
浏览 2
提问于2013-03-06
得票数 0
回答已采纳
3
回答
类型json aws dms postgres的输入语法无效
postgresql
、
aws-dms
我正在运行一个任务,它将所有数据
从
postgres 10.4迁
移到
RDS postgres 10.4。无法迁移具有jsonb列的表。DataErrorEscalationPolicy":"SUSPEND_TABLE","DataErrorEscalationCount":1000,难道DMS不支持JSONB列,这就是为什么我们得到错误以下的原因吗?
浏览 17
提问于2020-09-01
得票数 6
回答已采纳
1
回答
是否可以
使用
AWS DMS
将
SQL server数据库迁
移到
其他云mysql?
sql-server
、
amazon-web-services
、
mysqli
、
aws-dms
AWS DMS在数据库migration.So中有
模式
转换
工具和其他高级功能。是否可以
使用
AWS DMS
将
虚拟机中的SQL server数据库迁
移到
其他云的mysql(由于业务原因)?或者
目标
数据库应该在AWS RDS中?
源
数据大小接近60 do,表接近300。请提供建议
浏览 2
提问于2018-10-21
得票数 0
1
回答
跨不同
模式
的
记录
的DB2复制
db2
、
replication
、
database-replication
我们希望
将
数据
从
T1从一个数据库复制到另一个数据库。在复制时,我们还希望应用特定的
转换
,以便
源
表中的5列可以映射到
目标
表中的3列。谢谢,Yash
浏览 0
提问于2013-11-27
得票数 0
1
回答
如何连接到报表中的两个活动数据集?
powerbi
我有一个Power报告,它允许我
使用
导入
模式
、直接查询
模式
、实时连接( dataset)
模式
获取数据。此外,最近的特性允许我
将
活动连接
模式
转换
为直接查询
模式
,这样我就可以
将
活动连接数据集与更多数据
源
结合起来。 我的
目标
是在直接查询
模式
下将我的报表连接到2个活动数据集。但是,我只能在直接查询
模式
下连接到1个活动数据集,然后
从
其他
源
浏览 4
提问于2022-11-02
得票数 0
回答已采纳
1
回答
液化基返回DiffChangeLog的假阳性结果
postgresql
、
liquibase
我
将
PostgreSQL 9.6
从
on
移到
RDS Aurora PostgreSQL 11.4.
将
Liquibase与DiffChangeLog结合
使用
会产生假阳性结果,如: 当约束存在于
源
上时,
从
目标
中删除它们。在源代码和
目标
中存在相同的源代码时创建视
浏览 4
提问于2020-05-13
得票数 0
2
回答
SSIS - ole db
源
/
目标
-仅从存在于表
目标
服务器中的
源
服务器检索行。
sql
、
sql-server
、
ssis
、
etl
我正在
将
9,000万行
从
源
服务器传输到
目标
服务器上的暂存区域。
从
暂存区,我通过在
目标
服务器上的一个表中执行存在一个WHERE ID的操作,在ETL进程的更远的地方传输2000万。由于表不存在于
源
服务器上,而仅存在于
目标
服务器中。当我直接
从
源
服务器提取行时(所以我只将2000万行
从
源
服务器传输到
目标
服务器),是否可以进行筛选?
浏览 5
提问于2020-04-06
得票数 1
回答已采纳
1
回答
SSIS数据迁移主键标识冲突
sql
、
ssis
、
data-migration
我们已经开发了一个从一种DB
模式
到另一种
模式
的大型数据迁移。我们基于
目标
数据库将为空的想法构建了它,然而几个月前,我们开始
将
客户端放在新的应用程序上,这意味着它们的数据将被存放在新的
模式
(
目标
数据库)中。现在,我们所处的情况是,
从
源
数据库到
目标
数据库的主键可能会重叠,我们正在努力想出一个解决方案。我能想到的唯一解决方案是检查
目标
中是否存在该ID,
将
源
中的ID更新为比
目标</
浏览 0
提问于2011-01-14
得票数 1
回答已采纳
1
回答
Cassandra/Parquet联合RDD
cassandra
、
apache-spark
我刚刚开始
使用
火花- cassandra连接器,并遇到了以下问题:我有一个部分在cassandra中的数据集,部分在HDFS(相同的
模式
)中。DataFrame cassandraDF = sqlContext.applySchema(cassandraRDD,df.schema());我正在用Spark1.3.1和卡桑德拉-火花的主分支的构建来尝试这一点。
浏览 1
提问于2015-05-26
得票数 0
回答已采纳
1
回答
在oracle和mysql之间传输数据
mysql
、
oracle
、
symmetricds
我想通过SymmetricDS在oracle和mysql之间传输数据。两者具有相同的表名但不同的列名。Oracle表结构,如(product_id number,product_name varchar2(240));om_productp_code varchar(12),我通过Transform_table和transform_columns尝试过。但不能达到目的。有人能帮我吗。
浏览 5
提问于2019-12-04
得票数 0
1
回答
AWS数据迁移服务(DMS)不移动标识、外键、默认值、索引
amazon-web-services
、
sql-server-2014
我能够
使用
DMS克隆我的Server数据库。它与数据一起复制聚集索引、主键定义等。 但是,它没有移动/复制其他约束(标识、外键定义、默认值)或任何索引。
浏览 3
提问于2016-04-15
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Full Convert Enterprise 18.04.1436
Git 迁离 SHA-1,迁移到 SHA-265
NoSQL为什么需要模式自由的ETL工具?
过去一年,Spotify最大一次数据流优化实践
慧敏应用交付网关负载均衡工作模式分析
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券