控制数据加载速度

最近更新时间:2025-01-20 16:21:32

我的收藏

操作场景

在进行数据全量加载的时候,会对 TDSQL-C MySQL 版的读写实例造成一定的资源开销,特别是在数据量较大的集群中做一次性的数据加载时,此操作针对一些资源比较紧张的实例,在一定程度上会影响读写实例的性能稳定性。可通过如下几种方式去控制在数据加载过程中对 TDSQL-C MySQL 版读写实例的影响,降低对源端的资源消耗。但是此类操作会导致数据从行存加载为列式存储的效率降低,所以请根据业务实际情况进行调整。

前提条件

准备好实例形态为预置资源的集群,请参见 创建集群
集群状态为运行中。

控制数据加载速度

调整全量数据加载场景下,单表数据读出并发数量
通过调整参数功能,修改 replication_dumper_select_parallel 参数。此参数代表同时可对同一个对象进行数据读出的并发度。此值越大,对表的数据读取范围更大,在资源充足场景下,加载效率则会更高。如果资源不足,建议将此值设置得更小。操作请参见 设置实例参数
调整全量数据加载场景下,单表数据读出行数
通过调整参数功能,修改 replication_dumper_chunk_size 参数。此参数代表每一次对同一个对象进行数据单次读出的数据行数。此值越大,代表每一次读出的数据越多。在资源充足场景下,加载效率则会越高。如果资源不足,建议将此值设置得更小。操作请参见 设置实例参数
调整全量数据加载场景下,总的数据读出并发
通过调整参数功能,修改 replication_dumper_table_parallel 参数。此参数代表同时可对多少张表同时进行数据读出,此值越大,同时可读出数据的表数量越多,在资源充足的情况下,数据加载的效率就更快。操作请参见 设置实例参数