海量数据迁移之使用shell启用多个动态并行(r2笔记81天)

在数据迁移中，可能有成百上千个表，有些表很大，有些表又很小。
如果启用了多个并行的进程，可能会有资源分配上的问题。
比如下面有10个表，100代表预计的时间为100分钟。
table1   100
table2  90
table3  90
table4  80
table5  80
table6   70
table7  60
table8  60
table9  50
table10  40

如果分为4个进程来并行执行，可能一种比较理想的方案就是
parallel1: table1,table8
parallel2:  table2,table5,table9
parallel3: table3,table6,table9
parallel4:  table4,table7

但是在实际的执行中，可能因为表的分区，表的数据类型，表的存储的不同，可能实际的执行时间会有很大的差别，
可能paralle2，3，4已经执行完了，而parallel1还没有执行完50%。
这样,table8就一直pending在那了。

在这样的情况下，可以考虑使用动态并行，就是能够在后台启用一些并行的进程，比如需要4个并行进程，就使用nohup启用4个并行的进程。
不做具体的数据操作。

parfile=par2_tab_parall.lst
logfile=`echo  $parfile|awk -F. '{print $1}`".log"
while true
do
if [ -f $parfile  ]
then
   tab_exists_flag=`cat $parfile |wc -l`
   if [  ${tab_exists_flag} -eq 0 ]
     then
      sleep 5;
   elif [  ${tab_exists_flag} -gt 0 ]
     then
     tab_name=`cat $parfile`
 ksh appendata.sh $tab_name >>  $logfile 
     touch ${parfile}.tmp
     mv ${parfile}.tmp  ${parfile} 
    fi
fi
done

echo $1
sqlplus -s  n1/n1 <<EOF
set time on 
set timin  on
set pages 0
select 'insert into '||'$1;' from dual;
select 'commit;' from dual;
EOF
if [ $? -eq 0 ]
then
echo ''  >parallel1.lst
fi