使用shell分页读取600万+的MySQL数据脚本

shell-mysql （1）脚本背景: 由于要在Linux上，远程读取mysql的表的数据，然后做一定清洗后，把数据上传至Hadoop集群中，使用Java写吧，感觉太麻烦了，得在Win上开发好，还得打成jar包， 上传到Linux上，如果那里出了问题，还得重复这样，非常不方便，那就用shell写一个吧，也不需要什么jdbc驱动包，只需要在Linux上装个MySQL的 客户端即可，用一行yum命令即可搞定，所以就花了点时间，封装了一个小脚本 （2）功能介绍: 直接在Linux下使用shell脚本远程分页读取MySQL表的数据的一个小脚本，已测过读取600万+的数据 效率与jdbc相差无几 （3）脚本介绍: 主要有三个脚本构成 1，page.sh 这是一主脚本，里面定义了分页的条件，大家看下便知 2，f.sh 一个小包装的脚本吧，里面会用sed去掉表头一些信息 3，port.sh 分页读取数据的执行脚本 （4）如何使用？ 使用非常简单，需要改下page.sh里面的查询字段，以及分页查询的数量，默认是10000，然后执行sh page.sh databaseName tableName传入数据库名和表名即可 Github项目地址

Shell代码

1. #第一个参数表名
2. #第二个参数是start
3. #第三个参数是offset
4. #分页读取数据后，删除第一行表头，并写入一个文件中，文件名与表名一样
5. sh port.sh $1 $2 $3 | sed '1d' >> tables/$1
7. #删除无用的html字符
8. #sed -i 's/<[^>]*>//g;/^$/d' tables/$1
9. #删除无用的一些特殊符号
10. #sed -i 's/[a-zA-Z\.():;><-]//g' tables/$1

Shell代码

1. #登陆mysql，负责查询某个表数据总量
2. MYSQL=`which mysql`
3. count=`$MYSQL -hmysqlhost --default-character-set=utf8 -P3306 -uname -ppwd <<EOF
4. use $1;
5. select count(1) from $2 ;
6. EOF`
8. #得到某一个表的总数量
9. count=`echo "$count" | sed '1d' `
10. #定义一个每页读取的最大数量
11. pageSize=10000
12. #计算总共的分页数
13. totalPage=0;
14. #判断总数量，求模是否等于0，等于0，就是相除多少页
15. temp=` echo "$count%$pageSize" | bc `
16. if [ 0 -eq $temp ] ;then
17. totalPage=`echo "$count/$pageSize" | bc`
18. else
19. #否则，就是相除后+1，作为总的分页数
20. totalPage=`echo "$count/$pageSize+1" | bc`
21. fi
23. echo "总数量：$count 每页读取数量：$pageSize 分页数量：$totalPage"
25. #把总页数减一，方便分页处理，因为后面咱的下标从0开始
26. totalPage=`echo "$totalPage-1" | bc `
27. #echo "处理后：$totalPage"
29. #for循环遍历总页数
30. for page in `seq 0 $totalPage`
31. do
32. #计算每页的偏移量
33. offset=`echo "$page*$pageSize" | bc `
34. echo "当前处理到第$page页,分页信息： limit $offset $pageSize "
35. ###第一个参数表名
36. ###第二个参数偏移量
37. ###第三个参数每页读取数据
38. #调用f.sh获取数据
39. sh f.sh $1 $offset $pageSize
40. done
44. #sed -i 's/<[^>]*>//g;/^$/d' tables/$1
46. #sed -i 's/[a-zA-Z\.():;><-]//g' tables/$1

Shell代码

1. #连接mysql
2. # -h主机地址 -u用户名 -p密码
4. #下面的语句，是登陆到数据库后，使用某个数据库，然后根据条件查询表
5. MYSQL=`which mysql`
7. $MYSQL -hmysqlhost --default-character-set=utf8 -P3306 -uname -ppwd <<EOF
10. use db_conform;
13. select concat_ws('#',ifNull(id,''),ifNULL(title,''),ifNULL(replace(replace(replace(content ,'\n','' ), '\r' , '' ),'#','' ) ,''),ifNULL(doc_no,'')) from $1 limit $2 , $3 ;
18. EOF
22. #echo $query