首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

使用shell分页读取600万+的MySQL数据脚本

shell-mysql (1)脚本背景: 由于要在Linux上,远程读取mysql的表的数据,然后做一定清洗后,把数据上传至Hadoop集群中,使用Java写吧,感觉太麻烦了,得在Win上开发好,还得打成...jar包, 上传到Linux上,如果那里出了问题,还得重复这样,非常不方便,那就用shell写一个吧,也不需要什么jdbc驱动包,只需要在Linux上装个MySQL的 客户端即可,用一行yum命令即可搞定...,所以就花了点时间,封装了一个小脚本 (2)功能介绍: 直接在Linux下使用shell脚本远程分页读取MySQL表的数据的一个小脚本,已测过读取600万+的数据 效率与jdbc相差无几 (3...=10000 #计算总共的分页数 totalPage=0; #判断总数量,求模是否等于0,等于0,就是相除多少页 temp=` echo "$count%$pageSize" | bc `...totalPage=`echo "$count/$pageSize+1" | bc` fi echo "总数量:$count 每页读取数量:$pageSize 分页数量:$totalPage

1.9K50
领券