使用shell脚本批量插入数据到MySQL中
使用shell脚本批量插入数据到MySQL中
经常会踫到这样的场景需求：批量向MySQL数据库插入数据，显然手工INSERT成千上万条数据是不现实的，所以自己写了这个shell脚本来处理。
1 具体需求
shell脚本批量插入10万条数据到MySQL中，其中对应表唯一索引是用户uid。因此在程序循环1万次数时，每次都使uid自增1就行了。
2 脚本代码
鉴于数据量比较大，我们的shell脚本需要考虑MySQL执行INSERT的效率，所以采用了对次数取模拼接多个VALUES的值来实现。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 | #!/bin/bash
# FileName: batchinsertmysqlshell1.sh
# Description: 使用shell脚本批量插入数据到MySQL中
# Simple Usage: sh batchinsertmysqlshell1.sh
# (c) 2020.04.15 vfhky https://typecodes.com/linux/batchinsertmysqlshell1.html
# https://github.com/vfhky/shell-tools/blob/master/mysql/batchinsertmysqlshell1.sh
# mysql db name.
db_name="gamedata"
# mysql table name.
table_name="test_user_skin"
beginTime=$(date "+%Y-%m-%d %H:%M:%S")
echo "==== ${beginTime} ===="
# logic begin.
index=0
# uid in 3000000,4999999.
for uid in {3000000..4999999}
do
if |
|---|
3 脚本管理
目前已经把这个脚本放在Github了，地址是https://github.com/vfhky/shell-tools，以后脚本的更新或者更多好用的脚本也都会加入到这个工程中。