为了下次能快速上手，避免重复犯错，我将python使用过程中的一些问题在这篇博文中记录小结一下，主要内容涉及到python操作mysql数据库，python发送http请求，解析txt文本，解析JSON...字符串，crontab执行python脚本，等等。...有些模块需要下载对应的压缩包，解压后进入包下，找到setup.py，执行 python#{版本号} setup.py install 进行安装 python的脚本文件里面，可以导入其他脚本文件...2、连接mysql数据库 需要指定数据库服务器地址ip、数据库用户名和秘密、需访问的数据库名以及默认字符编码。...代码示例： 这次写的的代码如下： 一、读取txt文件 #!
前几天在偶然的情况下,获得了一个18G的txt文件,现在需要导入到数据库中,那么该怎么导入才能保证高效并且稳定呢?...mysql插入效率 首先应该知道的就是mysql的插入效率跟下面几个点有关 1:mysql数据库引擎,myisam,innodb,甚至是memory的插入效率都是不一样 2:索引,索引也会导致插入效率变慢...3:唯一索引冲突,在插入mysql数据库时,如果有相同数据,将会报错,降低插入效率 4:mysql硬盘,机械硬盘跟固态硬盘的插入效率也是不一样的 5:导入方法,单线程多线程等 6:mysql配置项,各种缓存区大小配置...` bigint(20) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=MyISAM DEFAULT CHARSET=utf8; 2者都通过 Navicat txt
，相信各位脚本黑客爱好者都已经非常期待了。...不管你以前是否有计算机脚本语言的基础只要你跟着我的思路一直学习下去，相信你一定会有很大的收获。要成为一名脚本方面的黑客高手也不是那么简单的，所以大家还要做好吃苦耐劳的心里准备。...要学习脚本黑客技术的第一步就是要懂Web服务器，因为我们的脚本系统都是在Web服务器上运行，这是脚本的基础。...图1-9 Oiffice 2003的启动安装界面 启动安装向导后，就会进入安装界面，不过在安装之前要求我们输入验证码，在光盘的下有一个CD-KEY.TXT的文件，把它复制到上面去就可以了，如图1-10...“默认语言”表示在进行ASP编程的时候，默认的脚本语言是VBScript。
，所以存储之前，我们需要先连接上数据库，这里我使用的是sqlalchemy+pymysql链接mysql数据库，代码如下： # 链接数据库 def link_mysql(user, password,...%(t2-t1)) 最后我们写一个汇总函数即可，就是在这里将上面的逻辑串联起来： # 文本文件存储到mysql def txt_to_sql(filepath, user='root', password...： # 从数据库读取数据 def read_mysql(user='root', password='Zjh!...3.2 使用方法 下载本项目代码：https://github.com/XksA-me/txt-to-mysql 解压后打开文件：python-Jonny，本文件内包含了所有python代码+测试数据+...环境+windows bat运行文件，其他文件为@ 用Java写的txt to mysql方法和相关配置文件， 原项目地址：https://github.com/schatz0-0/txt-to-mysql
# 1.安装脚本 #!...$user/mysql/ /usr/local/mysql mv /usr/bin/mysql /usr/bin/mysql.bk$(date '+%Y%m%d%H%M%S') &> /dev/...-u${mysql_user} -p"${mysql_passwd}" -e "${create_db_sql0}" 2>/dev/null mysql -u${mysql_user} -p"...${mysql_passwd}" -e "${create_db_sql1}" 2>/dev/null mysql -u${mysql_user} -p"${mysql_passwd}" -e...-u${mysql_user} -p"${mysql_passwd}" /dev/null echo "--------------------
/mysql/bin/mysql -h${hostip} -P${port} -u${user} -p${passwd} -e "$cmd1"| grep ':' | grep -v 'Variable_name.../mysql/bin/mysql -h${hostip} -P${port} -u${user} -p${passwd} -e "$cmd5"| grep ':' | grep -A1 'log_error..._$(date +%Y_%m_%d).log /home/mysql/mysql/bin/mysql -h${hostip} -P${port} -u${user} -p${passwd} -e "$.../mysql/mysql/bin/mysql -h${hostip} -P${port} -u${user} -p${passwd} -e "$cmd4" | grep -Po '(?...:.*)') Slave_SQL_Running_S=$(/home/mysql/mysql/bin/mysql -h${hostip} -P${port} -u${user} -p${passwd}
/bin/bash # 以下配置信息请自己修改 mysql_user="root" #MySQL备份用户 mysql_password="summer123" #MySQL备份用户的密码 mysql_host...#欢迎语 # 判断MYSQL是否启动,mysql没有启动则备份退出 mysql_ps=`ps -ef |grep mysql |wc -l` mysql_listen=`netstat -an |grep...LISTEN |grep $mysql_port|wc -l` if [ [$mysql_ps == 0] -o [$mysql_listen == 0] ]; then echo "ERROR:MySQL...exit else echo $welcome_msg fi # 连接到mysql数据库，无法连接则备份退出 mysql -h$mysql_host -P$mysql_port -u$mysql_user...`mkdir -p $backup_dir` `/home/summer/mysql/bin/mysqldump -h$mysql_host -P$mysql_port -u$mysql_user -p
常用功能脚本 1.导出整个数据库 mysqldump -u 用户名 -p –default-character-set=latin1 数据库名 > 导出的文件名(数据库默认编码是latin1) mysqldump...数据库控制台，如mysql -u root -p mysql>use 数据库 然后使用source命令，后面参数为脚本文件(如这里用到的.sql) mysql>source wcnc_db.sql...p -D dbname < filename.sql 启动与退出 1、进入MySQL： 启动MySQL Command Line Client（MySQL的DOS界面），直接输入安装时的密码即可。...M”); 8、用文本方式将数据装入数据库表中 （例如D:/mysql.txt） mysql> LOAD DATA LOCAL INFILE “D:/mysql.txt”INTO TABLE MYTABLE...; 9、导入.sql文件命令 （例如D:/mysql.sql） mysql>use database; mysql>source d:/mysql.sql; 10、删除表 mysql>
/bin/sh #设置用户、密码和主机IP username=用户名 password=密码 hostip=localhost dblists=`/usr/local/mysql/bin.../mysql -u$username -p$password -h$hostip -e"SHOW DATABASES;"` denylists=(Database mysql test information_schema.../bin/mysql -u$username -p$password -h$hostip $dbname -e"SHOW MASTER STATUS;" >>$LogFile #开始备份数据库.../usr/local/mysql/bin/mysqldump -u$username -p$password -h$hostip $dbname -e --max_allowed_packet=10485760...--net_buffer_length=163840 | gzip>$backupdir echo " " >> $LogFile /usr/local/mysql/bin/mysql -u$
案例需求 写一个mysql binlog备份脚本，要求每天0点0分，计算机自动备份前一天的binlog日志，打包后发送给备份服务器。...脚本应用场景： 文件备份 解决问题 日常文件备份 日常数据备份 脚本思路 1、确定binlog的位置及备份时间间隔 每天 当前要备份的binlog是谁 ...='/var/lib/mysql' current_binlog=`mysql -u $db_user -e "show master status"|egrep "binlog....-d `date +%F` ]&&mkdir `date +%F` mv `date +%F`_binlog.tar.gz `date +%F` mv `date +%F`_md5sum.txt `date..."cd /opt/backup`date +%F`" ssh root@192.168.11.241 "cd /opt/`date +%F`;md5sum -c `date +%F`_md5sum.txt
：/usr/bin(mysqladmin mysqldump等命令) 和/usr/sbin 启动脚本：/etc/init.d/mysql（启动脚本文件mysql的目录） 可以通过进入上述相关目录查看，例如...1.3 服务管理 启动MySQL：sudo service mysql start 进入MySQL：mysql -uroot -p ?.../gps1.txt" into table loadTable fields terminated by ',' lines terminated by "\n" (carflag, touchevent.../gps1.txt', 'r') as fp: for line in fp: line = line.split(',')...3.分析两种插入方式 两者异同比较 相同点 不同点 两者都是通过读取本地txt文件，按照相同的分隔来读取进行插入。 程序插入法实质为insert语句间接执行。
环境描述 系统版本: CentOS 7.2 amd64 mysql版本: MySql-5.6.25 脚本依赖: 需要联网 yum 安装 cmake、gcc 等工具。 1....sync_binlog = 1 expire_logs_days = 15 [mysqldump] quick max_allowed_packet = 32M 操作步骤 ---- 1. shell脚本...# 使用脚本完成，mysql 编译、配置、安装步骤。...执行脚本 bash mysql-server.sh # 耐心等待， 笔者2cpu/4GB虚拟机编译时间大约20分钟左右。 3. 启动服务 /etc/init.d/mysqld start 4....验证 mysql mysql -u root -p Enter password: Welcome to the MySQL monitor.
/bin/sh #mysql_backup begintime=`date +"%Y-%m-%d_%H-%M-%S"` format_time=`date +"%Y-%m-%d_%H-%M-%S"` tar_time...=`date +%F --date="-1 day"` currentHour=$(date +%H) port=3306 backdir=/data/backup tardir='/data/mysql_backup...' file_cnf=/etc/my.cnf user_name=root passwd='123456' sock=/data/mysqldata/mysql.sock out_log=$backdir.../xtraback_log_$format_time time_cost=$backdir/xtraback_time.txt #判断数据备份的压缩目录是否存在 if [ !...backdir else #判断昨日是否备份，有则打包压缩后删除之前备份的目录 if [ -d "$backdir/rec2" ];then tar zcf ${tardir}/mysql_bckup
创建一个脚本dbbackup.sh然后内容如下： #!...data date=`date -I`; #取出当前的日期 /opt/lampp/bin/mysqldump -u用户名 -p密码 数据库> 备份文件名前缀_$date.sql; #导出数据库为sql脚本.../bin/tar zcvhf 备份文件名前缀_$date.tar.gz 备份文件名前缀_$date.sql; #压缩sql脚本 rm 备份文件名前缀_$date.sql #删除sql文件 现在我们将这个脚本添加到定时任务中去
数据同步脚本 1 mysqldump -h[remoteHost] -u[username] -p[password] -P[port] --databases [databasename1] [databasename2...] > DB_MKT_2020-06-29.sql 2 echo "备份完成"; 3 mysql -u[root] -p[123456] -h[localhost] < DB_MKT_2020-06-29...'QRTZ_FIRED_TRIGGERS', Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event's master log mysql_bin
1、分库备份 !/bin/bash image.png 2、分库分表备份 !/bin/sh image.png [ ! -d $MYDIR ] && mkd...
1、 !/bin/bash image.png 2、 !/bin/bash image.png 3、 📷 image.png 4、 📷 image.png
/bin/bash #by azura #About database backup #URL https://www.mxsina.com DBCMD=/usr/local/mysql/bin/mysqldump
/bin/sh #mysql_backup begintime=`date +"%Y-%m-%d_%H-%M-%S"` format_time=`date +"%Y-%m-%d_%H-%M-%S"...`date +%F --date="-1 day"` currentHour=$(date +%H) port=3306 backdir=/data/backup tardir='/data/mysql_backup...' file_cnf=/etc/my.cnf user_name=root passwd='123456' sock=/data/mysqldata/mysql.sock out_log=$backdir.../xtraback_log_$format_time time_cost=$backdir/xtraback_time.txt #判断数据备份的压缩目录是否存在 if [ !...backdir else #判断昨日是否备份，有则打包压缩后删除之前备份的目录 if [ -d "$backdir/rec2" ];then tar zcf ${tardir}/mysql_bckup
今天简单的写了个python的mysql备份脚本，其实也不是很难呀。比shell简洁了很多！ 开整： 注释都用英文写了，有些英语基础的朋友应该都可以看得懂了！ #!... 'root' #mysqlbackup password Password = 'root' #mysqlbackup command Mysqlcommand = '/usr/local/mysql.../bin/mysqldump' #gzip command Gzipcommand = '/bin/gzip' #backup mysql database Mysqldata = ['gtshop...'sucessful gzip gtshop' else: print 'gzip failed' 执行结果： [root@localhost script]# python mysql_backup.py
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
