首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python从mysql 数据库1迁移到数据库2(中间转化为dataframe),分批次写入

python从mysql 数据库1迁移到数据库2(中间转化为dataframe),分批次写入

作者头像
学到老
发布2019-01-25 14:01:49
1.3K0
发布2019-01-25 14:01:49
举报

python从mysql 数据库1迁移到数据库2(中间转化为dataframe),分批次写入 obj:从mysql 数据库1迁移到mysql 数据库2(中间转化为dataframe) mysql 写入数据存在两种形式,create_engine速度快些 ,但批量数据时需要分批次写入数据某则报错

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
"""
obj:从mysql 数据库1迁移到mysql 数据库2(中间转化为dataframe)
mysql 写入数据存在两种形式,create_engine速度快些 ,但批量数据时需要分批次写入数据某则报错

"""
import csv
import pymysql
import pandas as pd
from sqlalchemy import create_engine
#连接数据库
conn=pymysql.connect(
             host='127.0.0.1',
             port=3306,
             user='root',
             passwd='xxxxx',
             db='kmind',
             charset='utf8'
         )
sqldb="select * from  form_mongodb_sql_jd_list_final_mid_02"
pd_data=pd.read_sql(sqldb,conn)
#ser-sql
conn.close()
engine = create_engine('mysql+mysqlconnector://root:xxxxx@192.168.1.xxxx:3306/数据库',echo=False)

#数据分批次写入
a_int=len(pd_data)//100
b_remainder=len(pd_data)%100
for i  in range(a_int):
    # print(pd_data[i:i+1])
    print('{}---{}'.format(i*100,(i+1)*100))
    pd.io.sql.to_sql(pd_data[i*100:(i+1)*100],'pd_data2', engine,  if_exists='append')
print('{}---{}'.format((i+1)*100,(i+1)*100+b_remainder))
pd.io.sql.to_sql(pd_data[(i+1)*100:(i+1)*100+b_remainder],'pd_data2', engine,  if_exists='append')
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018年04月25日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
云数据库 SQL Server
腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档