1回答
mysql读取->进程->更新，为海量数据优化
python、mysql、optimization、distributed-computing
从mysql ->读取数据，执行一些操作(不太重) ->，然后将返回结果更新到mysql中。数据库中有20个不同的表(每个表大约有600000行)。我已经用ThreadPoolExecutor(max_workers=20)编写了一个python脚本来优化整个执行时间，但是它需要大约40个小时。我想为下一轮优化它。简约主义的代码ThreadPoolExecutor(max_workers=20)
按元组读取数据和处理元组，如
浏览 0提问于2018-02-24得票数 0
1回答
MySQL提交触发器已完成
python、mysql
我有MySQL数据库，在那里我正在加载大文件，其中插入超过19万行。我使用python脚本，它正在做一些事情，然后将数据从csv文件加载到mysql、执行、查询和提交中。我的问题是，如果我发送这么大的文件，数据库在提交命令之后准备好了吗?或者当所有数据都插入到数据库中时，如何触发？
浏览 3提问于2017-10-14得票数 0
回答已采纳
1回答
将Python字典与MySQL表连接起来
python、mysql、sql
有没有一种方法可以执行一个SQL查询，将一个MySQL表与一个不在数据库中但在查询中提供的类似字典的结构连接起来？所以，我有一个字典: exchange_rates = {'EUR'：1.10，'GBP'：1.31，...}。这将消除在Python中进行后处理的需要。
浏览 12提问于2016-07-23得票数 3
回答已采纳
1回答
大容量插入mysql，但来自对象数组
node.js、node-mysql
我已经调查了这个 RowDataPacket { user_id: 1028, session_id: 3, notification_id: 2 } ] ]
在插入之后
浏览 22提问于2016-09-19得票数 0
1回答
为什么MyISAM是由InnoDB引起的这个问题的修复？
mysql、innodb、myisam
我在我的Python on MySQL应用程序中遇到了一个非常奇怪的bug。下面的代码在一个被多次调用的循环中。代码既没有引发错误，也没有插入任何数据： cursor.execute(""" """)
另一个奇怪的症状是，稍后使用phpMyAdmin将数据插入到同
浏览 0提问于2011-05-29得票数 3
回答已采纳
1回答
基于数据融合的带参数增量管道
google-cloud-platform、google-bigquery、google-cloud-data-fusion
是否可以从Big Query中的表中创建参数，在本例中是最大ID (最后插入的行)，以便使用数据融合作为增量管道的起始点？我对管道使用数据融合，它从MySQL数据库中提取数据并插入大查询表中，但我想从MySQL中提取增量数据，使用当前来自大查询表的最大ID作为起点，这意味着只从MySQL中从ID大于大查询中的最大ID的行中提取数据
浏览 5提问于2022-05-09得票数 0
1回答
如何使用python向mysql大容量插入数据
python、mysql、sqlalchemy、bulkinsert
目前我正在使用Alchemy作为ORM，我正在寻找一种方法来加速我的插入操作，我有一堆XML文件要导入 p=Product() session.commit()for name in names:
p=Product
浏览 0提问于2010-10-06得票数 0
回答已采纳
1回答
高效地将数据结构添加到数据库
python、mysql、python-2.7
如何快速将此结构添加到mysql表(具有相同的列。姓名)？大约有15,000条类似的记录，twitch在这里不能与某些记录一起设置，所有其他记录都在所有记录中。我使用的是python 2.7.9和MySQL 5.5+>>>[ u'account': { ]CREATE TABLE
浏览 0提问于2015-02-11得票数 0
1回答
将数据从TADOTable批量移动到MySQL TMyTable
delphi、data-migration、devart
我正在尝试导入一个表从一个旧的数据库(MS Access)到MySQL服务器使用CRBatchMove使用Delphi2007。该程序通过ODBC连接从遗留数据库获取数据，并使用TADOTable.SaveToFile()将其存储在本地硬盘驱动器上。程序的第二部分将该文件读取到另一个TADOTable中，并使用TCRBatchMove将其传输到MySQL服务器(通过DevArt的TMyTable)。服务器在本地的开发机器(i7-2.8 the )上运行，另外数据库也非常快)。为什么批量移
浏览 1提问于2012-12-19得票数 0
回答已采纳
1回答
压缩大型文本数据以便与PHP应用程序一起使用
mysql、sql
varchar(255) DEFAULT NULL数据库的总容量为100 GB是这个项目的大数据大小。事实上，10 GB - 20 GB将是很棒的。
a-)在将文本数据存储在mysql中之前，是否有一种压缩文本数据的方法？我想把它做成20 GB的 b-)我愿意将数据存储到一个文件中。如果文件存储使我的数据大小达到
浏览 2提问于2012-09-21得票数 0
回答已采纳
4回答
当插入到MySQL表中时，∞被转换为-ˆž
php、javascript、mysql、utf-8、encodeuricomponent
当通过PHP脚本将无穷大(∞)符号插入到我的MySQL表中时，它会被转换为∞，但是如果我直接从phpMyAdmin插入它，它就会正确地插入。MySQL数据库中的字段为utf8_swedish_cl。如何让∞作为∞插入到数据库中？
浏览 5提问于2010-01-15得票数 3
回答已采纳
3回答
MongoDB比MySQL快吗？
python、mysql、mongodb
几个月前，我发现了mongodb，在阅读了这个之后，我认为mongodb确实比mysql更快，所以我决定构建自己的工作台，问题是我的结果与上面文章的作者没有相同的结果，特别是在查询数据库方面: mongodb您能看看我的python代码吗，可能它有什么问题：import randomimport pymongomysql_db=MySQLdb.connect(user="me",passwd="myp
浏览 9提问于2011-09-21得票数 9
1回答
如果android手机存储空间不足，无法在Sqlite中插入更多数据，该怎么办？
android、android-sqlite、local-storage
我有2个数据库，一个Sqlite数据库，这是本地存储在android设备和Mysql数据库，这是在线数据库，用户插入数据到Sqlite数据库，然后通过同步过程发送到Mysql数据库，我的问题是，如果Sqlite数据库变得非常满我的意思是，如果手机变得非常低的存储空间，用户将无法插入数据到Sqlite，Mysql数据库有无限的存储
浏览 2提问于2017-12-24得票数 0
1回答
无法在Google上插入数据，但UID字段仍在自动递增
python、mysql、google-cloud-sql
我在上遇到了前所未有的MySQL行为。但这是不寻常的部分。即使Python脚本无法插入数据，对于每个空的和失败的insert，UID自动增量字段也会增加。例如，如果Pyt
浏览 1提问于2015-01-18得票数 1
回答已采纳
2回答
使用ActiveRecord的PostgreSQL大容量插入
postgresql、activerecord
我有很多来自MySQL的记录。我对数据进行了修改，以便使用ActiveRecord将其成功插入到PostgreSQL中。我可以很容易地做到这一点，以行为基础的插入，即一次一行。这非常慢，我想进行大容量插入，但如果任何行包含无效数据，则此操作将失败。有没有什么办法可以实现大容量插入，并且只有无效的行会失败，而不是整个大容量？
浏览 1提问于2013-06-07得票数 1
3回答
使用python加快从txt文件插入大型数据集到mySQL的速度
python、mysql、large-data
背景：我有500个格式化的*.txt文件，需要插入到mysql数据库中。目前，我有一个python脚本可以逐行读取文件并插入到mySQL数据库中。问题：文件相当大(每个txt文件大约有100米)，我测试了脚本，而且只向数据库插入一个文件需要太长时间。
如何通过修改脚本来加快进程？
浏览 7提问于2014-03-19得票数 2
回答已采纳
1回答
Python MySQL:不显示插入的记录
python、mysql、insert
我使用的是32位MySQLdb的Python2.7，以及本地运行的MySQL 5.5.8。db=MySQLdb.connect(host="localhost",user="root", passwd="mypassword",奇怪的是:从MySQL查询浏览器(图形用户界面工具)和通过CMD从MySQL
浏览 0提问于2012-04-04得票数 10
回答已采纳
1回答
使用python读取远程文本文件
python、python-3.x、postgresql
我有一个场景，我需要读取远程服务器中的文本文件，并将读取的数据写入另一台服务器。任何线索都会有很大帮助。db=conf.get(source_host, 'db'))except mysql.connector.Erroras e:
print ("
浏览 42提问于2019-07-16得票数 1
回答已采纳
3回答
如何生成各种数据库转储
python、database、csv、mysqldump
我有一个CSV文件，并希望为sqlite、mysql、postgres、oracle和mssql生成数据转储。由于每个数据库的变化，我对自己设计SQL非常谨慎。
浏览 3提问于2010-11-08得票数 2
回答已采纳
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号