1回答
不向磁盘写入文件的MySql大容量导入
python、mysql、django
我有一个运行mysql数据库后端的django网站。我接受相当大的上传从一个管理员用户批量导入一些数据。数据的格式与其在数据库中所需的格式略有不同，因此我需要进行一些解析。我希望能够将这些数据转换为csv，并将其写入cStringIO对象，然后简单地使用mysql的批量导入命令来加载该文件。我宁愿先跳过将文件写入磁盘的过程，但我似乎找不到解决方法。我过去基本上用postgresql做过这样的事情，但不幸的是这个项目是在mysql上进行
浏览 1提问于2011-06-30得票数 0
回答已采纳
2回答
截断Microsoft Mysql Manager中的错误
mysql、sql、sql-server、csv、mysql-manager
我正在尝试将csv文件导入中的mysql数据库。总共大约有40,000条记录，我已经建立了我想要将数据输入到的数据库。第2行第20列(member_id)的Msg 4864、级别16、状态1、第1行大容量加载数据转换错误(指定代码页的类型错配或无效字符)。第11行第20列(member_id)的Msg 4864、级别16、状态1、第1行大容量加载数据转换错误(指定代码页的类型错配或无效字符)。Msg 4865、级别16、状态1、第1行无法大</
浏览 4提问于2013-10-08得票数 0
1回答
我正在使用tmysql散装加载将数据加载到mysql中，我只想知道它是否能够不声不响地拒绝记录？
目前，使用mysql大容量加载特性talend将数据加载到mysql表中。
浏览 4提问于2015-04-28得票数 0
回答已采纳
2回答
循环遍历Rails项目中的一系列DB更改
ruby-on-rails、performance
我有一个导入功能，它接受一堆xml格式的数据，并将其粘贴到我的数据库中。问题是，根据数据量的不同，处理过程可能需要相当长的时间。更新：我通读了批量插入的方法，但它对我来说似乎不是很实用，因为我有很多数据之间的关系……为了在一个表中放入100个数据，我必须设置这些数据与其他表的关系……
有没有办法解决这个问题
浏览 0提问于2010-02-09得票数 1
1回答
水槽火花流入Mysql数据库
mysql、apache-spark、flume
我有Single节点，我将使用Apache Flume -> Mysql将数据流到mysql中，我使用了->方法，但是数据插入速度越来越慢，并且在Spark中有一个队列。
浏览 6提问于2021-04-16得票数 0
1回答
用PostgreSQL向GeoKettle数据库插入行的最快方法是什么？
postgresql、csv、insert、pentaho、kettle
我将csv-文件导入宾得凯特尔，并希望将所有行写入PostgreSQL数据库。什么是最快的插入-转换？我已经尝试过正常的表输出转换和PostgreSQL大容量加载器(这比表输出快得多)。有比使用PostgreSQL大容量装载机更快的方法吗？
浏览 3提问于2018-02-08得票数 0
回答已采纳
4回答
MySQL to MS SQL Server...need对最佳方法的建议
c#、mysql、sql-server、dataset
我正在从远程MySQL服务器导入数据。我通过SSH连接连接到MySQL数据库，然后将数据提取到MS SQL Server中。需要执行一些类型检查，特别是对MS SQL DateTime的MySQL DateTime。这是一种好的方法，还是我应该考虑用一种不同的方式来做这件事？我当然可以在SQL Server中进行大容量插入，但之后我必须处理数据类型。
有什么想法？
浏览 2提问于2011-01-25得票数 0
回答已采纳
2回答
在哪里加载MEAN+Mongoose堆栈中的大容量数据？
node.js、mongodb、angularjs、express、mongoose
服务器端: Nodejs + Express + Mongoose
mongoimport -d db_name -c collection_name --jsonArray --file jsonfilename.json
第三种方法是最纯粹的，也可能是最快的，但我不知道在这么低的水平上这样做是否好。
浏览 6提问于2013-12-06得票数 3
回答已采纳
1回答
sql server索引禁用的优点是什么？
sql、sql-server、sql-server-2012
大多数人使用“索引禁用”进行批量导入/更新操作。1-删除索引->大容量导入/更新操作->创建索引第二个优势是什么？
浏览 3提问于2017-07-04得票数 0
回答已采纳
1回答
如何导入文件csv而不使用批量插入查询？
python、mysql、sql、sql-server、csv
我尝试过使用bulk导入文件csv，但是它失败了，还有另一种方法可以在查询中导入csv文件而不使用大容量插入吗？到目前为止，这是我的查询，但它使用大容量插入：
'C:\Inetpub\vhosts\topimerah.org\httpdocs\SNASPV0374280960.
浏览 0提问于2015-06-09得票数 0
回答已采纳
1回答
由于BLOB，复制数据库的创建时间太长
sql、sql-server、oracle、tsql、ssis
我正在尝试创建一个副本数据库。我使用SSIS传输了1,000,000条记录，即上面是一个OLEDB源命令(Oracle数据库)，目标是一个SQL数据库。我已经计算出传输这60,000,000行大约需要两个月的时间。rownum<1000000')) As BOF INNER JOIN GenieVRMs ) as CopyDatabase
同样，结果表明创建副本数据库需要两个月的时间
浏览 2提问于2015-11-09得票数 1
2回答
将CSV文件解析为Rails数据库
ruby-on-rails、ruby、parsing、csv
基本上，我得到了大量的交易数据，需要导入它，然后需要提供反馈，比如说平均交易量，时间等。我知道我可以用activeRecord提供给我的精彩记录来做这一切，但我想知道有没有更简单的方法来填充具有给定CSV的相当大的数据库？
浏览 1提问于2010-04-19得票数 3
回答已采纳
1回答
如何处理频繁表重构生成的大量日志记录？
sql-server、sql-server-2012、transaction-log
我们有几个表，我们经常“刷新”这些表，方法是在暂存表中重新构建它们，然后使用ALTER TABLE <source> SWITCH INTO <target>语句执行元数据切换到生产表。现在，我们只是使用SIMPLE恢复模型将这些表和操作移到一个新的数据库中，但我想听听解决这个问题的其他解决方案。
您建议我们如何处理频繁的表重构导致的大量日志生成？
浏览 0提问于2016-07-29得票数 0
回答已采纳
2回答
将csv文件中的行导入MySQL的简单方法
mysql、sql、scripting、database-administration
从本质上讲，我们需要做一个大容量导入，在MySQL中做这件事的好方法是什么，而不是编写一个自定义脚本，只发出一个SQL insert？
浏览 1提问于2011-05-31得票数 0
3回答
创建一个SQL表以导入(和转换)包含MySQL tstamp的.CSV。
mysql、sql-server、bulkinsert
我需要将其导入到SQL Server中。
来自.CSV MySQL导出的第二列(以及更多)包含tstamp字段，我需要对其进行转换。我创建了表，但大容量导入不起作用。对于第2行、第1列(tstamp)，获取了以下错误消息: Msg 4864，Level 16，State 1，Line 4大容量加载数据转换错误(类型不匹配或指定代码页的字符无效)。第3行、第1列(tstamp)的消息4864，级别16，状态1，行4大容量加载数据转换错误
浏览 2提问于2012-04-04得票数 0
5回答
跨网络批量插入
sql-server、database、import、networking、bulk
关键是数据库和我的应用程序将托管在不同的服务器上。通过网络进行大容量插入的最佳方法是什么？到目前为止，我想出了两个想法：
在app服务器上，共享db服务器可以找到的目录，并使用远程文件中的bulk insert语句进行导入。从db服务器运行FTP服务器--当执行导入时，只需将文件ftp发送到db服务器，然后使用本地文件中的大容量插入进行导入(我倾向于此选项)。其他人能告诉我是否有更好的方法来做这件事，或者如果没有
浏览 16提问于2009-01-13得票数 5
1回答
将大量数据行从Access迁移到SQL的最佳方法
c#、sql
我有几个有超过40000000行的Access数据库。我使用数据读取器读取每一行，并将每一行逐一插入到SQL数据库中。但这似乎需要数周甚至更长的时间！
有没有办法更快地进行这种迁移？
浏览 3提问于2016-06-24得票数 1
回答已采纳
1回答
寻找由MySQL ExecuteNonQuery造成的“致命错误”？
c#、.net、mysql
使用Windows 2003，MySQL 5.1.23，MySQL .NET连接器6.2.2string sql = BuildSqlCommand();ExecuteNonQuery是否存在已知的限制？文本文件大小为290 is。
浏览 3提问于2010-09-01得票数 1
回答已采纳
1回答
资源集合的API设计
ruby-on-rails、ruby、rest、api-design
在我的应用程序中，我有页面和订单的概念。用户可以向/orders发送一个帖子，并传递他希望为该顺序创建的页面。我需要返回给用户刚才在订单中创建的页面的ids，因为否则用户将不知道创建了哪些资源。
浏览 1提问于2014-07-08得票数 0
回答已采纳
1回答
异步批量(批处理)插入到MySQL(或MongoDB?)通过Node.js
mysql、node.js、mongodb、asynchronous、nosql
问题:使用MySql (来自.NET和PHP后台)执行异步批量插入(如果Node.js可以处理，则不需要大容量)在C#(.NET)中，我会使用dataTable来包含每个函数中的所有行，并在最后大容量地将dataTable插入数据库表中。在这种情况下你会建议采取什么方法，
如果我需要处理每个表10,0
浏览 1提问于2012-02-19得票数 0
回答已采纳
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号