腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
MySQL
中的n元语法计数
、
、
、
我正在构建一个
MySQL
数据库
,其中将有大约10,000条记录。每条记录将包含一个文本文档(大多数情况下是几页文本)。我想在整个
数据库
中做各种n-gram计数。我已经用
Python
编写了算法,可以针对包含大量文本文件的目录执行我想要的操作,但要做到这一点,我需要从
数据库
中提取10,000个文本文件-这将存在性能问题。我是
MySQL
的新手,所以我不确定它是否有任何内置的特性来进行n-gram分析,或者是否有好的插件可以做到这一点。
浏览 0
提问于2011-09-21
得票数 4
1
回答
我是否正在最大限度地使用可能的数据插入
、
mysql
表
没有索引,数据在
批量
插入中一次插入1000行(首先
写入
在每个帧中创建的临时内存,然后
批量
卸载到hd
表
)。这是每个
表
处理15亿行数据,这是由一个32核128g ram服务器运行的60帧
写入
的,它使服务器cpu在6-7小时内达到99-100%。我有3台服务器在处理这个任务,还有1台在raid上有24个驱动器作为
数据库
服务器,它只运行6- 15%的cpu负载来管理
mysql
(5.0.67)。删除索引确实大大加
浏览 1
提问于2013-08-14
得票数 0
1
回答
不向磁盘
写入
文件的
MySql
大容量导入
、
、
我有一个运行
mysql
数据库
后端的django网站。我接受相当大的上传从一个管理员用户
批量
导入一些数据。数据的格式与其在
数据库
中所需的格式略有不同,因此我需要进行一些解析。我希望能够将这些数据转换为csv,并将其
写入
cStringIO对象,然后简单地使用
mysql
的
批量
导入命令来加载该文件。我宁愿先跳过将文件
写入
磁盘的过程,但我似乎找不到解决方法。我过去基本上用postgresql做过这样的事情,但不幸的是这个项目是在
mysql
上进行
浏览 1
提问于2011-06-30
得票数 0
回答已采纳
1
回答
直接在
Python
中重新创建Postgres副本?
、
、
我有一个数据块,目前是一个n元组列表,但格式非常灵活,我想将其附加到Postgres
表
中-在本例中,每个n元组对应于DB中的一行。到目前为止,我一直在做的是将所有这些内容
写入
CSV文件,然后使用postgres的COPY将所有这些内容
批量
加载到
数据库
中。这是可行的,但并不是最优的,我更希望能够直接从
python
中完成这一切。有没有一种方法可以在
python
中复制Postgres中的复制类型
批量
加载?
浏览 0
提问于2009-12-09
得票数 18
回答已采纳
1
回答
单批查询还是映射查询效率?
、
我正在运行node将数据插入到运行
MySQL
的DynamoDB
数据库
中。, [myData], function(err, result){});哪种方法最有效?
浏览 0
提问于2016-10-23
得票数 1
回答已采纳
1
回答
在主从设置中,哪个更适合使用本地队列或立即将更改
写入
远程?
、
我有一个用于读取的本地
数据库
(
mysql
)和用于写的远程主
数据库
,但我想知道这样做是否更好。使用1 i 想,我有更多的控制,但是有延迟,它使用每个传出
表
一个连接/线程 但2可以是任何cpu/内存的使用,没有控制,但变化是实时更新。我目前使用#1,但现在,由于我的项目使用更多表,我
批量
插入10+连接,并且我计划进行水平可伸缩性和10+连接,因此每
浏览 0
提问于2016-06-09
得票数 2
2
回答
MySQL
从一个
表
缓慢复制到另一个
表
、
、
、
、
我使用以下语句将文件从一个
数据库
复制到另一个
数据库
:一切都很好,但真的很慢。我正在使用一个MyISAM
表
来完成这个任务。 我的主键是一个唯一的标识符,它是由不同的数据字段生成的。
浏览 0
提问于2013-08-27
得票数 0
回答已采纳
1
回答
如何使用
python
提高sql
数据库
的
写入
速度
、
、
、
、
我正试图找到一种更好的方法,使用
python
将数据推送到sql。我对
python
的许多概念相当陌生,所以请提出一些方法,或者至少参考任何显示任何信息的文章。提前感谢
浏览 2
提问于2019-04-25
得票数 1
1
回答
mysqldump批处理脚本,用于输出单个
表
以进行选择性恢复
、
、
我们目前有一个DOS批处理脚本,它在单个文件中对整个
数据库
执行
MySQL
转储。我想要做的是按
表
拆分
数据库
,这样在每个'date‘文件夹中,就会有一个'db’文件夹包含各个
表
转储。这允许我们恢复选定的
表
,而不是恢复整个
数据库
。@echo offcd C:\Program Files\
MySQL
\
MySQL
Workbe
浏览 1
提问于2012-02-20
得票数 1
回答已采纳
1
回答
内存、磁盘和
数据库
获取的数据
、
假设我要从一个关系
数据库
中提取一个大型数据集。但是,我不想填满超过100MB的内存(这是一个任意的限制)。此外,我还想对此数据集执行某些操作。通常,在
python
这样的语言中,我只会将所有获取的数据放在内存中。但我想避免这种情况。因此,我可能不得不引入一个中间步骤,将查询的数据
写入
磁盘,然后逐个块地处理它们。
浏览 0
提问于2011-12-13
得票数 0
3
回答
InnoDB
表
大容量插入
、
、
我有一个包含大约5亿行的
MySQL
数据
表
。我们需要通过读取这些数据来运行计算,并且需要将计算出的数据(原始数据的标准化形式)
写入
另一个InnoDB
表
中。我们目前的设置是一个虚拟云,其中有一台机器和
数据库
,因此机器与
数据库
的连接非常快。对数据进行计算(以及读取数据)的速度非常快,整个过程的瓶颈是将标准化数据插入到InnoDB
表
中(标准化数据包含一些索引,但不是很长,这会减慢插入速度)。将所有这些数据推送到
MySQL
的最佳方案是什么?由于计算过程很简单,我
浏览 1
提问于2013-03-13
得票数 0
回答已采纳
1
回答
使用
python
在
MySQL
中插入多线程数据
、
、
、
我正在做一个项目,涉及插入到
数据库
中的大量数据。我想知道是否有人知道如何在
数据库
中填充2或3个
表
在相同的time.An示例或伪解码将是有帮助的。谢谢
浏览 1
提问于2010-04-10
得票数 2
1
回答
复制时大容量插入到
MySQL
中
、
、
、
我在
MySQL
和
Python
MySQLdb库中有一个问题:我怎么用
MySQL
语法写它呢?它是内置在
Python
语言的MySQLdb库中吗?
浏览 1
提问于2014-05-13
得票数 1
2
回答
我可以备份
mysql
索引吗?在一张无害的桌子上?
、
我有几个
表
,它们是成百万行的10's,并且有多个索引。当转储和重新加载数据时,需要很长时间才能重新插入索引,或者在没有索引的情况下插入,然后再重新索引。据我所知,索引为
数据库
引擎提供了一种在磁盘上查找记录的快速方法,而且由于
数据库
转储和重新加载将或可能有效地更改磁盘上数据的位置,该索引可能会失效。但是,您仍然应该能够通过连续和顺序地在磁盘上定位它的所有记录来优化一个
表
,然后让索引引用一个开始位置加上偏移量。有没有人在这方面做过任何工作?所需的功能:我可以转储原始数据,将其加载到顺序不间断的磁盘区域,然后只加载索引
浏览 0
提问于2011-04-11
得票数 1
回答已采纳
2
回答
在
mysql
上处理更多的2000+请求?
、
是否有任何工具或适当的方法来处理每秒超过2000次对
mysql
数据库
的请求(主要是
写入
请求)?而不会到达队列限制。
浏览 1
提问于2017-09-17
得票数 0
1
回答
如何使用C#大容量插入到
MySQL
中
、
、
我以前使用过SQLBulkCopy类将数据加载到MS SQL Server
数据库
中。结果非常好,并且完全按照我的预期工作。现在,我正在尝试使用SSIS中的脚本任务,通过ODBC或ADO.NET连接将数据
批量
加载到
MySQL
(5.5.8)
数据库
中(推荐?)。 我的数据集中的列与
MySQL
表
中的列相对应。将数据集
批量
插入到
MySQL
数据库
的最佳方法是什么?
浏览 2
提问于2011-02-03
得票数 7
2
回答
是否可以在PHP中将大型csv文件编写为xls工作
表
?
、
、
、
、
因此,我需要向用户提供一个多工作
表
excel文档,其中每个工作
表
有数千行和10列。数据来自多个
MySQL
查询。因此,我有一个想法,使用
MySQL
OUTFILE在磁盘上编写一组csv文件,每个工作
表
一个,然后创建一个xls文档,并将以前编写的csv数据作为
表
写入
xls。是否有一种方法可以完成将csv内容“
批量
”
写入
工作
表
,而不通过csv逐行迭代或消耗大量内存(比如直接
写入
磁盘?) 谢谢你的帮助!
浏览 2
提问于2014-08-22
得票数 1
回答已采纳
2
回答
如何解压缩由Google AppEngine大容量下载器编写的sqlite3
数据库
我有足够的磁盘空间来存储实体的数据,但不足以存储
批量
下载程序作为SQLite
数据库
检索的原始数据和下载器在应用bulkloader.yaml文件中指定的转换后
写入
的数据的处理版本。鉴于此,我相当肯定
批量
下载操作将成功检索SQLite
数据库
,然后在尝试应用转换时失败。 这可能没什么问题,因为还有另一个可用的系统,我可以在其中移动SQLite
数据库
并将其解压缩。(我可以使用的另一个系统已经安装了
Python
,但没有支持AppEngine工具的版本--而且我没有在这台机器上升
浏览 2
提问于2011-06-20
得票数 3
回答已采纳
1
回答
mysql
存储过程大容量插入
、
、
、
我有一个如下所示的存储过程:有没有办法让我执行大量的代码?像这样,而不是执行这样的东西:{ foreach (Item item in GetItems()) using (MySqlCommand command = new MySqlCommand(
浏览 1
提问于2016-01-17
得票数 0
2
回答
使用
python
-dataframes将200万行插入timscaldb中。
、
、
、
、
,在
python
或PostgreSQL中直接使用Importengine = create_engine("postgresql+psycopg2://postgres:passwd@
浏览 3
提问于2020-03-19
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
python处理完的df数据怎么快速写入mysql数据库表中?
Python写入数据到MySQL
Python爬虫数据写入mySQL案例
利用Python实现批量更新MySQL数据库中数据
第八篇|Spark SQL百万级数据批量读写入MySQL
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券