腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何将大型表(100M+行)导出到文本文件?
python
、
mysql
、
database
、
hadoop
、
export
我有一个包含超过1亿行的大型表的
数据库
。我想导出这些数据(经过一些转换后,比如和其他几个人一起加入这个表,清理一些字段等等)。并将其存储在一个大文本文件中,以便以后使用Hadoop进行处理。到目前为止,我尝试了两件事: 使用
Python
,我使用按块浏览表(通常每次10'000条记录),对每一行执行转换并直接写入文本文件。这个技巧是有帮助的,但是随着导出的进展,LIMIT变得越来越慢。使用
mysql
命令行工具,我尝试将CSV形式的查询结果直接输出到文本文件中。由于大小,它耗尽了内存,并崩溃了。
浏览 4
提问于2013-01-18
得票数 0
回答已采纳
1
回答
使用php和
mysql
构建网站的更有效方法(兑现或查询?)
php
、
mysql
、
performance
背景:该程序( IRC打赌机器人客户端用
python
编写)最初使用.csv文本文件数组来保存用户数据。然而,我意识到这种数据存储方法实际上是无法扩展的,并且在内存中保存了
大量
的数据(因此需要
大量
的文件写入和平面文本文件搜索)。 我重新实现了这个程序,转而使用
mySQL
数据库
。我现在正在重写这个网站。对于每个用户来说,对于存储的每个变量,我只查询一次
mySQL
浏览 2
提问于2015-09-22
得票数 0
2
回答
在不安装
MySQL
的情况下使用
Python
查询
MySQL
数据库
python
、
mysql
、
database
我想使用
Python
语言查询
MySQL
数据库
,但显然MySQLdb包需要单独安装
大量
的
MySQL
工具。如何使用
Python
脚本查询
MySQL
数据库
,而不安装一堆不必要的
MySQL
内容,包括在客户机上授予
MySQL
服务器功能?我不喜欢Perl,但是DBI包似乎允许Perl脚本与
MySQL
交互,而不需要包外部的任何
MySQL
内容。我正在为
Python
寻找类似的东西。
浏览 2
提问于2012-09-05
得票数 1
回答已采纳
2
回答
如何在Google工作表和
Mysql
DB之间同步数据?
python
、
mysql
、
google-apps-script
、
google-sheets
所以我有一个谷歌表,它维护了
大量
的数据。我还有一个包含
大量
数据的
MySQL
数据库
。表中有一个重要的信息片段,它也存在于DB中。两者需要同步。信息总是先进入工作表。我有一个带有
mysql
查询的
python
脚本来单独更新我的
数据库
。 方法
浏览 6
提问于2016-08-04
得票数 1
回答已采纳
4
回答
新的应用程序--在我的使用案例中,PostgreSQL是否提供了比
MySQL
更多的好处?
mysql
、
postgresql
、
heroku
在过去的七年中,我经常使用
MySQL
,我的经验通常是:“忽略存储过程,在
数据库
中放入任何类型的逻辑。将业务逻辑保留在代码中,并将
数据库
作为哑巴数据存储。”我正在构建一个新项目,目前使用的是
Python
+ Flask +
MySQL
。
MySQL
数据库
主要处理读操作。有一个主表--要在web应用程序上显示的项目列表。通过
获取
客户端数据馈送的cron脚本,每天更新一次要显示的项目列表。 在这种情况下,PostgreSQL是否会提供一些优于
MySQL
浏览 0
提问于2012-03-07
得票数 1
回答已采纳
2
回答
MySQL
中的n元语法计数
mysql
、
full-text-search
、
nlp
、
n-gram
我正在构建一个
MySQL
数据库
,其中将有大约10,000条记录。每条记录将包含一个文本文档(大多数情况下是几页文本)。我想在整个
数据库
中做各种n-gram计数。我已经用
Python
编写了算法,可以针对包含
大量
文本文件的目录执行我想要的操作,但要做到这一点,我需要从
数据库
中提取10,000个文本文件-这将存在性能问题。我是
MySQL
的新手,所以我不确定它是否有任何内置的特性来进行n-gram分析,或者是否有好的插件可以做到这一点。
浏览 0
提问于2011-09-21
得票数 4
1
回答
用
python
将大向量存储到
数据库
的最好方法是什么?
python
、
sql
、
database
在将文本表示为向量之后,我如何将它们(非常大的浮点值列表)存储到SQL
数据库
中以供以后使用?
浏览 3
提问于2011-10-29
得票数 2
回答已采纳
2
回答
正在尝试从第一个下拉菜单php
mysql
填充第二个下拉菜单
php
、
javascript
、
mysql
、
ajax
我正在尝试填充3个菜单,第一个菜单是从
mysql
查询和php创建的,并显示TVshows (即。摩登家庭,德克斯特等),我想做的是,一旦TVShow被选中,填充一个新的
mysql
查询季节(1 ,2 ,3等)的下一个下拉列表,然后通过
mysql
查询填充第三个下拉列表的基础上选择的前两个选项为插曲$sql="Select distinct title from TVShows"; echo "<select name=&
浏览 0
提问于2012-12-30
得票数 0
3
回答
使用
MySql
数据库
的Django框架
python
、
mysql
、
django
、
database
我安装了Django,看了一些教程,现在我正在尝试创建一个使用
MySql
数据库
的web服务器。首先,我使用xampp的phpMyAdmin创建了一个
数据库
,现在我想使用存储在该
数据库
中的数据,并从该
数据库
打印一些条目。 在本教程中,它被使用了sqlite。
浏览 5
提问于2014-10-30
得票数 1
回答已采纳
2
回答
从一开始就使用
MySql
和虚拟环境建立Django项目
django
、
django-mysql
我是django的新手,所以我需要从django项目开始,我需要关于如何在Linux上使用
MySql
数据库
和虚拟环境启动django项目的信息。
浏览 2
提问于2017-10-19
得票数 0
10
回答
将数据从
数据库
传输到会话的最有效方法
php
、
mysql
、
session
获取
大量
数据的最快方法(比如高尔夫)和将
大量
数据从
MySQL
数据库
获取
到会话的最有效的方法(考虑性能)是什么,而不必继续执行我已有的操作: $sql = "SELECT * FROM users WHEREusername='" .
mysql
_escape_string($_POST['username']) . "' AND password='" .
mysql</e
浏览 1
提问于2008-08-25
得票数 3
回答已采纳
7
回答
如何在OS X Leopard上安装
MySQL
和
Python
MySQL
包?或者我如何学习如何使用OS成为一名web开发人员?
python
、
mysql
、
django
、
macos
、
sysadmin
我非常熟悉如何在Ubuntu/Linux上设置环境,唯一让我纠结于的部分就是如何安装
MySQL
、自动启动它以及安装
Python
MySQL
绑定。我想我的错误是使用了一堆我不完全理解的工具;我使用fink安装了
MySQL
和它的开发库,然后尝试从源代码构建
Python
-
MySQL
绑定(但它们不会构建)。更新:我从安装了二进制
MySQL
包,并且运行了
MySQL
服务器(可以通过admin访问)。我从port得到的
MySQL
版本是垃圾
浏览 3
提问于2008-12-27
得票数 6
回答已采纳
1
回答
盲SQL注入:理解
大量
查询
sql-injection
本文(PDF格式)讨论了一种基于
大量
查询的盲注入技术。与普通的基于时间的技术相比,有人能向我解释使用
大量
查询的目的吗?也许,当禁用存储过程和基准函数时,使用
大量
查询是否是执行一些漏洞调查的唯一方法?我说得对吗?重查询方法仅用于检索有关
数据库</em
浏览 0
提问于2013-01-28
得票数 2
回答已采纳
3
回答
通过
Python
发送多个HTTP请求的理想方法?
python
、
http
、
concurrency
、
httprequest
可能重复: 我正在一个Linux web服务器上工作,它运行
Python
代码,通过HTTP从第三方API
获取
实时数据。数据被放入
MySQL
数据库
中。我需要对很多URL进行
大量
查询,而且我需要快速完成(更快=更好)。目前,我正在使用urllib3作为我的HTTP库。做这件事最好的方法是什么?我应该产生多个线程(如果是,有多少个线程?)
浏览 0
提问于2012-05-11
得票数 10
回答已采纳
1
回答
如何在DB上负载时减慢kafka使用者的速度,反之亦然
mysql
、
apache-kafka
、
confluent-kafka-python
如果在kakfa上产生了
大量
消息,如果我尝试使用(使用
python
confluent_kafka库)并对它们进行处理,
数据库
(处理
mysql
)将快速加载
大量
查询。我想根据DB上的负载减慢消耗速度。我将从红键中
获取
睡眠的秒数。当db上有一定数量的负载时,相似将更改redis键的值。例如,如果db load > 80 %或类似的东西,将键的值设置为30s。 我被困在如何计算DB上的负载上。
浏览 7
提问于2022-06-03
得票数 0
1
回答
使用php在word或pdf文件中搜索文本短语
php
、
mysql
、
text
、
mysqli
它是将word/pdf文档的内容存储在
MySQL
表还是文本文件中? 如何最好地在
MySQL
数据库
中存储m刀/pdf文档内容?在
MySQL
表中最好使用哪种数据类型?
浏览 1
提问于2016-10-12
得票数 0
2
回答
MySQL
-从服务器抓取blob文件
mysql
、
blob
我想从给定文件位置的SQL
数据库
中
获取
文件的二进制数据。如果我知道文件路径,我甚至可以从
MySQL
服务器
获取
文件的二进制数据吗?
浏览 3
提问于2014-12-09
得票数 1
回答已采纳
1
回答
Python
链接
数据库
,使用哪个库,怎么操作?
python
、
数据库
、
云数据库 MySQL
Python
链接
数据库
,使用哪个库,怎么操作?
浏览 690
提问于2018-10-17
1
回答
从
MySQL
中
获取
股票市场数据并向所有用户展示的最佳方法?
mysql
、
database
、
laravel
、
websocket
、
redis
MySQL
数据库
中存储着
大量
的数据。 目前,我正在尝试从
MySQL
获取
数据,并使用websockets通过Laravel & Redis.向客户广播数据。问题是,这是一种在路由上触发事件,然后在事件类中从
数据库
中
获取
数据,然后通过websocket上的一个频道向用户广播的好方法吗?我认为可能会消耗更多的服务器资源&而且当用户每次打开该页面时,事件会触发并尝试从
数据库
获取
数据。
浏览 2
提问于2020-11-26
得票数 0
2
回答
在
MySQL
中存储
大量
文本的最有效的空间方法是什么?
mysql
、
sql
、
text
、
full-text-search
、
huffman-code
我正在用
Python
编写一个set爬虫,它将在
MySQL
数据库
中存储
大量
页面的HTML代码。在开始处理数据之前,我想确保我的存储和处理方法是最优的。我想: 有没有人在这个或类似的问题上有任何建议或经验?考虑到
Python
需要
大量
的HTTP请求和正则表达式,再加上任何最优压缩,
Python<
浏览 3
提问于2011-11-13
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
python连接mysql数据库
python数据库操作-MySQL
Python 操作 MySQL 数据库(上)
Python 数据库骚操作-MySQL
Python 操作 MySQL 数据库(下)
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券