如何与多进程Python共享连接池
在多进程Python中共享连接池的方法有多种，以下是一种常见的解决方案：
- 使用进程池模块：可以使用
multiprocessing模块中的Pool类来创建进程池，然后在每个子进程中共享连接池。具体步骤如下：- 导入
multiprocessing模块：import multiprocessing - 创建连接池：
pool = multiprocessing.Pool(processes=num_processes) - 在每个子进程中使用连接池：
pool.apply_async(function_name, args=(args,)) - 关闭连接池：
pool.close() - 等待所有子进程完成：
pool.join() - 这种方法的优势是简单易用，适用于大多数情况。然而，它可能会导致连接池的资源竞争问题，需要额外的处理来确保连接的正确使用。
- 导入
- 使用共享内存：可以使用
multiprocessing模块中的Manager类来创建共享内存，然后在每个子进程中共享连接池。具体步骤如下：- 导入
multiprocessing模块：import multiprocessing - 创建共享内存：
manager = multiprocessing.Manager() - 创建连接池：
connection_pool = manager.list() - 在每个子进程中使用连接池：
connection_pool.append(connection) - 关闭连接池：无需特殊处理
- 等待所有子进程完成：无需特殊处理
- 这种方法的优势是可以避免资源竞争问题，但需要额外的内存开销，并且在多进程间传递连接对象可能会导致性能下降。
- 导入
- 使用消息队列：可以使用
multiprocessing模块中的Queue类来创建消息队列，然后在每个子进程中通过消息队列共享连接池。具体步骤如下：- 导入
multiprocessing模块：import multiprocessing - 创建消息队列：
queue = multiprocessing.Queue() - 在每个子进程中使用连接池：
queue.put(connection) - 关闭连接池：无需特殊处理
- 等待所有子进程完成：无需特殊处理
- 这种方法的优势是可以避免资源竞争问题，并且在多进程间传递连接对象的开销较小。但需要注意消息队列的大小限制，以及处理消息的顺序。
- 导入
腾讯云提供了多种与多进程Python共享连接池相关的产品和服务，例如：
- 云服务器（Elastic Compute Cloud，ECS）：提供了可弹性伸缩的计算资源，适用于部署多进程Python应用程序。
- 云数据库MySQL版（TencentDB for MySQL）：提供了高性能、可扩展的MySQL数据库服务，适用于存储连接池中的连接。
- 云消息队列（TencentMQ）：提供了可靠的消息传递服务，适用于在多进程间传递连接对象。
更多关于腾讯云产品和服务的信息，请访问腾讯云官方网站：https://cloud.tencent.com/
相关·内容
1回答
我们在Python (Luigi)中有ETL作业。它们都连接到Hive Metastore以获取分区信息。
代码：
from hive_metastore import ThriftHiveMetastore
client = ThriftHiveMetastore.Client(protocol)
partitions = client.get_partition_names('sales', 'salesdetail', -1)
-1为max_parts (返回的最大分区数)
它会像这样随机超时：
File "/opt/conda/envs/et
浏览 4提问于2021-01-26得票数 0
我正在使用sidekiq和rails3。Sidekiq默认运行25个线程。我想增加多线程限制，我已经通过改变sidekiq.yml做到了这一点。
那么，database.yml中的池值和sidekiq多线程之间有什么关系呢？mysql池的最大值是多少。它依赖于服务器内存吗？
sidekiq.yml
:verbose: true
:concurrency: 50
:pool: 50
:queues:
- [queue_primary, 7]
- [default, 5]
- [queue_secondary, 3]
database.yml
production:
adapte
浏览 2提问于2013-07-19得票数 1
1回答
这似乎是一个很明显的问题，但关于这个问题的很多文档都非常混乱，并警告我不要保持一个全球性的状态，而不是告诉我如何去做。
例如，如果我需要一个数据库连接池(我不使用SQLAlchemy)，或者一个对象实例池(这两个实例都需要全局池，集中管理)，那么我如何做到这一点？
如果我使用flask.g，这不是线程之间的共享，如果我使用python，那么在同一个应用程序的多个进程之间就不能共享(据我了解，在大型生产烧瓶服务器的情况下，这是可以产生的)。我用flask.current_app吗？我是否使池本身成为一个单独的过程？还有别的吗？
浏览 3提问于2018-08-16得票数 1
回答已采纳
1回答
如果我在Resque中有20个不同的作业，这是否意味着我的ClearDB数据库可能具有20+连接？如何监控我的ClearDB正在使用多少个连接？
浏览 1提问于2013-08-25得票数 1
如何在IIS实例中的所有应用程序/虚拟目录/版本之间共享Oracle连接池？
浏览 3提问于2014-04-14得票数 5
2回答
您是否可以在多个WSGI线程/进程之间共享一个对象(并且能够同时工作在*NIX和Windows上)？
基本前提是：(1)我有一个WSGI前端，它将连接到后端服务器。我有一个序列化类，它包含关于如何序列化/取消序列化各种对象(包括特定于此项目的类)的规则。因此，它需要有一些设置，告诉它如何处理自定义对象。但是，它是无状态的--多个线程可以同时访问它来序列化它们的数据，而不会出现问题。(2)有连接到后端的插座。我宁愿有一个套接字池，也不愿每次有连接时创建/销毁。
注意:我不介意有多个实例(1)和(2)的解决方案，但理想情况下，我希望尽可能少地创建/初始化它们。我不确定内部机制，但是如果线程循环而不
浏览 5提问于2013-04-17得票数 4
EF注册为作用域服务，这意味着它创建了许多到数据库的短连接。一个http请求-一个连接。PostgreSQL不能很好地处理大量并发连接。比如最多100个。使用实体框架(Npgsql)的.NET核心应用程序是否需要PgBouncer？PgBouncer管理连接池。或者Npgsql可以正确地管理连接池吗？或者这只与Python和PHP相关？谢谢!
浏览 25提问于2020-12-10得票数 0
回答已采纳
我有一个用于安卓、Windows和iOS应用的。API的响应始终是一个JSON。我们使用一个DataBase类来管理PDO连接和CRUD操作。有时，我们有以下错误Message: SQLSTATE[42000] [1203] User my_user already has more than 'max_user_connections' active connections。
我发现了一些建议将PDO对象变量设置为null的指令，比如$pdo = null或unset($pdo)。因此，我在我的DataBase类中创建了一个析构函数方法来取消我的PDO实例：
public f
浏览 1提问于2014-09-02得票数 1
回答已采纳
文档指出，连接池也不是为多线程设计的：
重要的是，在使用连接池时，以及在使用通过create_engine()创建的引擎时，池连接不能共享到分叉进程。TCP连接表示为文件描述符，通常跨进程边界工作，这意味着这将导致代表两个或更多完全独立的Python解释器状态并发访问文件描述符。
正如我所理解的，如果我创建连接池：
self.engine = create_engine('postgresql://{user}:{password}@{host}:{port}/{db}'.format(
user=Configuration().get(section='
浏览 0提问于2018-08-09得票数 8
回答已采纳
我正在使用python的多处理模块，并对此有一些混淆。
基本上，我最初将一些数据存储在主进程中，大约为16 as (主内存大小)，如top命令所示。我将这些数据存储为全局变量。
然后对这些数据进行多处理，并相应地以不同的方式进行处理。
现在我看到多进程正在发生，即所有进程都有自己的CPU利用率，但是所有进程的内存都是16 GB。为什么会这样？它不是应该使用我通过引用全局变量发送的相同的内存吗..请给我一些想法。
top命令的输出如下：
PID用户PR NI VIRT RES %CPU %MEM TIME+命令13908 admin 20 0 16.7g 16g 848 R 100.0 17.
浏览 2提问于2012-04-29得票数 3
我已经在多个进程上运行了一个Node.js应用程序，我想知道我是否应该将我的MongoDB连接(使用猫鼬)连接到一起，我们应该为每个集群分叉创建一个新的连接。
下面是一个例子：
应该为每个分叉创建一个新的DB连接，如下所示：
if (cluster.isMaster) {
var totalCPUs = os.cpus().length;
var forks = 0;
while (forks < totalCPUs) {
cluster.fork();
forks++;
}
cluster.on('exit', function(wo
浏览 0提问于2015-03-05得票数 2
回答已采纳
1回答
对于一些使用psycopg2与postgres并行进行查询的多处理代码的行为，我感到非常困惑。
本质上，我是在对较大表的不同分区进行相同的查询(使用不同的params)。我正在使用multiprocessing.Pool发送一个单独的查询。
我的多处理调用如下所示：
pool = Pool(processes=num_procs)
results=pool.map(run_sql, params_list)
我的run_sql代码如下所示：
def run_sql(zip2):
conn = get_connection()
curs = conn.cursor()
p
浏览 2提问于2016-07-15得票数 8
回答已采纳
我对Python和Spark相当陌生，但让我看看我是否能解释一下我想做的事情。
我有很多不同类型的页面要处理。我为这些页面的所有公共属性创建了一个基类，然后从基类继承了一个特定于页面的类。这个想法是，星火运行器将能够通过在调用时只更改页面类型来完成所有页面的准确操作。
跑步者
def CreatePage(pageType):
if pageType == "Foo":
return PageFoo(pageType)
elif pageType == "Bar":
return PageBar(pageType)
def
浏览 2提问于2016-09-19得票数 2
回答已采纳
1回答
这个问题的范围很广，例如web服务器、数据库服务器、php应用程序等等，因此我怀疑它是否属于stackoverflow，但是由于这个问题将帮助我们如何编写应用程序代码，我决定在这里提问。
我对数据库会话和web服务器如何协同工作感到困惑。如果我是对的，当为客户端建立连接时，将只为该连接创建一个会话，并且该会话将一直持续到连接断开或由于长时间不活动而重新连接。
现在，如果我们考虑一个web服务器，特别是Apache2.4，运行PHP7.2应用程序(在虚拟主机中)，数据库由MariaDB 10.3.10支持(如果这很重要的话)，我假设以下情况(如果我错了，请纠正我)：
对于每个web应用程序，现在
浏览 41提问于2018-10-11得票数 1
回答已采纳
4回答
psycopg2与服务器断开连接
、、、、
我已经解决这个问题有一段时间了。我安装了一台全新的机器。我已经安装了一个新的postgresql副本和所有其他依赖项。基本上，我会在随机时间获得这些数据库断开连接。我可以执行相同的请求，它要么工作，要么不工作。外观非常不确定。在Postgresql上查看日志，它甚至没有连接。现在，我预计如果它从未连接过，我会在建立连接和获取游标时遇到这个问题，但当我稍后尝试实际使用该连接时，我会遇到这个问题。考虑到下面的回溯，我希望在pg日志中看到一个连接，然后由于某种原因稍后断开连接。我不知道，所以我想知道这种不匹配中是否有一些线索。
Traceback (most recent call last):
浏览 0提问于2009-10-15得票数 13
回答已采纳
我正在尝试使用python的多处理库在一个spark流媒体进程和一个http webservice之间共享数据。
一个简单的例子是尝试共享一个计数器(例如，multiprocessing.Value)
如果我尝试一个简单的spark流媒体作业，听着kafka：
import sys
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils
from kafka import SimpleProduc
浏览 0提问于2015-08-04得票数 0
1回答
我正在使用multiprocessing.Pool运行许多进程
每个进程都必须查询我的mysql数据库。
目前，我只连接数据库一次，然后共享进程之间的连接。
它可以工作，但偶尔我会遇到一些奇怪的错误。我已经确认，这些错误是在查询数据库时引起的。
我认为问题是因为对所有进程都使用了相同的连接。
是对的吗？
当我寻找答案的时候，我偶然发现了这个问题&一个
所以我查了一下pooling.MySQLConnectionPool类
如果我能理解的话。我将设置一个具有多个连接的池，并在进程之间共享该池。然后，每个进程将查看该池，如果连接可用，请使用它，否则等待
浏览 7提问于2015-02-20得票数 15
回答已采纳
根据Python的
数据可以使用值或数组存储在共享内存映射中。
共享内存是否与通常分配给进程的内存不同？为什么Python只支持两种数据结构？
我猜想这与垃圾收集有关，而且可能与GIL存在的原因相同。如果是这样的话，那么和是如何实现的呢？
浏览 3提问于2019-12-11得票数 2
回答已采纳
当我这么做时：
show processlist
我看到我所有的20个服务器都和它相连。但是，过了一段时间，他们一个接一个地下来。我知道这不是剧本的问题。我的脚本没有终止.
如果没有在一定时间内进行查询，会不会是超时呢？我该如何改变这个设置？
编辑: python脚本每隔1-3分钟选择一次并插入数据库。
浏览 2提问于2010-01-21得票数 0
回答已采纳
3回答
多进程=运行多个进程？
、、、、
我对多重处理有点困惑。我是一个3年的Python程序员，但是从来没有真正需要并行地(不仅仅是异步地)执行任务。但是我所知道的，或者我想知道的是，当使用multiprocessing中的python.exe模块来实现“真正的并行性”时，就会产生新的python.exe进程！
例如，像这样的3D软件使用所有CPU的功能来渲染3D场景。但是我没有看到任务管理器中有多个Cinema 4D.exe进程。
上述语句是否正确，即在使用multiprocessing模块时生成了多个Python进程？
如果是的话，为什么是这样，C++应用程序如何使用没有多个进程的所有CPU？
浏览 17提问于2013-02-08得票数 2
回答已采纳
4回答
ODP.NET连接池参数
、、、、
我正在尝试使用.NET版本2.111.6.20为我的ODP.NET应用程序配置连接池。数据库为Oracle 11.1。
我在我的.NET 2.0应用程序中使用以下连接字符串：
Data Source=prod; User Id=FAKE_USER; Password=FAKE_PASS; Pooling=true; Min Pool Size=2; Max Pool Size=5; Connection Timeout=30;"
根据文档，连接池应该使用2个连接进行初始化，并根据需要增加最多5个连接。它不应该超过5个连接。
我所看到的是，这些连接一次增长了2次，并且增长到了10次。我正
浏览 0提问于2013-04-12得票数 8
回答已采纳
1回答
我知道这个问题已经被问过几次了，但是我仍然不确定scoped_session和线程的用法。基本上，我有一个具有10个工作线程的应用程序。我有一个连接池大小为11的Engine，每个线程都有自己的会话，不需要在线程的会话之间共享任何信息(如果可以，那就好了，但我已经创建了一个变通方法)。最后，我在主线程中使用SQL来处理复杂的SQLAlchemy语句，这就是为什么我在连接池中有11个线程的原因。
我使用的是MySQL，我的pool_recycle设置为3600。我一直收到错误：
(OperationalError) (2013, 'Lost connection to MySQL ser
浏览 0提问于2013-08-08得票数 4
SQLAlchemy建议每个进程使用一个引擎，因为底层DBAPI连接不一定可以安全地跨进程使用。
我有全局engine和session变量，它们分别懒散地使用SQLAlchemy引擎和会话工厂填充。这使得编写依赖于在运行时调用get_session()以在session变量被init_db分配值之后使用它的数据库帮助程序变得很容易。
这对于让需要访问engine或session的助手在初始化engine或session之前导入很好。但是，这种模式将我锁定为全局使用一个engine和session。
然而，我真正需要做的是：
engine, session = init_db(DB_URL)
.
浏览 1提问于2014-08-17得票数 2
回答已采纳
1回答
跨进程的数据库连接池
、、、
我们有一个由多个EXE组成的客户端/服务器应用程序。数据访问层与EXE模块共享的库中的客户端位于同一物理层。ODBC和OleDB连接池是按进程管理的；有没有跨进程共享DB连接的技术(除了将数据访问层移动到中间层之外)？
浏览 3提问于2008-12-14得票数 2
1回答
我有一个python应用程序，创建一个作业的线程数量。每个线程连接到mongodb并检索数据。允许连接到mongodb的数量是200，我正在使用信号量。一旦mongo查询任务完成，每个线程都会关闭mongodb连接。但是在执行这个应用程序时，我得到了所有线程的相同错误。错误是：
Traceback (most recent call last):
File "C:\Python34\lib\threading.py", line 921, in _bootstrap_inner
self.run()
File "C:\Python34\lib\threa
浏览 0提问于2015-05-04得票数 0
IIS (Windows 2012 R2)中的工作进程与Oracle11g池之间有什么关系？我有一个用C# Framework4.0编写的X应用程序，该应用程序配置了一个AppPool，首先配置了Framework 1，然后改为4。
我的连接字符串是:数据源=示例；用户Id = YYYY；密码= BBB；连接超时= 30；最大池大小= 100；池=真；Min池大小= 5；Incr池大小= 5；Decr池大小= 2；连接生命周期= 300
有了真池，我现在有了一个工作进程，最大池的总大小是100。问题是，如果我上传工作进程到4，最大池的最大总大小是400还是保持在100？(我在这里读到这个， )
浏览 0提问于2019-01-28得票数 1
我的python应用程序使用concurrent.futures.ProcessPoolExecutor和5个工作人员，每个进程进行多个数据库查询。
在选择将每个进程赋予自己的db客户端之间，还是让所有进程共享一个客户端，哪个进程被认为是更安全和常规的？
浏览 3提问于2021-11-21得票数 0
回答已采纳
当我阅读redis-py ()的代码时，我了解了它如何实现连接池，但是有一个问题抓住了我，我无法理解_checkpid()方法。
def _checkpid(self):
if self.pid != os.getpid():
with self._check_lock:
if self.pid == os.getpid():
# another thread already did the work while we waited
# on the lock.
浏览 3提问于2017-02-03得票数 1
回答已采纳
如果有人能告诉我出了什么事，我会非常感激的。
我正在使用python进行多处理，并为模型使用sqlalchemy。
这是一个错误：
工作人员错误：(pymysql.err.OperationalError) (2006年，"MySQL服务器已经消失(BrokenPipeError(32，‘坏管道’))“) SQL：”从网站中选择websites.id作为websites_id，选择websites.websiteurl作为websites_websiteurl，选择websites.blogurl作为websites_blogurl，选择websites.fbid作为websites
浏览 3提问于2017-11-18得票数 2
我正在用Python (使用Flask)构建一个web应用程序。我不打算使用SQLAlchemy或类似的对象关系管理系统，而是直接使用Psycopg2。
我应该为每个新请求打开一个新的数据库连接(然后关闭它)吗？或者我应该使用一些东西来汇集这些连接？
浏览 4提问于2012-08-10得票数 7
回答已采纳
我在Go应用程序中使用GORM访问Postgres。我在数据库存储库中有4个函数:创建、更新、删除和读取。 在每个函数中，我使用GORM打开一个数据库连接，执行CRUD操作，然后在执行完操作后立即关闭连接，您将在下面的代码片段中看到here和here func (e *Example) Create(m *model.Example) (*model.Example, error) {
// open a database session
dbSession, err := e.OpenDB() //gorm.Open("postgres", connStr)
浏览 26提问于2019-05-18得票数 5
1回答
我在寻找如何在python中做一个多线程(2个线程)。
我想让他们中的一个不断地读取串口。读取每一帧并将其保存到数据库中。我已经编写了一个脚本来实现这一点。
对于第二个，我想让它监听一个套接字端口。当它从该端口接收数据时，我希望它暂停第一线程，向串行端口写入数据，然后写入套接字。之后，取消暂停第一个线程并返回到侦听套接字端口。
我认为最好的办法是在那一刻暂停另一个线程读取串口，因为如果我在第一个线程中通过串口读取答案，我必须将读取的值传递给第二个线程，这会更复杂，不是吗？
我已经有了写串口的部分，并查看了一些套接字部分的教程，所以我对此没有问题。但我还没有找到任何关于暂停一个线程从另一个线程，
浏览 0提问于2013-05-10得票数 0
1回答
我一直在与我的烧瓶应用程序中的一个持续错误作斗争：
OperationalError: (_mysql_exceptions.OperationalError) (2006, 'MySQL server has gone away')
我使用的是一个mySQL服务器实例和模块。我双重检查了mySQL实例上连接的过期时间和SQLAlchemy配置中的重置时间。没有问题，连接池在mySQL连接过期之前被重置。我得出的结论是，一定存在一些问题，导致连接关闭，然后该连接的下一个用户阻塞。
我正在使用uWSGI运行Flask应用程序，它生成了四个进程。如果切换到单个进程，则无法再现错误。
浏览 4提问于2015-12-13得票数 8
回答已采纳
#!/usr/bin/env python
import multiprocessing
import sys
import time
def sleeping_worker(state):
s_time = state['sleep_time']
print('sleeping_worker: start to sleep for {0} seconds'.format(s_time))
time.sleep(s_time)
def main():
# the main has been seen
man
浏览 1提问于2017-09-26得票数 3
回答已采纳
我有一个多线程Java应用程序，它通过Runtime.exec()调用Python程序。这可以很好地工作。现在，我希望每个Java-Thread都能启动自己的Python进程来实现并发。在此过程中，我遇到了这样一个问题:所有Python进程似乎都将自己限制在单个CPU上，因此每个进程只使用一部分CPU来运行。在top中，我可以看到我的n Python进程。对于n=1，该进程使用100%的CPU。对于n=2，两个进程都使用大约50%的CPU。对于n=10，所有进程都使用大约10%的CPU。 在htop中，我可以看到只使用了两个CPU:一个用于Java程序，另一个用于Python程序。 我认为运
浏览 92提问于2020-04-06得票数 1
回答已采纳
拥有运行在简单的基于泛型类的视图上的网站。首先，我认为-- QuerySets是问题所在，但由于我的所有查询都低于8ms，所以这不是问题所在。在当地，该网站运行速度低于-200/300毫秒与所有图像和一切。当我把它推给Heroku时，速度很慢。在检查铬条-它显示1直线1-2秒，然后加载其余-它等待1-2秒，然后它加载。因此，我已经开始分解这个过程，得出了一个结论--删除DB，它开始加载非常快，就像100 in -当我插入Postgres时，它立即进入慢模式。
还安装了Django-Toolbar来查看正在发生的事情。
Note: this is not a question about the
浏览 0提问于2019-07-29得票数 0
寻求建议-我读过关于这件事的另外两篇文章
在我的server.xml文件中，有两个位置在两个位置中定义了maxThreads：
<Executor name="tomcatThreadPool" namePrefix="catalina-exec-" maxThreads="100" minSpareThreads="4"/>
和
<Connector port="8443" protocol="org.apache.coyote.http11.Http11NioProtocol"
浏览 0提问于2021-07-22得票数 1
实际上，我正在阅读教程。
在那里，我遇到了非池连接和DRCP，基本上我不是一个DBA，所以我搜索谷歌，但找不到任何东西。
所以有人能帮我理解他们是什么，他们之间有什么不同。
谢谢。
浏览 2提问于2016-11-02得票数 5
回答已采纳
我需要一些PHP代码架构和最佳实践的帮助。我需要对MySQL数据库中的4000行运行update。
下面是我用来连接到数据库的函数/代码：
function connectToDB(){
$uname = "USERNAME";
$pword = "PASSWORD";
try {
$db_conn = new PDO('mysql:host=SERVERHOSTNAME;dbname=DATABASENAME;port=PORTNUMBER', $uname, $pword);
浏览 1提问于2019-04-12得票数 0
PHP函数mysql_connect返回一个现有的连接，如果没有显式地设置第四个参数'$new_link‘TRUE。
在apache环境中，调用mysql_connect而不设置$new_link TRUE是否会导致mysql连接资源的争用条件？
在CLI环境中，我已经证明了竞赛条件确实出现了。但在阿帕奇没有。那么，为什么？apache只使用一个进程模型吗？CLI代码示例如下：
// create share memory
$nShmKey = ftok(__FILE__, 'i');
$nShmID = shm_attach($nShmKey, strlen($sAr
浏览 2提问于2012-08-02得票数 0
回答已采纳
1回答
我有一个大的模型文件，我使用在我的webservice内置的瓶，然后通过Gunicorn服务。文件夹是结构化的，如下所示：
A.py
Folder_1\
__init__.py
B.py
模型在__init__.py中加载并在B.py中使用，入口点是包含@app.routes, etc.的A.py
我开始使用A.py和--preload选项预加载应用程序和有8工人。
我面临着在8个核心上100%的CPU利用率；很明显，请求被卡在应用服务器上，没有被转发到DB。模型是否也被预加载并提供给所有8个工作人员，即它是否在工作进程之间共享？如果不是，我必须在A.py中加载模型，以便为所有
浏览 0提问于2017-07-13得票数 7
1回答
从根本上说，这个问题是关于:是否可以跨多个进程使用相同的DB连接(因为不同的map-reduce作业实际上处于不同的独立进程中)。
我知道这是一个微不足道的问题，但如果有人也能回答这个问题就太好了:如果到数据库的最大连接数(这是在托管数据库的服务器上预先配置的)用完了，而一个新进程试图获得新的连接，会发生什么？它是否等待一段时间，如果是，是否有方法设置此等待时间的超时。在这种特殊情况下，我说的是java，用于与DB对话的语言是PostGres。
为了给您提供问题的上下文，我有多个map-reduce作业(大约40个reducers)并行运行，每个作业都想要更新一个PostGres DB。如何有
浏览 1提问于2012-10-29得票数 2
回答已采纳
我们有一个用Java编写的web应用程序，并连接到Oracle数据库进行数据提取。最近，我们在Oracle数据库中遇到了太多来自JDBC的非活动会话，JDBC是我们使用grails框架的web应用程序。即使我们单击UI页面中的刷新按钮，非活动会话的大小也会增加。(几天后)会在这里逗留很长一段时间。
我们非常确信所有的连接在每个进程之后都被关闭并设置为null。
有人能帮我们吗？为什么它会导致数据库中的非活动会话，以及如何解决这个问题。
浏览 3提问于2011-10-18得票数 0
2回答
我想要一种方法来跟踪Python中的子进程如何使用内存。更准确地说，我想获得关于每个子进程使用的变量的信息--无论它们是主进程变量的副本，还是多个子进程之间的共享，等等。
请注意，我对在Python中调试子进程的一般技术不感兴趣，我知道关于这个主题的许多文章。我非常想要更多关于内存使用的信息。
浏览 6提问于2014-08-08得票数 0
回答已采纳
在网络研讨会期间，我听说有三种方式可供许多用户访问数据库：
每个用户使用进程
每个用户线程
和过程池
讲师说，每个用户的进程避免了处理并行/锁定/等等的需要，但是过于繁重和复杂。每个用户的线程都是轻量级的，但是需要大量的锁定开销。当访问DB时，进程池具有共享的数据结构。
我不清楚的是--用户并不总是访问相同的数据结构，不管我们是否有进程、线程或轮询--我们仍然需要实现锁定？为什么进程不需要锁定？每个用户的进程和进程池之间的区别是什么？正如讲师所说-共享数据结构。但是，如果进程不共享DB，这意味着什么？是否为每个用户复制DB假设我们正在处理每个用户的情况？
我真的希望这个问题
浏览 0提问于2018-09-30得票数 0
3回答
我正在运行4个Python脚本，简而言之，它们应该设置环境变量。
问题是，使用os.environ['TEST'] (比方说)只在运行它的Python脚本范围内设置它。
$ python test.py arg1
$ echo $TEST < ------------
这将返回空白。而从Python脚本中打印则在TEST中显示一个值
os.environ.get('TEST')
如何从python脚本设置环境变量？
作为另一种解决方法，(替代问题)如何在Python脚本之间共享数据？
浏览 0提问于2018-10-24得票数 0
我正在尝试理解如何使用ESQL管理死锁。我创建了两个并发进程，它们试图更新"customers“表，与O‘’Neil的书”数据库“中给出的示例完全相同：
但是由于某些原因，等待1完成的进程2在"exec sql update customers“语句处阻塞，而从不输入"if(sqlca.sqlcode == DEADABORT)”语句。因此，我永远无法控制死锁。
有谁有主意吗？
浏览 0提问于2010-11-26得票数 0
回答已采纳
3回答
背景：
我有一个应用程序，它很好地将我的接口逻辑与处理对数据库的查询的中间层逻辑分开。我做了很多自定义排序和缩小范围，所以我没有使用很多SqlDataSources，而是用SqlCommands调用了很多存储过程。
我正在使用表单身份验证来创建受保护的子目录。在受保护目录的web.config文件中，我有更多链接到具有更高特权角色的用户的连接字符串。
问题：
我是应该在中间层共享一个SqlConnection对象来减少重复的代码，还是应该为每个操作创建一个新的实例？如果我需要更改连接字符串以访问受保护的存储过程，我可以重新实例化一个共享SqlConnection。这里有没有最佳实践？
浏览 0提问于2010-02-03得票数 10
回答已采纳
1回答
如果这是一个很容易解决的问题，我会尝试搜索，但无法找到解决方案。我来自PHP，所以我试图实现的可能是不可能的，或者在python中需要进行不同的操作。
好的，我有一个名为database.py的类，它解析一个配置文件，并根据我使用的“数据库”类型返回sqlite或mysql的一个对象。
database.py
import mysql.connector
from mysql.connector import Error
from mysql.connector import pooling
class Database:
# Connect to the database
浏览 2提问于2020-01-30得票数 0
回答已采纳
1回答
我正在考虑一种进程基础设施，其中许多工作进程将从一个主进程中产生。每个工人将执行一个长时间运行的任务，并将在他完成任务后被杀死。在24小时内，将有大约100000个任务。在我需要将任务的结果写入postgres数据库之前，这不会成为问题，因为这将导致每天有100000个单数据库连接。
所以我的问题是:有没有一种方法可以在主进程中处理类似连接池的东西，并将连接移交给子进程？是否有可能，子进程在完成连接之前不会关闭连接(因为进程的所有者是主进程)
浏览 2提问于2016-08-08得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
