如何在Pathos中正确使用多进程进行日志记录
在Pathos中正确使用多进程进行日志记录的方法如下：
- 导入必要的模块和类：
from multiprocessing import Pool
import logging- 配置日志记录器：
logger = logging.getLogger(__name__)
logger.setLevel(logging.INFO)
# 创建一个文件处理器，将日志记录到文件中
file_handler = logging.FileHandler('log.txt')
file_handler.setLevel(logging.INFO)
# 创建一个格式化器，定义日志的格式
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
file_handler.setFormatter(formatter)
# 将文件处理器添加到日志记录器中
logger.addHandler(file_handler)- 定义一个需要并行处理的函数：
def process_data(data):
# 在函数中使用日志记录器
logger.info(f'Processing data: {data}')
# 执行其他操作
# ...- 创建一个进程池，并使用
map方法调用函数：
if __name__ == '__main__':
# 创建进程池，指定进程数量
pool = Pool(processes=4)
# 定义需要处理的数据列表
data_list = [1, 2, 3, 4, 5]
# 使用进程池的map方法调用函数进行并行处理
pool.map(process_data, data_list)
# 关闭进程池
pool.close()
pool.join()以上代码示例了如何在Pathos中正确使用多进程进行日志记录。首先，我们需要配置一个日志记录器，并将日志记录到文件中。然后，定义一个需要并行处理的函数，在函数中使用日志记录器记录日志。接下来，创建一个进程池，并使用map方法调用函数进行并行处理。最后，关闭进程池。
这种方法可以提高日志记录的效率，同时避免了多进程中的日志混乱问题。在实际应用中，可以根据需要调整进程数量和日志记录的级别。腾讯云提供了多种云计算产品，如云服务器、云数据库、云存储等，可以根据具体需求选择适合的产品。更多关于腾讯云产品的信息，请访问腾讯云官方网站：腾讯云。
相关·内容
1回答
我在我的python2.7项目中的遗留代码中使用了logger。我想在特定的位置创建日志，但是python日志记录模块在默认位置创建日志文件，即从其执行的位置。
有什么方法可以改变这个默认位置吗？下面是记录器的初始化。
logger = logging.getLogger(__name__)
logger.setLevel(logging.INFO)
formatter = logging.Formatter('%(message)s')
file_handler = logging.FileHandler('file.log')
file_handler.
浏览 0提问于2020-10-05得票数 0
我的问题是: Python日志配置无法使用配置文件和多处理。
我用的是python2.7。
示例
我的example.py
import json
import logging
import logging.config
import multiprocessing
def get_logger():
with open("logging.conf") as fd:
config_json_obj = json.load(fd)
#logging.config.dictConfig(config_json_obj)
logging.b
浏览 5提问于2017-06-13得票数 1
1回答
在我的app.py模块中，我用控制台和文件处理程序设置了一个记录器，如下所示：
import logging
logger = logging.getLogger('app')
logger.setLevel(logging.DEBUG)
console_handler = logging.StreamHandler()
file_handler = logging.FileHandler('gsam_log.txt')
console_handler.setLevel(logging.INFO)
file_handler.setLevel(logging.
浏览 1提问于2018-08-01得票数 2
回答已采纳
我有一个由几个模块组成的项目。有一个主模块(main.py)，用于创建TK并加载数据。它将这些数据传递给process.py，后者使用checks.py中的函数处理这些数据。我正在尝试实现所有模块的日志记录到一个文件中。在main.py中，日志消息被写入日志文件，而在其他模块中，它们只被写入控制台。在main.py中的代码设置记录器之前，我假设它与执行部分代码的导入模块行有关，但是我不知道如何安排它来避免这种情况。在Stackoverflow上，这似乎是一个相当常见的问题，但我无法获得其他答案。我确信我没有错过太多。简化代码如下图所示：
将日志记录代码移入和移出模块中的各种函数。我开始使用的代
浏览 9提问于2019-08-02得票数 1
回答已采纳
我正在尝试为python模块设置日志记录机制。
以下是我为设置日志而编写的示例代码
import logging
def init_logger(logger):
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(filename)s - %(funcName)s - %(message)s')
ch = logging.StreamHandler()
ch.setFormatter(formatter)
ch.setLevel(logging.INFO)
lo
浏览 28提问于2019-08-13得票数 2
回答已采纳
1回答
将函数转换为返回一个实例的单例类
、、、、
我正在Python2.7上执行这个项目，并试图转换这个返回日志对象的函数。我试图确保通过导入相同的对象实例而不实际创建新实例，通过不同的python模块使用相同的对象实例。例如，如果我实际导入最初创建实例的模块，则每次导入它时都会创建一个新实例。但是我希望在所有不同的模块中使用相同的原始实例，这是我第一次运行该模块时创建的，因为由于有多个实例，在日志文件中打印了多行代码。这就是为什么Python 2.7中需要一个单例类，但是我不知道如何将这个函数转换成一个单例类，这样它就可以返回一个实例，并且我可以通过导入来使用它，而不触发新的实例。setLogger函数创建一个记录器实例，它将日志输入到fi
浏览 3提问于2020-10-18得票数 0
回答已采纳
我正在寻找关于应该如何完成多模块和多处理程序日志记录的具体建议。我已经在这里添加了我的简化代码，但我不想偏向答案-告诉我最佳实践是什么。
我想将所有内容记录到一个文件中，并将警告和以上内容记录到控制台中。
这是我的level0.py，我希望它记录到指定的文件：
import logging
from flask import Flask
from level1 import function1
app = Flask(__name__)
logger = logging.getLogger('logger0')
logger.setLevel(logging.DEBUG)
浏览 0提问于2013-02-21得票数 4
回答已采纳
2回答
下面是一些非常简单的烧瓶代码。我编写了一个http，如果您向发送请求，它将返回'hello‘并将字符串'hello’记录到/tmp/mylog.log中。
有人告诉我，如果多个进程将日志写入一个文件将有问题。因为文件上没有进程级锁。所以日志的内容可能会乱七八糟。
但是，如果我在uwsgi中运行在烧瓶代码下面，就会有多个工作区域。所以多个过程。那我想会有问题的。
但我在测试时没有发现任何问题。那为什么没有问题呢？它应该有问题吗？
import logging
from flask import Flask
app = Flask(__name__)
# The only imp
浏览 4提问于2018-01-04得票数 0
1回答
要在没有basicConfig的Python中设置日志记录，我们需要完成以下步骤：
设置文件处理程序。
设置文件处理程序的日志记录级别。
设置格式化程序。
将文件处理程序指向格式化程序。
去找记录器对象。
设置记录器对象的日志记录级别。
将文件处理程序作为处理程序添加到记录器对象中。
在记录器上使用.info()、.warning()等方法。
这些步骤由以下代码执行：
import logging
file_handler = logging.FileHandler('./out.log', 'a')
file_hand
浏览 0提问于2019-09-05得票数 4
回答已采纳
我有一个用例，我希望所有日志都放到一个文件中。我正在使用一个自定义的记录器，在这个记录器上我定义了一个文件处理程序来记录到所需的文件。 我面临的问题是，我使用的外部模块正在使用根记录器，我不希望它们也记录到同一个文件中。 自定义记录器模块 def initialize_logger():
logger = logging.getLogger("custom")
file_handler = FileHandler(filename="test")
file_handler.setLevel(logging.INFO)
file_
浏览 7提问于2019-09-07得票数 0
回答已采纳
2回答
登录GCP或本地
、、、、
假设有一个在GCP上运行的系统，但作为备份，可以在本地运行。
在云中运行时，堆栈驱动程序非常简单。
但是，如果在云中，如果不是在云中，则需要我的系统推送到堆栈驱动程序，如果不是在云中，则使用本地python记录器。
我也不想包含这样做的任何逻辑，这应该是自动的。
登录时，直接登录到Python/本地记录器。
如果在GCP上，->将这些推到堆栈驱动程序中。
我可以写逻辑，可以实现这一点，但这是错误的做法。当然，有一个直接的方法，使这一工作。
示例
import google.cloud.logging
client = google.cloud.logging.Clien
浏览 1提问于2019-11-25得票数 3
回答已采纳
1回答
我创建了一个名为log.py的模块，其中一个函数定义了如何注册日志。这是原子代码：
import logging
import time
def set_up_log():
"""
Create a logging file.
"""
#
# Create the parent logger.
#
logger = logging.getLogger(__name__)
logger.setLevel(logging.INFO)
#
# Create a file
浏览 4提问于2014-05-12得票数 1
回答已采纳
1回答
我有一个并行程序。它按顺序读取文件，每个文件中的任务被跨进程拆分。在所有进程上完成该文件后，将加载下一个文件，依此类推。我想写日志文件，这样每个数据文件都有一个新的日志文件。我希望我的所有进程都写入日志信息，并且它们不会相互干扰。在阅读了一些帖子和logging documentation之后，我想出了以下最小的示例 import numpy as np
import matplotlib.pyplot as plt
from time import time
import multiprocessing, pathos
import logging
def task(x):
th
浏览 20提问于2019-09-18得票数 0
我有一个记录器和一个类DuplicateFilter，它过滤已经记录过一次的消息。我希望将日志记录发生在筛选器中的时间包括在内，但是当我尝试访问属性上升时间时，我得到：AttributeError: 'LogRecord' object has no attribute 'asctime'。
下面是我如何设置记录器的一个小例子：
import logging
import logging.handlers as log_handlers
def setup_logger(filename):
class DuplicateFilter(object):
浏览 0提问于2018-07-18得票数 6
我试图为我的python代码设置记录器，我想从配置文件中设置日志的级别。但我做不到。这里给出了下面的代码，如果您注意到在下面给定的代码中可以看到logger.setLevel(logging.INFO).我不想直接提到硬编码的值logging.INFO。需要从配置文件中获取这些信息，有可能吗？
import logging
from logging.config import fileConfig
from datetime import date
class Log:
@staticmethod
def trace():
浏览 6提问于2021-02-09得票数 2
回答已采纳
我有下面的代码来创建两个日志处理程序。目标是让stream_handler只写到sterr，file_handler只写到文件。
在下面的代码中，stream_handler也会写入文件，所以每当我记录消息时都会有重复的日志条目。如何修改它以使stream_handler不写入文件？
def create_timed_rotating_log(
name='log',
path='logs/',
when='D',
interval=1,
backupCount=30
浏览 0提问于2019-08-17得票数 0
回答已采纳
1回答
我正在努力将所有日志记录转换为logging库，但我已经在这一步上卡住了一段时间。我通常使用一些颜色代码转义序列登录到控制台进行格式化。这在控制台中工作得很好，但在日志文件中就不行了，因为日志文件中不应该有任何转义序列。因此，我有一个修剪转义序列的函数。但是，我不知道如何将该函数链接到用于控制台输出的格式化程序。 下面是我为日志设置准备的内容： file_formatter = new_logging.Formatter(log_file_format)
file_handler = logging.FileHandler(output_path)
file_hand
浏览 14提问于2019-03-09得票数 0
回答已采纳
2回答
我正在努力加强Python脚本中的日志记录，如果能够与我分享最佳实践，我将非常感激。现在，我已经创建了这个小脚本(应该说我运行Python3.4)
import logging
import io
import sys
def Streamhandler(stream, level, format="%(asctime)s - %(name)s - %(levelname)s - %(message)s"):
ch = logging.StreamHandler(stream)
ch.setLevel(level)
formatter = loggin
浏览 6提问于2015-06-25得票数 1
回答已采纳
2回答
类不会在日志中写入任何内容。
、、、、
我是在日志记录手册的帮助下写这篇文章的--这段代码应该为每个“设备”写一行。它创建日志文件，但是里面没有写任何东西。
#!/usr/bin/env python
from __future__ import unicode_literals
import json
import logging
import glob
import logging.handlers
# This next bit is to ensure the script runs unchanged on 2.x and 3.x
try:
unicode
except NameError:
unic
浏览 2提问于2013-09-29得票数 1
回答已采纳
我正在尝试使用python内置的日志和多进程。目标--将错误记录到一个名为"error.log“的文件中--在控制台中打印错误，而不是在日志文件中打印。请参阅下面的代码
import concurrent.futures
from itertools import repeat
import logging
def data_logging():
error_logger = logging.getLogger("error.log")
error_logger.setLevel(logging.ERROR)
formatter = logg
浏览 3提问于2020-12-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
