Python多处理-如何实现共享计数器和队列

在Python中，多进程编程可以通过multiprocessing模块来实现。这个模块提供了一个简单的方式来创建和管理多个进程，同时它也提供了一些用于进程间通信和同步的机制，比如共享内存和服务器进程。

共享计数器

共享计数器通常用于多个进程需要对同一个变量进行增减操作的场景。在multiprocessing模块中，可以使用Value或Array来创建可以在不同进程间共享的变量。

示例代码：实现共享计数器

from multiprocessing import Process, Value

def increment(counter, amount):
    with counter.get_lock():
        counter.value += amount

if __name__ == "__main__":
    counter = Value('i', 0)  # 'i'表示整数类型，初始值为0
    processes = [Process(target=increment, args=(counter, 1)) for _ in range(10)]

    for p in processes:
        p.start()
    for p in processes:
        p.join()

    print(f"Final counter value: {counter.value}")

在这个例子中，我们创建了一个共享的整数计数器，并启动了10个进程来增加它的值。每个进程都会获取计数器的锁，以确保在同一时间只有一个进程可以修改计数器的值。

共享队列

共享队列用于在多个进程间传递数据。multiprocessing模块提供了Queue类来实现这一功能。

示例代码：实现共享队列

from multiprocessing import Process, Queue

def producer(queue):
    for i in range(5):
        queue.put(i)
        print(f"Produced: {i}")

def consumer(queue):
    while True:
        item = queue.get()
        if item is None:  # Sentinel value to indicate end of production
            break
        print(f"Consumed: {item}")

if __name__ == "__main__":
    queue = Queue()
    producer_process = Process(target=producer, args=(queue,))
    consumer_process = Process(target=consumer, args=(queue,))

    producer_process.start()
    consumer_process.start()

    producer_process.join()
    queue.put(None)  # Send sentinel value to indicate end of production
    consumer_process.join()

在这个例子中，我们创建了一个生产者进程和一个消费者进程，它们通过一个共享队列进行通信。生产者将数据放入队列，消费者从队列中取出数据。