运行多个独立代码的Python

基础概念

运行多个独立代码的Python通常指的是在同一个Python环境中并行或并发地执行多个脚本或任务。这可以通过多种方式实现，包括但不限于多线程、多进程、异步编程等。

类型

多线程：使用threading模块，适用于I/O密集型任务。
多进程：使用multiprocessing模块，适用于CPU密集型任务。
异步编程：使用asyncio模块，适用于高I/O、低延迟的场景。

应用场景

数据处理：如大规模数据清洗、分析。
Web服务器：处理多个并发请求。
自动化任务：如定时任务、批处理任务。

遇到的问题及解决方法

问题1：线程安全问题

原因：多个线程同时访问和修改共享资源可能导致数据不一致或错误。

解决方法：

使用线程锁（threading.Lock）来保护共享资源。
使用线程安全的队列（queue.Queue）进行线程间通信。

import threading

lock = threading.Lock()
shared_resource = 0

def thread_task():
    global shared_resource
    for _ in range(100000):
        lock.acquire()
        shared_resource += 1
        lock.release()

threads = [threading.Thread(target=thread_task) for _ in range(10)]
for thread in threads:
    thread.start()
for thread in threads:
    thread.join()

print(shared_resource)  # 输出应为1000000

问题2：进程间通信复杂

原因：多进程环境下，进程间通信比线程间通信更复杂。

解决方法：

使用multiprocessing.Queue进行进程间通信。
使用multiprocessing.Pipe进行双向通信。

import multiprocessing

def process_task(queue):
    queue.put("Hello from process")

queue = multiprocessing.Queue()
process = multiprocessing.Process(target=process_task, args=(queue,))
process.start()
process.join()

print(queue.get())  # 输出应为"Hello from process"

问题3：异步编程回调地狱

原因：异步编程中，回调函数嵌套可能导致代码难以维护。

解决方法：

使用asyncio库中的async和await关键字简化异步代码。
使用asyncio.gather并发执行多个异步任务。

import asyncio

async def async_task(task_name, delay):
    await asyncio.sleep(delay)
    print(f"{task_name} completed")

async def main():
    task1 = asyncio.create_task(async_task("Task 1", 2))
    task2 = asyncio.create_task(async_task("Task 2", 1))
    await asyncio.gather(task1, task2)

asyncio.run(main())