Python 3.15 并发编程新特性:TaskGroup 显式取消与 ProcessPoolExecutor 死锁修复

Python 3.15 在并发编程方面引入了两项重要改进:一是为 asyncio.TaskGroup 添加了 cancel() 方法,支持显式、非异常式的任务组取消,提升了并发代码的可控性;二是修复了 ProcessPoolExecutor 在 max_tasks_per_child 参数触发进程重启时可能发生的死锁问题(gh-115634),增强了多进程执行的稳定性。

READ

Python 3.15 在并发编程领域引入了两项关键改进:在 asyncio 中为 TaskGroup 增加了 cancel() 方法以支持显式取消整个任务组,以及修复了 ProcessPoolExecutor 在达到 max_tasks_per_child 限制后可能发生的死锁问题。这些改进提升了并发代码的健壮性和可控性。

asyncio TaskGroup 显式取消机制

在 Python 3.15 之前,asyncio.TaskGroup 主要通过异常传播或上下文管理器退出时的隐式取消来管理任务生命周期。3.15 版本引入了 TaskGroup.cancel() 方法,提供了一种非异常式的早期退出机制,允许开发者在任务组的目标已达成或不再需要时,显式取消组内所有未完成任务。

核心行为

  • 取消范围:调用 cancel() 会取消组内所有尚未完成的任务,以及任务组自身的主体(body)。
  • 非异常退出:与任务因异常而失败不同,cancel() 导致的退出不会向上传播 asyncio.CancelledError。这使得任务组可以优雅地结束,而不会触发外层的异常处理逻辑。
  • 幂等性:cancel() 是幂等的。即使任务组已经退出,再次调用也不会报错。
  • 提前取消:如果在进入 async with 上下文之前调用 cancel(),任务组在进入时即被取消。这适用于需要将任务组实例传递给子任务或外部代码,以便外部代码能触发取消的场景。

使用场景

  1. 条件触发取消:在任务组内部,根据某些条件或事件(如用户取消请求、超时)调用 tg.cancel()。
  2. 子任务控制:将 tg 或 tg.cancel 方法传递给子任务,允许子任务在特定条件下取消整个组。
  3. 远程取消:在任务组启动前,将 tg 实例传递给其他任务,由外部任务触发取消。

代码示例

import asyncio

async def main():
    async with asyncio.TaskGroup() as tg:
        task1 = tg.create_task(some_coro(...))
        task2 = tg.create_task(another_coro(...))
        # 可以在这里根据条件调用 tg.cancel()
    print(f"Both tasks have completed now: {task1.result()}, {task2.result()}")

与旧版取消机制的区别

在 3.15 之前,如果希望取消整个任务组,通常需要抛出异常或依赖任务组退出时的隐式行为。cancel() 方法提供了一种更明确、更可控的方式,避免了因异常处理逻辑复杂而导致的代码混乱。此外,任务组在内部使用取消机制来“唤醒”其 __aexit__() 方法,3.15 版本改进了对内部取消和外部取消请求的处理,确保取消计数(asyncio.Task.cancelling())被正确保留。

ProcessPoolExecutor 死锁修复 (gh-115634)

Python 3.11 引入了 ProcessPoolExecutor 的 max_tasks_per_child 参数,允许限制每个工作进程执行的任务数量,从而在任务完成后重启进程以释放资源。然而,在 3.11 至 3.14 版本中,存在一个严重的死锁问题:当 max_tasks_per_child > 1 且提交的任务数量足以触发工作进程重启时,ProcessPoolExecutor 可能会永久挂起。

死锁复现

以下代码在 Python 3.11 至 3.14 中会挂起:

import os
from concurrent.futures import ProcessPoolExecutor

with ProcessPoolExecutor(1, max_tasks_per_child=2) as exe:
    futs = [exe.submit(os.getpid) for _ in range(10)]
    for fut in futs:
        print(fut.result())

当工作进程执行完第 2 个任务后,管理器线程需要重启该进程。但由于内部状态同步问题,管理器线程和结果获取线程之间可能发生死锁,导致程序永久挂起。

修复细节

该问题在 Python 3.15 中通过 PR #140900 修复。修复的核心在于确保在进程因 max_tasks_per_child 限制而退出时,管理器线程能够正确调整进程池状态,并继续处理队列中剩余的任务。

  • 修复版本:Python 3.13, 3.14, 3.15。
  • 相关 Issue:gh-115634。
  • 相关 PR:gh-140900。

使用建议

  • 升级 Python:如果需要使用 max_tasks_per_child 参数,建议升级到 Python 3.15 或更高版本,以避免死锁风险。
  • 替代方案:在旧版本中,如果必须使用 max_tasks_per_child,可以考虑使用第三方库如 loky,它提供了更安全的进程池实现。
  • 避免触发重启:如果无法升级,可以通过设置 max_tasks_per_child 为 1 或足够大的值(使得在任务提交期间不会触发重启)来避免死锁,但这可能会牺牲资源释放的及时性。

注意事项

  • BrokenProcessPool 异常:在某些环境(如原生 Linux)中,如果进程池中的进程被意外终止,可能会抛出 BrokenProcessPool 异常,这与死锁是不同的问题,但同样需要妥善处理。
  • 多进程安全:使用 ProcessPoolExecutor 时,务必确保主模块中的代码受 if __name__ == '__main__': 保护,以避免在子进程启动时重复执行主模块代码。

参考资料

Conversation

评论

正在加载评论