Python多进程vs多线程

0x00前言

  近期处理亿级数据,发现对于耗费CPU的程序(正则检索等)而言Python的多线程由于线程调度还不如单线程效率高,然而多CPU环境下,多线程与单线程最多只能使得单个CPU达到100%利用率。利用Python多进程(multiprocessing)可以使得多个CPU同时工作,利用效率大大提升