一文速通 Python 并行计算:09 Python 多进程编程-进程之间的数据同步-基于互斥锁、递归锁、信号量、条件变量、事件和屏障
摘要:
多进程同步机制包括互斥锁、递归锁、信号量、条件变量、事件和屏障等:互斥锁用于保护共享资源,递归锁支持同一进程重复加锁,信号量可控制访问资源的数量,条件变量用于进程间等待特定条件,事件用于进程间通信和同步,屏障用于多个进程在特定点同步,确保协同运行。
关于我们更多介绍可以查看云文档:Freak 嵌入式工作室云文档,或者访问我们的 wiki:****https://github.com/leezisheng/Doc/wik
原文链接:
往期推荐:
全网最适合入门的面向对象编程教程:00 面向对象设计方法导论
全网最适合入门的面向对象编程教程:01 面向对象编程的基本概念
全网最适合入门的面向对象编程教程:02 类和对象的 Python 实现-使用 Python 创建类
全网最适合入门的面向对象编程教程:03 类和对象的 Python 实现-为自定义类添加属性
全网最适合入门的面向对象编程教程:04 类和对象的Python实现-为自定义类添加方法
全网最适合入门的面向对象编程教程:05 类和对象的Python实现-PyCharm代码标签
全网最适合入门的面向对象编程教程:06 类和对象的Python实现-自定义类的数据封装
全网最适合入门的面向对象编程教程:07 类和对象的Python实现-类型注解
全网最适合入门的面向对象编程教程:08 类和对象的Python实现-@property装饰器
全网最适合入门的面向对象编程教程:09 类和对象的Python实现-类之间的关系
全网最适合入门的面向对象编程教程:10 类和对象的Python实现-类的继承和里氏替换原则
全网最适合入门的面向对象编程教程:11 类和对象的Python实现-子类调用父类方法
全网最适合入门的面向对象编程教程:12 类和对象的Python实现-Python使用logging模块输出程序运行日志
全网最适合入门的面向对象编程教程:13 类和对象的Python实现-可视化阅读代码神器Sourcetrail的安装使用
全网最适合入门的面向对象编程教程:全网最适合入门的面向对象编程教程:14 类和对象的Python实现-类的静态方法和类方法
全网最适合入门的面向对象编程教程:15 类和对象的 Python 实现-__slots__魔法方法
全网最适合入门的面向对象编程教程:16 类和对象的Python实现-多态、方法重写与开闭原则
全网最适合入门的面向对象编程教程:17 类和对象的Python实现-鸭子类型与“file-like object“
全网最适合入门的面向对象编程教程:18 类和对象的Python实现-多重继承与PyQtGraph串口数据绘制曲线图
全网最适合入门的面向对象编程教程:19 类和对象的 Python 实现-使用 PyCharm 自动生成文件注释和函数注释
全网最适合入门的面向对象编程教程:20 类和对象的Python实现-组合关系的实现与CSV文件保存
全网最适合入门的面向对象编程教程:21 类和对象的Python实现-多文件的组织:模块module和包package
全网最适合入门的面向对象编程教程:22 类和对象的Python实现-异常和语法错误
全网最适合入门的面向对象编程教程:23 类和对象的Python实现-抛出异常
全网最适合入门的面向对象编程教程:24 类和对象的Python实现-异常的捕获与处理
全网最适合入门的面向对象编程教程:25 类和对象的Python实现-Python判断输入数据类型
全网最适合入门的面向对象编程教程:26 类和对象的Python实现-上下文管理器和with语句
全网最适合入门的面向对象编程教程:27 类和对象的Python实现-Python中异常层级与自定义异常类的实现
全网最适合入门的面向对象编程教程:28 类和对象的Python实现-Python编程原则、哲学和规范大汇总
全网最适合入门的面向对象编程教程:29 类和对象的Python实现-断言与防御性编程和help函数的使用
全网最适合入门的面向对象编程教程:30 Python的内置数据类型-object根类
全网最适合入门的面向对象编程教程:31 Python的内置数据类型-对象Object和类型Type
全网最适合入门的面向对象编程教程:32 Python的内置数据类型-类Class和实例Instance
全网最适合入门的面向对象编程教程:33 Python的内置数据类型-对象Object和类型Type的关系
全网最适合入门的面向对象编程教程:34 Python的内置数据类型-Python常用复合数据类型:元组和命名元组
全网最适合入门的面向对象编程教程:35 Python的内置数据类型-文档字符串和__doc__属性
全网最适合入门的面向对象编程教程:36 Python的内置数据类型-字典
全网最适合入门的面向对象编程教程:37 Python常用复合数据类型-列表和列表推导式
全网最适合入门的面向对象编程教程:38 Python常用复合数据类型-使用列表实现堆栈、队列和双端队列
全网最适合入门的面向对象编程教程:39 Python常用复合数据类型-集合
全网最适合入门的面向对象编程教程:40 Python常用复合数据类型-枚举和enum模块的使用
全网最适合入门的面向对象编程教程:41 Python常用复合数据类型-队列(FIFO、LIFO、优先级队列、双端队列和环形队列)
全网最适合入门的面向对象编程教程:42 Python常用复合数据类型-collections容器数据类型
全网最适合入门的面向对象编程教程:43 Python常用复合数据类型-扩展内置数据类型
全网最适合入门的面向对象编程教程:44 Python内置函数与魔法方法-重写内置类型的魔法方法
全网最适合入门的面向对象编程教程:45 Python实现常见数据结构-链表、树、哈希表、图和堆
全网最适合入门的面向对象编程教程:46 Python函数方法与接口-函数与事件驱动框架
全网最适合入门的面向对象编程教程:47 Python函数方法与接口-回调函数Callback
全网最适合入门的面向对象编程教程:48 Python函数方法与接口-位置参数、默认参数、可变参数和关键字参数
全网最适合入门的面向对象编程教程:49 Python函数方法与接口-函数与方法的区别和lamda匿名函数
全网最适合入门的面向对象编程教程:50 Python函数方法与接口-接口和抽象基类
全网最适合入门的面向对象编程教程:51 Python函数方法与接口-使用Zope实现接口
全网最适合入门的面向对象编程教程:52 Python函数方法与接口-Protocol协议与接口
全网最适合入门的面向对象编程教程:53 Python字符串与序列化-字符串与字符编码
全网最适合入门的面向对象编程教程:54 Python字符串与序列化-字符串格式化与format方法
全网最适合入门的面向对象编程教程:55 Python字符串与序列化-字节序列类型和可变字节字符串
全网最适合入门的面向对象编程教程:56 Python字符串与序列化-正则表达式和re模块应用
全网最适合入门的面向对象编程教程:57 Python字符串与序列化-序列化与反序列化
全网最适合入门的面向对象编程教程:58 Python字符串与序列化-序列化Web对象的定义与实现
全网最适合入门的面向对象编程教程:59 Python并行与并发-并行与并发和线程与进程
一文速通Python并行计算:01 Python多线程编程-基本概念、切换流程、GIL锁机制和生产者与消费者模型
一文速通Python并行计算:02 Python多线程编程-threading模块、线程的创建和查询与守护线程
一文速通Python并行计算:03 Python多线程编程-多线程同步(上)—基于互斥锁、递归锁和信号量
一文速通Python并行计算:04 Python多线程编程-多线程同步(下)—基于条件变量、事件和屏障
一文速通Python并行计算:05 Python多线程编程-线程的定时运行
一文速通Python并行计算:06 Python多线程编程-基于队列进行通信
一文速通Python并行计算:07 Python多线程编程-线程池的使用和多线程的性能评估
更多精彩内容可看:
给你的 Python 加加速:一文速通 Python 并行计算
一个MicroPython的开源项目集锦:awesome-micropython,包含各个方面的Micropython工具库
万字长文手把手教你实现MicroPython/Python发布第三方库
工科比赛“无脑”操作指南:知识学习硬件选购→代码调试→报告撰写的保姆级路线图
文档获取:
可访问如下链接进行对文档下载:
https://github.com/leezisheng/Doc
该文档是一份关于 并行计算 和 Python 并发编程 的学习指南,内容涵盖了并行计算的基本概念、Python 多线程编程、多进程编程以及协程编程的核心知识点:
正文
进程之间数据除了共享内存、共享进程外不共享,但是共享同一套文件系统,所以访问同一个文件,或同一个打印终端,是没有问题的,而共享带来的是竞争,竞争带来的结果就是错乱,如何控制,需要进程之间进行同步。
进程的同步原语包括:Lock
、Event
、Condition
、Semaphore
、Rlock
、Barrier
。相关的同步原语和线程的库很类似。
如下代码是多个进程不同步共享同一打印终端,采用并发运行,效率高,但竞争同一打印终端,带来了打印错乱。
from multiprocessing import Process
import os,time
def work():
print('%s is running' %os.getpid())
time.sleep(2)
print('%s is done' %os.getpid())
if __name__ == '__main__':
for i in range(3):
p=Process(target=work)
p.start()
以下为运行效果,可以看到并应该是三个进程轮流输出的两条语句变为乱序输出。
1.基于互斥锁的进程数据同步
如下 work
函数中利用 acquire()
和 release()
,来控制共享数据的读写权限:
from multiprocessing import Process,Lock
import os,time
def work(lock):
lock.acquire()
print('%s is running' %os.getpid())
time.sleep(2)
print('%s is done' %os.getpid())
lock.release()
if __name__ == '__main__':
lock=Lock()
for i in range(3):
p=Process(target=work,args=(lock,))
p.start()
可以看到按序输出,加锁实现由并发变成了串行,牺牲了运行效率,但避免了竞争。
2.基于递归锁的进程数据同步
示例代码如下:
from multiprocessing import Process,RLock
import multiprocessing
import time
mutex = RLock()
def test(mutex):
if mutex.acquire():
print("I am %s" % multiprocessing.current_process().name)
if mutex.acquire():
print("I am %s" % multiprocessing.current_process().name)
mutex.release()
time.sleep(1)
mutex.release()
if __name__ == '__main__':
for i in range(0, 10):
p = Process(target=test,args=(mutex,))
p.start()
输出如下,可以看到输出正常:
3.基于信号量的进程数据同步
以下为示例代码,从运行结果中我们可以看到两个 print
依次输出。
from multiprocessing import Process,Semaphore
import multiprocessing
import time
_# 创建一个信号量,信号量是一个内部数据_
_# 用于标明当前的共享资源可以有多少并发读取_
semaphore = Semaphore(1)
def test(semaphore):
_# 测试控制该资源的信号量。_
if semaphore.acquire():
_# 若此信号量的值为正,则允许进行使用该资源。线程将信号量减 1。_
print("I am %s,pid:%s" % (multiprocessing.current_process().name,multiprocessing.current_process().pid))
print("%s am runing" % multiprocessing.current_process().name)
semaphore.release()
if __name__ == '__main__':
for i in range(0, 10):
p = Process(target=test,args=(semaphore,))
p.start()
4.基于条件变量的进程数据同步
这里,我们以生产者消费者模型为例,在多线程的基于条件变量的线程同步示例中,我们使用全局变量当作缓存,在本例中,我们同样如此。
有些同学会问,不是说进程中的数据是独立的吗?没错,在多进程编程中,不同的进程之间默认情况下是无法共享数据的。但 Python 提供了一些机制来实现多进程间的数据共享,其中之一是共享内存。共享内存允许多个进程共享一个存储区域,一个进程写入共享内存中的信息,其他进程可以方便的读取。在 Python 中可以使用 Value
、Array
将数据存储在共享内存中,也可以使用 multiprocessing
模块中 sharedctypes
自定义共享内存的 ctypes
对象。
下例中,以 value
对象作为缓存,只要缓存不满,生产者一直向缓存生产;只要缓存不空,消费者一直从缓存取出(之后销毁)。
当缓冲队列不为空的时候,生产者将通知消费者;当缓冲队列不满的时候,消费者将通知生产者。
from multiprocessing import Process,Condition,Value
import multiprocessing
import time
condition = Condition()
products = Value('i', 0)
_# 生产者进程_
def Producer(condition,products):
while True:
if condition.acquire():
_# 消费者通过拿到锁来修改共享的资源_
if products.value < 10 xss=removed> 1:
_# 只要缓存不空,消费者一直从缓存取出(之后销毁)_
products.value -= 1
print("Consumer(%s):consume one, now products:%s" % (multiprocessing.current_process().name, products.value))
_# 当缓冲队列不满的时候,消费者将通知生产者。_
condition.notify()
else:
_# 缓存空,消费者线程等待_
print("Consumer(%s):only 1, stop consume, products:%s" % (multiprocessing.current_process().name, products.value))
condition.wait()
_# 释放资源_
condition.release()
time.sleep(1)
if __name__ == '__main__':
ProducerProcess = Process(target=Producer,args=(condition,products))
ConsumerProcess = Process(target=Consumer, args=(condition, products))
ProducerProcess.start()
ConsumerProcess.start()
如下为运行情况,可以看到正常运行。
5.基于事件的进程数据同步
示例代码和运行结果如下,与多线程中类似。
from multiprocessing import Process,Event
import multiprocessing
event = Event()
def worker(event_obj, i):
print('{i}号进程等待事件信号'.format(i=i))
event_obj.wait()
print('{i}号进程收到事件信号'.format(i=i))
if __name__ == '__main__':
for i in range(5):
p = Process(target=worker, args=(event, i))
p.start()
event.set()
6.基于屏障的进程数据同步
下面的代码展示了如何使用 barrier()
函数来同步两个进程。我们有 4 个进程,进程 1 和进程 2 由 barrier
语句管理,进程 3 和进程 4 没有同步策略。
import multiprocessing
from multiprocessing import Barrier, Lock, Process
import time
from datetime import datetime
def test_with_barrier(synchronizer, serializer):
name = multiprocessing.current_process().name
synchronizer.wait()
now = time.time()
time.sleep(1)
with serializer:
print("process %s ----> %s" % (name, datetime.fromtimestamp(now)))
def test_without_barrier():
name = multiprocessing.current_process().name
now = time.time()
print("process %s ----> %s" % (name, datetime.fromtimestamp(now)))
if __name__ == '__main__':
synchronizer = Barrier(2)
serializer = Lock()
Process(name='p1 - test_with_barrier', target=test_with_barrier, args=(synchronizer,serializer)).start()
Process(name='p2 - test_with_barrier', target=test_with_barrier, args=(synchronizer,serializer)).start()
Process(name='p3 - test_without_barrier', target=test_without_barrier).start()
Process(name='p4 - test_without_barrier', target=test_without_barrier).start()
运行代码,将看到进程 1 和进程 2 在同一时间打印:
下面这幅图表示了 barrier 如何同步两个进程: