一文速通Python并行计算:09 Python多进程编程-进程之间的数据同步-基于互斥锁、递归锁、信号量、条件变量、事件和屏障

一文速通 Python 并行计算:09 Python 多进程编程-进程之间的数据同步-基于互斥锁、递归锁、信号量、条件变量、事件和屏障

image

摘要:

多进程同步机制包括互斥锁、递归锁、信号量、条件变量、事件和屏障等:互斥锁用于保护共享资源,递归锁支持同一进程重复加锁,信号量可控制访问资源的数量,条件变量用于进程间等待特定条件,事件用于进程间通信和同步,屏障用于多个进程在特定点同步,确保协同运行。

image

关于我们更多介绍可以查看云文档:Freak 嵌入式工作室云文档,或者访问我们的 wiki:****https://github.com/leezisheng/Doc/wik

原文链接:

FreakStudio的博客

往期推荐:

学嵌入式的你,还不会面向对象??!

全网最适合入门的面向对象编程教程:00 面向对象设计方法导论

全网最适合入门的面向对象编程教程:01 面向对象编程的基本概念

全网最适合入门的面向对象编程教程:02 类和对象的 Python 实现-使用 Python 创建类

全网最适合入门的面向对象编程教程:03 类和对象的 Python 实现-为自定义类添加属性

全网最适合入门的面向对象编程教程:04 类和对象的Python实现-为自定义类添加方法

全网最适合入门的面向对象编程教程:05 类和对象的Python实现-PyCharm代码标签

全网最适合入门的面向对象编程教程:06 类和对象的Python实现-自定义类的数据封装

全网最适合入门的面向对象编程教程:07 类和对象的Python实现-类型注解

全网最适合入门的面向对象编程教程:08 类和对象的Python实现-@property装饰器

全网最适合入门的面向对象编程教程:09 类和对象的Python实现-类之间的关系

全网最适合入门的面向对象编程教程:10 类和对象的Python实现-类的继承和里氏替换原则

全网最适合入门的面向对象编程教程:11 类和对象的Python实现-子类调用父类方法

全网最适合入门的面向对象编程教程:12 类和对象的Python实现-Python使用logging模块输出程序运行日志

全网最适合入门的面向对象编程教程:13 类和对象的Python实现-可视化阅读代码神器Sourcetrail的安装使用

全网最适合入门的面向对象编程教程:全网最适合入门的面向对象编程教程:14 类和对象的Python实现-类的静态方法和类方法

全网最适合入门的面向对象编程教程:15 类和对象的 Python 实现-__slots__魔法方法

全网最适合入门的面向对象编程教程:16 类和对象的Python实现-多态、方法重写与开闭原则

全网最适合入门的面向对象编程教程:17 类和对象的Python实现-鸭子类型与“file-like object“

全网最适合入门的面向对象编程教程:18 类和对象的Python实现-多重继承与PyQtGraph串口数据绘制曲线图

全网最适合入门的面向对象编程教程:19 类和对象的 Python 实现-使用 PyCharm 自动生成文件注释和函数注释

全网最适合入门的面向对象编程教程:20 类和对象的Python实现-组合关系的实现与CSV文件保存

全网最适合入门的面向对象编程教程:21 类和对象的Python实现-多文件的组织:模块module和包package

全网最适合入门的面向对象编程教程:22 类和对象的Python实现-异常和语法错误

全网最适合入门的面向对象编程教程:23 类和对象的Python实现-抛出异常

全网最适合入门的面向对象编程教程:24 类和对象的Python实现-异常的捕获与处理

全网最适合入门的面向对象编程教程:25 类和对象的Python实现-Python判断输入数据类型

全网最适合入门的面向对象编程教程:26 类和对象的Python实现-上下文管理器和with语句

全网最适合入门的面向对象编程教程:27 类和对象的Python实现-Python中异常层级与自定义异常类的实现

全网最适合入门的面向对象编程教程:28 类和对象的Python实现-Python编程原则、哲学和规范大汇总

全网最适合入门的面向对象编程教程:29 类和对象的Python实现-断言与防御性编程和help函数的使用

全网最适合入门的面向对象编程教程:30 Python的内置数据类型-object根类

全网最适合入门的面向对象编程教程:31 Python的内置数据类型-对象Object和类型Type

全网最适合入门的面向对象编程教程:32 Python的内置数据类型-类Class和实例Instance

全网最适合入门的面向对象编程教程:33 Python的内置数据类型-对象Object和类型Type的关系

全网最适合入门的面向对象编程教程:34 Python的内置数据类型-Python常用复合数据类型:元组和命名元组

全网最适合入门的面向对象编程教程:35 Python的内置数据类型-文档字符串和__doc__属性

全网最适合入门的面向对象编程教程:36 Python的内置数据类型-字典

全网最适合入门的面向对象编程教程:37 Python常用复合数据类型-列表和列表推导式

全网最适合入门的面向对象编程教程:38 Python常用复合数据类型-使用列表实现堆栈、队列和双端队列

全网最适合入门的面向对象编程教程:39 Python常用复合数据类型-集合

全网最适合入门的面向对象编程教程:40 Python常用复合数据类型-枚举和enum模块的使用

全网最适合入门的面向对象编程教程:41 Python常用复合数据类型-队列(FIFO、LIFO、优先级队列、双端队列和环形队列)

全网最适合入门的面向对象编程教程:42 Python常用复合数据类型-collections容器数据类型

全网最适合入门的面向对象编程教程:43 Python常用复合数据类型-扩展内置数据类型

全网最适合入门的面向对象编程教程:44 Python内置函数与魔法方法-重写内置类型的魔法方法

全网最适合入门的面向对象编程教程:45 Python实现常见数据结构-链表、树、哈希表、图和堆

全网最适合入门的面向对象编程教程:46 Python函数方法与接口-函数与事件驱动框架

全网最适合入门的面向对象编程教程:47 Python函数方法与接口-回调函数Callback

全网最适合入门的面向对象编程教程:48 Python函数方法与接口-位置参数、默认参数、可变参数和关键字参数

全网最适合入门的面向对象编程教程:49 Python函数方法与接口-函数与方法的区别和lamda匿名函数

全网最适合入门的面向对象编程教程:50 Python函数方法与接口-接口和抽象基类

全网最适合入门的面向对象编程教程:51 Python函数方法与接口-使用Zope实现接口

全网最适合入门的面向对象编程教程:52 Python函数方法与接口-Protocol协议与接口

全网最适合入门的面向对象编程教程:53 Python字符串与序列化-字符串与字符编码

全网最适合入门的面向对象编程教程:54 Python字符串与序列化-字符串格式化与format方法

全网最适合入门的面向对象编程教程:55 Python字符串与序列化-字节序列类型和可变字节字符串

全网最适合入门的面向对象编程教程:56 Python字符串与序列化-正则表达式和re模块应用

全网最适合入门的面向对象编程教程:57 Python字符串与序列化-序列化与反序列化

全网最适合入门的面向对象编程教程:58 Python字符串与序列化-序列化Web对象的定义与实现

全网最适合入门的面向对象编程教程:59 Python并行与并发-并行与并发和线程与进程

一文速通Python并行计算:00 并行计算的基本概念

一文速通Python并行计算:01 Python多线程编程-基本概念、切换流程、GIL锁机制和生产者与消费者模型

一文速通Python并行计算:02 Python多线程编程-threading模块、线程的创建和查询与守护线程

一文速通Python并行计算:03 Python多线程编程-多线程同步(上)—基于互斥锁、递归锁和信号量

一文速通Python并行计算:04 Python多线程编程-多线程同步(下)—基于条件变量、事件和屏障

一文速通Python并行计算:05 Python多线程编程-线程的定时运行

一文速通Python并行计算:06 Python多线程编程-基于队列进行通信

一文速通Python并行计算:07 Python多线程编程-线程池的使用和多线程的性能评估

更多精彩内容可看:

给你的 Python 加加速:一文速通 Python 并行计算

一文搞懂 CM3 单片机调试原理

肝了半个月,嵌入式技术栈大汇总出炉

电子计算机类比赛的“武林秘籍”

一个MicroPython的开源项目集锦:awesome-micropython,包含各个方面的Micropython工具库

Avnet ZUBoard 1CG开发板—深度学习新选择

工程师不要迷信开源代码,还要注重基本功

什么?配色个性化的电机驱动模块?!!

什么?XIAO主控新出三款扩展板!

手把手教你实现Arduino发布第三方库

万字长文手把手教你实现MicroPython/Python发布第三方库

一文速通电子设计大赛,电子人必看的获奖秘籍

一文速通光电设计大赛,电子人必看!

工科比赛“无脑”操作指南:知识学习硬件选购→代码调试→报告撰写的保姆级路线图

单场会议拍摄收费6000+?拍摄技巧和步骤都在这里

0基础如何冲击大唐杯国奖?学姐的的备赛心得都在这里

文档获取:

可访问如下链接进行对文档下载:

https://github.com/leezisheng/Doc

该文档是一份关于 并行计算Python 并发编程 的学习指南,内容涵盖了并行计算的基本概念、Python 多线程编程、多进程编程以及协程编程的核心知识点:

image

正文

进程之间数据除了共享内存、共享进程外不共享,但是共享同一套文件系统,所以访问同一个文件,或同一个打印终端,是没有问题的,而共享带来的是竞争,竞争带来的结果就是错乱,如何控制,需要进程之间进行同步。

进程的同步原语包括:LockEventConditionSemaphoreRlockBarrier。相关的同步原语和线程的库很类似。

如下代码是多个进程不同步共享同一打印终端,采用并发运行,效率高,但竞争同一打印终端,带来了打印错乱。

from multiprocessing import Process
import os,time
def work():
    print('%s is running' %os.getpid())
    time.sleep(2)
    print('%s is done' %os.getpid())

if __name__ == '__main__':
    for i in range(3):
        p=Process(target=work)
        p.start()

以下为运行效果,可以看到并应该是三个进程轮流输出的两条语句变为乱序输出。

image

1.基于互斥锁的进程数据同步

如下 work 函数中利用 acquire()release() ,来控制共享数据的读写权限:

from multiprocessing import Process,Lock
import os,time
def work(lock):
    lock.acquire()
    print('%s is running' %os.getpid())
    time.sleep(2)
    print('%s is done' %os.getpid())
    lock.release()
if __name__ == '__main__':
    lock=Lock()
    for i in range(3):
        p=Process(target=work,args=(lock,))
        p.start()

image

可以看到按序输出,加锁实现由并发变成了串行,牺牲了运行效率,但避免了竞争。

image

2.基于递归锁的进程数据同步

示例代码如下:

from multiprocessing import Process,RLock
import multiprocessing
import time

mutex = RLock()

def test(mutex):
    if mutex.acquire():
        print("I am %s" % multiprocessing.current_process().name)
        if mutex.acquire():
            print("I am %s" % multiprocessing.current_process().name)
            mutex.release()
            time.sleep(1)
        mutex.release()

if __name__ == '__main__':
    for i in range(0, 10):
        p = Process(target=test,args=(mutex,))
        p.start()

输出如下,可以看到输出正常:

image

image

3.基于信号量的进程数据同步

以下为示例代码,从运行结果中我们可以看到两个 print 依次输出。

from multiprocessing import Process,Semaphore
import multiprocessing
import time

_# 创建一个信号量,信号量是一个内部数据_
_# 用于标明当前的共享资源可以有多少并发读取_
semaphore = Semaphore(1)

def test(semaphore):
    _# 测试控制该资源的信号量。_
    if semaphore.acquire():
        _# 若此信号量的值为正,则允许进行使用该资源。线程将信号量减 1。_
        print("I am %s,pid:%s" % (multiprocessing.current_process().name,multiprocessing.current_process().pid))
        print("%s am runing" % multiprocessing.current_process().name)
        semaphore.release()

if __name__ == '__main__':
    for i in range(0, 10):
        p = Process(target=test,args=(semaphore,))
        p.start()

image

4.基于条件变量的进程数据同步

这里,我们以生产者消费者模型为例,在多线程的基于条件变量的线程同步示例中,我们使用全局变量当作缓存,在本例中,我们同样如此。

有些同学会问,不是说进程中的数据是独立的吗?没错,在多进程编程中,不同的进程之间默认情况下是无法共享数据的。但 Python 提供了一些机制来实现多进程间的数据共享,其中之一是共享内存。共享内存允许多个进程共享一个存储区域,一个进程写入共享内存中的信息,其他进程可以方便的读取。在 Python 中可以使用 ValueArray 将数据存储在共享内存中,也可以使用 multiprocessing 模块中 sharedctypes 自定义共享内存的 ctypes 对象。

image

下例中,以 value 对象作为缓存,只要缓存不满,生产者一直向缓存生产;只要缓存不空,消费者一直从缓存取出(之后销毁)。

当缓冲队列不为空的时候,生产者将通知消费者;当缓冲队列不满的时候,消费者将通知生产者。

from multiprocessing import Process,Condition,Value
import multiprocessing
import time

condition = Condition()
products = Value('i', 0)

_# 生产者进程_
def Producer(condition,products):
    while True:
        if condition.acquire():
        _# 消费者通过拿到锁来修改共享的资源_
            if products.value < 10 xss=removed> 1:
            _# 只要缓存不空,消费者一直从缓存取出(之后销毁)_
                products.value -= 1
                print("Consumer(%s):consume one, now products:%s" % (multiprocessing.current_process().name, products.value))
                _# 当缓冲队列不满的时候,消费者将通知生产者。_
                condition.notify()
            else:
            _# 缓存空,消费者线程等待_
                print("Consumer(%s):only 1, stop consume, products:%s" % (multiprocessing.current_process().name, products.value))
                condition.wait()
            _# 释放资源_
            condition.release()
            time.sleep(1)

if __name__ == '__main__':
    ProducerProcess = Process(target=Producer,args=(condition,products))
    ConsumerProcess = Process(target=Consumer, args=(condition, products))
    ProducerProcess.start()
    ConsumerProcess.start()

如下为运行情况,可以看到正常运行。

image

5.基于事件的进程数据同步

示例代码和运行结果如下,与多线程中类似。

from multiprocessing import Process,Event
import multiprocessing

event = Event()

def worker(event_obj, i):
    print('{i}号进程等待事件信号'.format(i=i))
    event_obj.wait()
    print('{i}号进程收到事件信号'.format(i=i))

if __name__ == '__main__':
    for i in range(5):
        p = Process(target=worker, args=(event, i))
        p.start()
    event.set()

image

6.基于屏障的进程数据同步

下面的代码展示了如何使用 barrier() 函数来同步两个进程。我们有 4 个进程,进程 1 和进程 2 由 barrier 语句管理,进程 3 和进程 4 没有同步策略。

import multiprocessing
from multiprocessing import Barrier, Lock, Process
import time
from datetime import datetime

def test_with_barrier(synchronizer, serializer):
    name = multiprocessing.current_process().name
    synchronizer.wait()
    now = time.time()
    time.sleep(1)
    with serializer:
        print("process %s ----> %s" % (name, datetime.fromtimestamp(now)))

def test_without_barrier():
    name = multiprocessing.current_process().name
    now = time.time()
    print("process %s ----> %s" % (name, datetime.fromtimestamp(now)))

if __name__ == '__main__':
    synchronizer = Barrier(2)
    serializer = Lock()
    Process(name='p1 - test_with_barrier', target=test_with_barrier, args=(synchronizer,serializer)).start()
    Process(name='p2 - test_with_barrier', target=test_with_barrier, args=(synchronizer,serializer)).start()
    Process(name='p3 - test_without_barrier', target=test_without_barrier).start()
    Process(name='p4 - test_without_barrier', target=test_without_barrier).start()

运行代码,将看到进程 1 和进程 2 在同一时间打印:

image

下面这幅图表示了 barrier 如何同步两个进程:

image

From:https://www.cnblogs.com/FreakEmbedded/p/18842048
FreakStudio
100+评论
captcha