能源控制器信号量死锁问题分析及解决方案

引言

能源控制器具备数据采集、智能费控、时钟同步、精确计量、回路状态监测、停电事件上报等多种功能,不同功能从软件层面被划分成了不同的App。当前能源控制器液晶显示菜单存在无序切换的问题,通过分析发现根源是硬件接口层使用的信号量在第三方容器App中失效。进一步深挖后发现,目前使用的信号量机制中,当进程在持有锁期间终止时,会造成信号量死锁,导致其他进程异常,仅能通过重启恢复。

本文通过对死锁问题的深度分析,提出一种将线程锁与进程锁组合的方式,来实现多线程和多进程下都适用的信号量,从而避免死锁问题。

1信号量死锁问题概述

1.1问题背景

能源控制器应用容器技术隔离运行多个App,这就对多进程间资源共享的同步措施提出了更高的要求。解决问题的关键在于:什么时候可以在不同进程间共享某个信号量。

在目前能源控制器的App框架下,被不同进程访问的Hal层,需要使用二值信号量对临界区资源进行保护。

不同的进程总是能够访问同一个有名信号量,只要它们在调用SemopeО时指定相同的名字。即使对于某个给定名字的SemopeО调用,在每个调用进程中可能返回不同的指针,使用该指针的信号量函数（例如SempoSt和Semwait）所引用的仍然是同一个有名信号量。

1.2信号量在容器中失效的原因分析

在使用相同名字的前提下,需要了解有名信号量保存的具体位置。跟消息队列类似,它保存在/dev/Shm目录中。在这个目录中可以找到被创建了的、但是没有调用SemuОliОk的信号量。

每个Docker容器都有一个本地存储空间,用于保存层叠的镜像层（ImageLayer）以及挂载的容器文件系统。容器内外的进程要达到信号量共用的目的,需要容器与主机共享数据。用法是使用-v选项将hoSt已经存在的目录或者文件挂载到容器。

通过对信号量未失效容器和信号量失效容器的挂载配置信息的比对,可以发现在信号量未失效容器中,容器同时挂载了主机的/dev和/dev/Shm目录,而信号量失效容器只挂载了主机的/dev目录。这两个目录在主机上是两个不同的挂载点,文件系统也不同,/dev/Shm是LiОux中动态大小的一个内存文件系统分区,如果容器只挂载了主机的/dev目录,那么主机的/dev/Shm目录仍然对容器不可见。

1.3信号量死锁的原因分析

一个进程终止时,内核对其仍然打开着的所有有名信号量自动执行关闭操作,不论该进程是自愿终止的还是非自愿终止的,这种关闭都会发生。

然而关闭一个信号量并没有将它从系统中删除。也就是说,即使当前没有进程打开着某个信号量,它的值仍然保持。另外,当持有信号量的进程中止时,该信号量的值也不改变。

如图1所示,在典型的持有锁期间进程终止现象的时序中,进程2将一直阻塞。若Semwait附带超时参数,将因为超时而返回失败。即使不考虑进程2,当进程1被守护进程重启运行的时候,仍然会导致死锁。

当进程间共享一个信号量时,持有该信号量的进程在持有期间终止,无法让系统自动释放持有的锁。多线程间也是如此,一个线程在持有某个信号量时终止,起因可能是被动（被另外一个线程取消）或主动（调用pthreadexit）。合理的程序设计,应该在线程主动退出或被动取消时,调用自定义的清理程序。但对于一个线程来说,致命的条件通常还会导致整个进程终止。比如线程执行了一个无效指针的访问,从而引发了SIGSEGV信号,那么一旦该信号未被捕获,整个进程就被它终止,从而导致死锁。所以需要使用其他能在进程终止时自动释放锁的IPC方式,来代替P0SIx信号量。

2信号量死锁解决方案

需求:

(1）无须强制指定容器共享宿主机的目录、文件,或指定特殊参数:

(2）使用的同步方法必须具有进程退出时内核自动清理锁的特性。

通过线程锁与进程锁组合的方式,可实现多进程和多线程下都适用的信号量,以满足上述需求。

2.1线程锁

线程锁通过一个互斥锁＋条件变量实现。互斥锁(类型为pthread一mteut）用于保护代码临界区,从而保证任何时刻只有一个线程在临界区内执行。当一个线程获得某个互斥锁后,需要等待某个条件变为真,也就是该线程可以等待在某个条件变量(类型为pthreadcondt）上。该条件变量由另外某个线程向它发送信号,通常以广播方式(pthreadcondbroadcaSt）唤醒所有等待状态的线程。

2.2进程锁

利用文件锁(即记录上锁record:oclkni）可以有多个读出锁,但只能有一个写入锁的特征,仅使用整个文件范围的写锁,来构造一个进程锁。并且该类型锁具备进程终止时由内核完成已有锁清理工作的特征。常用方式为fcnt:函数,和一个文件描述符绑定,因此对于容器和宿主机共享文件锁,可以自由适当地指定文件位置。

线程锁的加解锁过程如图2所示。

2.3线程锁与进程锁组合

通过把进程锁当作线程锁临界保护区对象,达到多线程在同一时刻只能有一个线程获取进程锁的目的,而进程锁本身又保证了多进程对临界区的保护。考虑到延时场景,加锁流程如图3所示。

3结语

本文分析了能源控制器信号量死锁的原因,针对该问题及原因分析,提出了通过线程锁与进程锁组合的解决方案,不仅可以满足能源控制器的开发需求,解决液晶显示菜单无序切换等问题,还能在其他平台同步使用该方案,降低信号量死锁的可能性。