开源视频服务器软件MJPG-streamer的研究和应用

摘要：针对嵌入式设备在进行多媒体数据处理时存在的资源限制问题，采用了一种开源视频服务器软件MJPG-streamer完成多媒体数据的处理及存储，基于该软件的特点和体系结构，通过修改MJPG-streamer的源代码，添加新的功能模块，以增强这款软件的功能。并重新交叉编译后，移植到嵌入式系统中，以实现一个可控制前端设备的基于Arm9的嵌入式远程视频监控系统。实验结果表明，该方法很好地增强了视频数据处理的效果，并可流畅地在客户端播放浏览器。
关键词：MJPG-streamer；开源；视频服务器；插件；嵌入式应用

    “MJPG-streamer”是一个轻量级的视频服务器软件。一个可以从单一输入组件获取图像并传输到多个输出组件的命令行应用程序。
    该软件可应用在基于IP协议的网络中，从网络摄像机中获取并传输JPEG格式的图像到浏览器，例如Firefox、Cambozola、Videolanclie nt，甚至是一个运行了TCPMP播放器的Windows移动设备。
    它继承于uvc_streamer，为在RAM和CPU上存在资源限制的嵌入式设备而写的。因为兼容Linux-uvc的摄像机可以直接生成JPEG数据，即使是运行OpenWRT Linux的嵌入式设备也可以快速处理M-JPEG数据流。
    这款工具源代码简洁，注释清晰。组件功能明确，衔接清晰。使用Linux C语言进行开发，可移植到不同的计算机平台，也可以在根据GPL v2的条款下进行改进和发行。

1 MJPG-streamer的处理流程
    MJPG-streamer主函数的定义在mjpg-streamer．c文件。主函数的处理流程如图1所示。

2 MJPG-streamer的相关组件
    MJPG-streamer采用模块化的设计方法，以功能块为单位进行描述，这些功能块被称为plug-in(组件)。软件中定义好了各组件的输入、输出，以及组件之间的衔接关系。用户可自行根据对功能的需求，选择需要的模块。这种模块化的程序设计简化了代码的编写、调试、维护，程序员只需要遵守设计的规范，就可以轻松地改写软件，或者编写新的模块以增强软件的功能。
    MJPG-streamer最主要并且最常用的组件是input_uvc输入组件和output_http输出组件。其他组件包括input_control、input_file、input_testpicture、input_gspcavl、output_autofocus、output_file、out_viewer，如图2所示。

[!--empirenews.page--]
2．1 input_uvc输入组件
    input_uvc组件的主要功能是获取摄像头拍摄的图像并将其压缩编码，共包括5个组件接口函数，这些组件接口函数是各个组件提供给外部使用的接口。相关函数的定义可查看input_uvc.c文件。
    下面以input_uvc输入组件为例来详细介绍模块化程序设计的具体思路以及MJPG-streamer组件的工作方式。
    1)int input_init(input_parameter*param)
    这个函数是输入组件的初始化函数，它的主要工作是初始化相关参数，为之分配内存空间，并打开视频设备。
    输入组件初始化函数的工作流程如图3所示。

    视频设备数据结构vdIn的定义如下：
   
    [!--empirenews.page--]
    2)int input_run(void)
    该函数使用pthread_create函数创建工作线程。并使用pthread_detach函数将该线程设置为分离状态。在input_uvc组件中，input_run函数创建cam_thread线程，该线程负责抓取摄像头采集的一帧图像并进行格式转换，采用的是V4L2视频设备开发框架。具体工作流程请参考下文描述。
    3)int input_stop(void)
    该函数通过调用pthread_cancel(pthread_t tid)函数实现主线程取消cain_thread线程(抓取数据帧的工作线程)，这两个线程在同一个进程内，共享该进程的地址空间。主线程通过内核发送信号以取消工作线程。tid是要取消线程的线程ID。
    4)int input_cmd(int in_cmd_type cmd，int value)
    该函数的主要功能是对网络摄像头镜头的控制，例如对色彩、饱和度、对焦等功能的控制。in_cmd_type结构体定义了对输入组件进行控制的命令类型，把对镜头的控制命令类型和参数值传入此函数。函数内进行匹配，以完成对镜头的控制操作。
    input_uvc组件的私有函数如下：
    1)void help(void)
    该函数打印相关的帮助信息到stderr。
    2)void*cam_thread(void*arg)
    这个工作线程的作用是抓取一帧数据并把它复制到全局缓冲区。它的工作流程如图4所示。

    工作流程不断循环，直至线程退出。退出前使用pthread_cleanup_pop函数调用cam_cleanup线程清理函数。
    3)void cam_cleanup(void*arg)
    该函数是线程清理函数，线程退出前，使用此函数释放在工作线程中被分配的资源。
2．2 ouput_http输出组件
    output_http输出组件中的http．c文件内定义了服务器对客户端请求的响应。
    send_snapshot、send_stream、send_error、send_file分别定义了如何响应客户端发送截图、发送视频流、发送错误信息、发送文件的请求信息。
    command函数执行客户端指定控制命令，并发送反馈信息。
    server_thread服务线程的作用是打开一个TCP socket并等待客户端连接。如有客户端链接，则为每一个连接到服务器的客户端创建一个client_thread专门服务于该客户端。
    client_thread客户线程的作用是为连接到服务器的客户端服务。

3 MJPG-streamer在嵌入式中的应用
    本文通过修改软件源代码，实现软件的额外功能。将MJPG-streamer作为视频服务器软件，应用于嵌入式开发。
    系统以S3C2440微处理器为核心，构建嵌入式视频监控系统。Arm9将摄像头拍摄图像经压缩后传到Web客户端，客户端除了可以查看摄像头拍摄图像外，还可以控制云台设备，从而获得任意角度的图像。
    采用低端云台作为前端的控制设备，嵌入式视频服务器可提供多个前端设备接口与多个云台连接。嵌入式视频服务器根据各客户端的请求，将图像或云台控制信号传输给相应的前端设备。本文只实现系统的基本模型，采用一个云台设备。可在基本模型的基础上，扩展成多路传输。
3．1 系统硬件平台
    系统的硬件平台采用的是天嵌的TQ-2440开发板，CPU处理器是S3C2440AL，主频为400MHz，最高可达533MHz，配备256MB的Nand Flash、2 MB的Nor Flash以及64 MB的SDRAM，可满足系统要求。另外使用了一个V4L2摄像头，以及一个RS485接口的低端云台设备。[!--empirenews.page--]
3．2 系统硬件连接方式
    云台控制器在本系统中是前端的控制设备，它负责接受视频服务器设备发送的串行编码信号，其内置解码器作为中间设备经RS485转RS232后，与arm9的RS232串口连接，解码器通过串口与arm9通信。arm9通过串口发送控制信号给云台，云台解码器接受到信号后，对控制信号进行地址解析，解析地址与解码器内部设置地址一致时，云台解析控制信号，将其转换成控制云台或镜头的控制电压，最后将控制电压传递给云台和镜头，从而实现对云台转动以及镜头调整的操作。如解析地址与内部设置地址不一致时，则解码器不进行相应转换。
    系统实物模型如图5所示。

3．3 系统软件平台
3．3．1 集成云台控制功能
    浏览器客户端通过登录服务器，获取视频流以及控制云台转动。云台控制是为了实现多角度监控的功能。因此需要对MJPG-streamer的源代码进行改写，集成云台控制功能。
        3)http．c文件里的command函数的作用是当服务器接收了客户端的传值并进行解析后，执行客户端指定的控制命令。它把控制命令进行进一步解析，解析出命令是属于摄像头控制、MJPG-streamer系统控制(如MJPG-streamer重新配置命令)还是笔者添加的云台控制命令。
    在这个函数里，首先调用编写的云台设备初始化函数intptz_device_init(void)。此函数负责打开arm9上的串口设备并进行串口配置。
    其次，遍历输出组件命令字符串与命令类型映射数组，找到与命令字符串相匹配的控制命令类型。
    再次，调用添加在output_http输出组件的实现文件output_http．c中的output_cmd函数。在此函数中，调用控制函数，根据不同的云台控制命令，发送数据到云台解码器。Arm9与云台通信部分，采用的是PELCO-D协议。它的工作流程如图6所示。

    4)把云台控制功能集成进MJPG-streamer后，需要修改output_http输出组件的Makefile。修改后的Makefile如下：

3．3．2 移植视频服务器软件
    首先，移植ipeg库和SDL库到开发板根文件系统的／lib目录下。
    然后，将重新集成编译后的mjpg-streamer相应模块移植到开发板根文件系统的／lib目录下，使用到的模块有摄像头输入模块input_uvc．so，集成了云台控制功能的HTTP输出模块output_http．so，把执行文件移植到／usr／bin目录下。
    将编写好的客户端网页存放在开发板根文件系统的某个文件夹下，例如／var／Pages。启动视频服务器后，指定服务器的输入组件、输出组件以及该文件夹的路径，那么客户端浏览到的页面就是该文件下的网页。
3．4 系统浏览器客户端
    系统客户端采用网页形式，界面如图7所示。左边是图像帧显示区域，用于显示服务器端传送的图像数据。右边的方向键，则是用于控制云台设备多角度旋转。

4 结束语
    随着社会信息化的进步，视频监控作为一项重要的工具，几乎涉及了所有行业。视频服务器应用程序在视频监控系统中扮演着极其重要的角色。本文从特点、处理流程、组件、应用4个方面对开源视频服务器软件MJPG-streamer进行分析，理顺软件的处理思路，并将这款开源软件进行修改后，应用于实际的视频监控系统的开发，具有一定的参考价值。