超轻量级MP4封装方法介绍
扫描二维码
随时随地手机看文章
前言
MP4是目前非常常用的一种视频封装格式，关于MP4的介绍资料也非常多。我们常用的封装库或工具有：ffmpeg，libmp4v2，GPAC，MP4.js，它们的优点是功能基本上都是比较全面，缺点就是它们占用的资源相对来说也是非常多的。
在嵌入式系统中，不管是RAM还是FLASH空间，一般都是非常小，这个时候，如果要将音视频封装成MP4,或是解码MP4格式就会显得非常困难，因为上面介绍的那些库都放不下或是因为内存不够运行不起来，只能根据MP4协议自己去解析。
这里介绍一个轻量级的MP4封装方法(minimp4)，集成MP4编码，解码,信息查询功能，整体执行文件大小如下：
biao@ubuntu:~/minimp4_test$ mips-linux-uclibc-gnu-size test text data bss dec hex filename
354696 1460 13624 369780 5a474 t
biao@ubuntu:~/minimp4_test$
(一)功能需求介绍
在一般嵌入式设备上，我们一般只需要MP4的一些简单操作，比如封装，解封装及文件信息查看。具体功能要求如下：
- 支持合入H.264 和H.265 视频格式视频
- 支持合入AAC音频
- 支持MP4格式文件解封装
- 支持获取MP4文件信息
性能上的限制，我们希望：
- 代码空间小于500K
- 运行内存小于100K
要在有限的资源上实现上面这些功能，我们可以在minimp4的基础再进一步完善。
minimp4的源代码可以直接在github上下载，官方有个minimp4_test.c,里面有些使用的demo,但不是非常完善，可以参考使用。
(二)支持H.264与H.265格式
(1)H.264与H.265的区别
使用工具打开官方自带的foreman.264文件，我们可以看到：
- 该文件中包含SPS,PPS,IDR，P帧，在其它文件中，可能还会有B帧
- 头标签为00 00 00 01，后面一个是帧类型
- 视频分辨率352*288
- 流类型AVC/H.264
- 总共300帧
另外打开一个H.265文件
我们可以看到：
- 该文件中包含VPS SPS,PPS,IDR，TRAIL_R,TRAIL_N帧
- 头标签为00 00 00 01，后面是帧类型
- 视频分辨率1280*720
- 流类型HEVC/H.265
- 总共770帧
从应用的角度看，H.265 是有多一个VPS帧,它主要是用来描述视频中各种类型帧（比如I帧、P帧、B帧）的使用和顺序，以及它们之间的相关性.
在实际使用的时候，需要注意VPS、SPS、PPS这些帧的封装和解析。
(2)手动添加VPS信息
正常使用minimp4 的时候，使用h.265进行封装的是没有问题的，但是在解封装的时候，它并不会去提取VPS信息，这里比较简单的做法是自己补充上相关的信息到文件头:
if(is_hevc){ static unsigned char h265_vps_sps_pps[84]={ 0x00,0x00,0x00,0x01,0x40,0x01,0x0C,0x01, 0xFF,0xFF,0x00,0x80,0x00,0x00,0x03,0x00, 0x00,0x03,0x00,0x00,0x03,0x00,0x00,0x03, 0x00,0x00,0xB5,0x02,0x40,0x00,0x00,0x00, 0x01,0x42,0x01,0x01,0x00,0x80,0x00,0x00, 0x03,0x00,0x00,0x03,0x00,0x00,0x03,0x00, 0x00,0x03,0x00,0x00,0xA0,0x02,0x80,0x80, 0x2D,0x1F,0xE5,0xB5,0x92,0x46,0xD0,0xCE, 0x49,0x24,0xB7,0x24,0xAA,0x49,0xF2,0x92, 0xC8,0x00,0x00,0x00,0x01,0x44,0x01,0xC1, 0xA5,0x58,0x1E,0x48, }; if(fwrite(h265_vps_sps_pps, 1, sizeof(h265_vps_sps_pps), foutV)!= sizeof(h265_vps_sps_pps)){ goto END; } }
h265_vps_sps_pps里面的内容，需要根据自己实际的码流信息进行修改
(三)支持AAC音频格式
AAC与PCM之间的编码与转换，可以查看上一篇文章：嵌入式音频应用开发介绍
主要需要注意的是AAC的配置，需要根据实际参数进行修改
// unsigned char conf[] = {0x11, 0x90}; //AAL-LC 48kHz 2 channle static unsigned char aac_conf[4]={0x11, 0x90, 0x0, 0x0}; unsigned int length = 2; MP4E_set_dsi(mux, audio_track_id, aac_conf,4); printf("%s %d \r\n",__FUNCTION__,__LINE__);
(四)获取mp4文件信息
这部分需要对 mp4 协议比较熟悉,具体的协议介绍，可以去查询MP4标准。这里介绍几个简单概念：
| 概念 | 描述 |
|---|---|
| Box | MP4中的基本构建单元，也称为Atom。每个Box都有特定类型的标识符和长度字段，用于描述它自己的内容和大小。不同类型的Box包含不同类型的信息。 |
| Sample | 视频和音频编解码中的最小可操作单元。对于视频，每个样本代表一个画面或图像帧；对于音频，每个样本可能代表一小段声音。它们按特定顺序组成媒体文件。 |
| Track | 用于组织媒体数据的单独通道。MP4文件可以包含多个轨道，如视频轨道、音频轨道。每个轨道包含相应类型的媒体数据和描述信息，如视频轨道包含视频样本和元数据。 |
| Chunk | 一组样本的集合。在媒体文件中，样本可以组织成不同大小的块，可以是连续的或分散的。块可以包含一个或多个样本，物理上可以存储在文件的不同位置。 |
mp4中包含很多的Box，mp4的基本信息和索引是在moov box中的:
| Box类型 | 描述 |
|---|---|
| mvhd | 影片整体信息 |
| trak | 包含一个或多个轨道的详细描述 |
| udta | 存储用户自定义的数据 |
其中mvhd Box(Movie Header Box)：这个Box包含了影片的整体信息，比如时长、时间刻度等。它描述了整个媒体文件的基本属性。
我们打开一个使用miniMP4封装的MP4文件，可以看到moov box 是后置的，也就是在文件的后面，而在一些其它的库中，moov box的偏移位置是在比较靠近文件开始的位置。
如果我们要快速的查看mp4文件的信息，比如视频时间长度，对于使用minimp4封装的Mp4文件，它的moov box后置，我们可以从后面开始解析。
#define CHUNK_SIZE (10*1024) typedef struct { unsigned char mvhd[4]; unsigned char version; unsigned char flags[3]; unsigned int creation_time; unsigned int modification_time; unsigned int timescale; unsigned int duration; }MVHD_ST; MVHD_ST g_stMVDHInfo; /** * @brief 字节序翻转 * @param val * @return unsigned int */ unsigned int videoinfo_flip(unsigned int val) { unsigned long new = 0; new += (val & 0x000000FF) << 24; new += (val & 0xFF000000) >> 24; new += (val & 0x0000FF00) << 8; new += (val & 0x00FF0000) >> 8; return new; } /** * @brief 查找特定ASCII码字符串位置 * @param file_name * @param search_str * @return long long */ long long find_string_position(const char *file_name, const char *search_str) { FILE *file = NULL; char *buffer =NULL; int read_size = 0; int length = 0; long long file_size = 0; long long search_position =0; long long position = 0; if(file_name==NULL || search_str==NULL){ printf("%s %d input para error \r\n",__FUNCTION__,__LINE__); return -1; } file = fopen(file_name, "rb"); if (file == NULL) { printf("%s %d file open error\r\n",__FUNCTION__,__LINE__); return -2; } length = strlen(search_str); fseek(file, 0, SEEK_END); file_size = ftell(file); search_position = file_size - CHUNK_SIZE; if (search_position < 0) { search_position = 0; } buffer = (char *)malloc(CHUNK_SIZE + 1); if (buffer == NULL) { fclose(file); printf("%s %d malloc error\r\n",__FUNCTION__,__LINE__); return -3; } int cnt = 0; while (search_position >= 0) { /**限制检索最大值，避免输入文件损坏一直在检索**/ if(cnt ++>30){ break; } fseek(file, search_position, SEEK_SET); size_t read_size = fread(buffer, 1, CHUNK_SIZE, file); for (int i = read_size - 1; i >= 0; i--) { int j; for (j = 0; j < length; j++) { if (i - j < 0 || buffer[i - j] != search_str[length - j - 1]) { break; } } if (j == length) { position = search_position + i - length + 1; break; } } search_position = search_position - CHUNK_SIZE; if(search_position<0){ search_position = 0; } if(position!=0){ break; } } printf("read cnt=%d \r\n",cnt); if(position>0){ fseek(file, position, SEEK_SET); read_size = fread(&g_stMVDHInfo, 1, sizeof(g_stMVDHInfo), file); } fclose(file); free(buffer); return position; }
MP4的详细格式定义，可以查看MP4标准:Text of ISO/IEC 14496-12 5th edition
(五)减少内存的使用
在minimp4源码中，它有个preload函数,它的主要作用是将输入的文件全部读取到内存中去，后面数据解析的时候直接去内存Buff中获取，这种方式的优点是处理速度快，缺点就是耗内存。
在嵌入式系统设备中，有些设备可能整个系统总共才几十M的内存，一次把整个文件读取到内存中去解析，如果要处理比较大的mp4文件，显然是有问题的，会直接导致系统内存不够用。
有一个处理方式是按需读取数据，需要多少就读取多少，这样的处理方式可以以速度换空间。将preload改为preload_file，write_callback改read_file_callback，同时，有对内存数据进行操作的地方也需要修改。
static FILE *preload_file(const char *path, ssize_t *data_size) { FILE *file = fopen(path, "rb"); uint8_t *data; *data_size = 0; if (!file){ return 0; } if (fseek(file, 0, SEEK_END)){ exit(1); } *data_size = (ssize_t)ftell(file); if (*data_size < 0){ exit(1); } if (fseek(file, 0, SEEK_SET)){ exit(1); } return file; } static int read_file_callback(int64_t offset, void *buffer, size_t size, void *token) { static int total_len = 0; INPUT_FILE_BUF *buf = (INPUT_FILE_BUF*)token; int read = 0; int ret = 0; size_t to_copy = MINIMP4_MIN(size, buf->size - offset - size); fseek(buf->fin,offset,SEEK_SET); read = fread(buffer,1,to_copy,buf->fin); return to_copy != size; }
(六)工程资料下载
如需上面介绍的工程，测试文件，以及查看工具，可以在公众号中回复资源获取，内容在音视频连接中。工程目录如下：
biao@ubuntu:~/test/minimp4/minimp4_test$ tree . ├── adts.c ├── adts.h ├── file │ ├── decode_audio.aac │ ├── decode_foreman_.264 │ ├── decode_foreman.264 │ ├── decode_test.h265 │ ├── decode_video.h265 │ ├── faac_adts.aac │ ├── foreman.264 │ ├── h264_aac.mp4 │ ├── h265_aac.mp4 │ └── surfing_aa.h265 ├── Makefile ├── minimp4.h ├── obj │ ├── adts.o │ └── write_demux_mp4.o ├── test └── write_demux_mp4.c 2 directories, 18 files biao@ubuntu:~/test/minimp4/minimp4_test$
结尾
minimp4适用于内存和存储空间都非常受限的嵌入式设备，很多功能并不十分完善，需要自己根据实际应用进行适配。如果只是在设备上进行简单的MP4封装和解封装，它的功能也是足够了的。
下载文档
