[导读]一.音视频同步的原理 mp4v2内部采用一套时间刻度基准,由我们自己设定,不一定是采用我们常用的1秒有1000个单位(毫秒)。可能是1秒里有90000个单位或80000个单位。音频和视频可以采用
一.音视频同步的原理 mp4v2内部采用一套时间刻度基准,由我们自己设定,不一定是采用我们常用的1秒有1000个单位(毫秒)。可能是1秒里有90000个单位或80000个单位。音频和视频可以采用不同的时间刻度基准,只是为方便区分,大都采用不同的刻度。 我们在每次向mp4文件写数据时(调用函数MP4WriteSample),就需要考虑上一次写数据和这一次写数据之间的时间间隔,把这个间隔换算成mp4v2内部的时间刻度基准间隔值(duration),然后mp4v2按照这个刻度基准间隔值(duration)把这一次数据放在对应的位置上。例子说明:用时间戳实时修改mp4v2里的上下帧间隔对应的ticks值。1.mp4v2库初始化时 音频使用48000刻度基准,视频使用90000刻度基准。不采用固定帧间隔对应的ticks(duration)。①H264--视频初始化 MP4AddH264VideoTrack(MP4File,TimeScale, MP4_INVALID_DURATION,width, height, spsBuf[1], spsBuf[2], spsBuf[3], 3); 第二个参数TimeScale的值是90000(也可以是别的值,在计算上下帧对应的ticks值时,需要使用这个刻度基准)。第三个参数值采用MP4_INVALID_DURATION,意思是我们使用变化的ticks,也就是函数MP4WriteSample里的第5个参数。如果帧与帧间隔值比较固定,也可以把第三个参数值写成固定的对应ticks,比如每秒固定有25帧数据,那么第三个参数值可以是:duration= (1/25)秒/(1/90000) = 36000;duration = (timestamp-lasttimestamp)/(1/timescale)②.Audio--音频初始化 MP4AddAudioTrack(MP4File, TIMESCALE,MP4_INVALID_DURATION , MP4_MPEG4_AUDIO_TYPE); 第二个参数TIMESCALE的值是48000(也可以是别的值,在计算上下帧对应的ticks值时,需要使用这个刻度基准。很多人用采样率,虽然是建议,但容易产生概念混淆。这个值我们把它设置成1000都可以)。第三个参数值采用MP4_INVALID_DURATION,同理①。2.在向mp4文件实时写数据 利用音视频的时间戳间隔换算来变化的ticks。(向文件写的第一帧数据需再优化处理,否则mp4文件无法单个循环播放)。我使用AudioDuration代表音频数据上下帧对应的ticks值;使用VideoDuration代表视频数据上下帧对应的ticks值。 ①向mp4文件写的第一帧数据需要注意。 我写第一帧数据的ticks值采用了固定值(随意的经验值): vedio使用MP4WriteSample(MP4File, VideoId, (const uint8_t *)buf, (int)(pbuf - buf),3600,0,true); audio使用MP4WriteSample(MP4File, VideoId, (const uint8_t *)buf, (int)(pbuf - buf), 400+VideoDuration,0,true) ②.向mp4文件写其他帧数据时,视频和音频上下帧间隔对应的ticks值使用公式: Duration = (timestamp-lasttimestamp)/(1/timescale)二.备注: ①.模数转换,在模拟采样音频的时候,1帧(数据包)音频包含1024(1024是底层硬件进行模数转换时使用的固定值,大都用这个数值)个采样。例如使用48k的音频采样,那么1秒就有48000/1024个帧,约47帧。这些数据包按时间先后顺序和视频数据包安放在一起。所以会发现一包音视频数据中,有1帧视频和2-3帧音频。 而在嵌入式内部对这些数据处理(比如向mp4文件写数据)是一种纯数字化的处理,和采样率关系已经不大。 ②.在使用时间戳实时修改mp4v2里的上下帧间隔对应的ticks值这种方式时,发现在关闭文件时需要等很久才成功、形成可播放的mp4文件(或形成的mp4文件无法播放)。我们可以参照mp4v2库的源码添加打印,依次跟踪,解决问题。 但我发现在移植mp4v2源码到嵌入式海思平台时,修改配置项时使用命令CC=arm-hisiv100nptl-linux-gcc CXX=arm-hisiv100nptl-linux-g++ ./configure --host=arm-hisiv100nptl-linux --prefix=/usr/local/mp4v2 --disable-option-checking --disable-debug --disable-optimize --disable-fvisibility --disable-gch --disable-largefile --disable-util --disable-dependency-tracking --disable-libtool-lock,编译生成的库用到设备里,就不会产生无法立刻形成mp4文件问题。具体移植方法参考我另一个博客文章“mp4v2源码编译并移植到海思平台”.三.其他函数说明 许多函数说明可以参考File.h中的注释解释。 ①创建文件时, tsThis->m_pMP4File = MP4CreateEx(filename,MP4_CREATE_64BIT_DATA,1,1,0,0,0,0); MP4CreateEx的第二个参数,标记允许文件总大小超过64位的数据。我理解的是,允许单个mp4文件的容量超过2^32KB=4GB。 ②关闭文件时, MP4Close(tsThis->m_pMP4File,MP4_CLOSE_DO_NOT_COMPUTE_BITRATE); 第二个参数,在关闭文件时,不计算整个文件的大小,这样可以更快关闭文件。
本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
业内消息,近日被视为华为芯片“奠基人”的原海思总裁徐文伟近日在朋友圈宣布正式退休。徐文伟发文表示,自己在 33 年内,见证了一个伟大企业的发展和壮大。
关键字:
华为
芯片
海思
徐文伟
在这篇文章中,小编将为大家带来华为海思芯片的相关报道。如果你对本文即将要讲解的内容存在一定兴趣,不妨继续往下阅读哦。
关键字:
华为
海思
芯片
22AP30 是针对多路高清/超高清(1080p/4M/5M/4K)DVR 产品应用开发的新一代专 业 SoC 芯片。22AP30 集成了 ARM A53 四核处理器和性能强大的图像分析工具推理 引擎,支持多种智能算法应...
关键字:
海思
Hi3531DV200
SS528
22AP30
月圆中秋情意浓,欢声笑语阖家欢。9月10日晚,倍受期待的2022年中央广播电视总台中秋晚会伴随着独具江南特色的苏州评弹,围绕中秋佳节“月”文化设定的《江月初照》《山河明月》《皓月千秋》三个主题篇章徐徐展开。
关键字:
海思
8K视听
三维菁彩声
“新一代音视频标准生态创新联合体”(以下简称“NAVIC创新联合体”)启动建设。AVS产业联盟(中关村视听产业技术创新联盟)为牵头建设单位,鹏城实验室、中国电信数字生活公司、华为技术有限公司、上海海思、博华超高清创新中心...
关键字:
海思
音视频标准
AVS技术
5月25日消息,继不久前华为“鸿蒙之父”离职之后,近日又传出消息称华为海思前高管跳槽联发科的消息。一时间引发了外界的极大关注。
关键字:
华为
海思
联发科
成都2022年5月20日 /美通社/ -- 近期,随着居家运动的兴起,刘畊宏在短视频平台的直播迅速爆火。刘畊宏男孩女孩、《本草纲目》等热词迅速成为人们热议的话题。与此同时,由刘畊宏担任教练的微综艺《畊我打卡》精编版,也上...
关键字:
海思
IP
IO
根据 Gartner 公司公布的最新结果,2021 年全球半导体收入总额为 5950 亿美元,比 2020 年增长了 26.3%。
关键字:
华为
海思
半导体
根据 Gartner 发布的 2021 年的全球半导体研究报告显示,由于美国贸易制裁,影响了中国在全球芯片市场的整体份额,华为海思已跌出全球 25 大半导体供应商的排名。
关键字:
华为
海思
半导体
虽然全球芯片市场仍在遭受产能短缺的困扰,但在细分领域的增长热潮却并非退却,除了大热的汽车芯片之外,手机芯片也同样成为市场宠儿。
关键字:
手机芯片
芯片
海思
《中国经营报》记者发现,总排名方面,联发科、高通、三星领跑前三的格局依旧,但暗流却在涌动。其中联发科市场份额为33%,同比下滑4个百分点;高通则以30%的份额排名第二
关键字:
手机芯片
芯片
海思
一直以来,有关国产芯片的消息都受到了大家的广泛关注。而最近又有一家国产芯片公司宣布了自己的5G芯片产品的最新进展,很值得一说。
关键字:
华为
海思
5G芯片
对于华为海思,相信大家都非常熟悉了,这是华为旗下的专业芯片设计公司,像麒麟芯片、鲲鹏芯片、天罡芯片、昇腾芯片等等都是海思出品。华为海思最巅峰的时候,可以排进全球IC设计企业的Top10,而在国内,华为海思是绝对的No.1
关键字:
华为
海思
芯片
众所周知,自2019年开始,华为就被美国打压,最先是自己拒绝华为5G,再拉上盟友一起拒绝华为5G。后来是直接禁止美国芯片企业向华为提供芯片
关键字:
华为
海思
芯片
2019年人民日报一则“迎接全屋智能时代”的评论引起物联网和智能家居行业的讨论热潮。伴随着全屋智能的技术发展争议颇多,文本重点引用网络上的几个常见误解
关键字:
海思
全屋智能
物联网
随着社会的发展与进步,手机与笔记本电脑等智能电子设备已经成为了我们生活中不可或缺的一部分。尤其是手机几乎从不离手,导致电池电量消耗得也快。
关键字:
手机芯片
芯片
海思
没几天就要进入2022年了,中国的芯片自主化、去美化进展如何,华为麒麟等先进芯片何时能够恢复生产?答案很显然不太那么让人乐观:一切都在进行中,但是离目标还有很大差距。这话不太中听,但这就是现实。
关键字:
麒麟
海思
华为
去年B站官宣迈入8K超高清时代,百条高品质8K视频已上线。一石激起千层浪,该事件引发了国内的科技圈关于8K的新一轮探讨。结论主要分成两派,一派认为“小破站”创造了历史,要全力支持。另一派则提出质疑,认为8K视频内容的“象...
关键字:
海思
8K
屏幕分辨率
2021年深圳安防展期间,上海海思智慧视觉领域总经理刘志扬先生,在 “超越影像,智引未来”的主题演讲中发布了海思用于物联网终端的新一代智能图像处理引擎—越影®。刘志扬先生表示,越影®是基于海思对ISP算法和场景的深厚积累...
关键字:
海思
智能图像处理引擎
物联网
中国国际社会公共安全博览会(简称安博会)阔别两年,重磅回归,于2021年12月26日至12月29日在深圳会展中心(福田)盛大开展。本次大会,上海海思向业界展示了越影 AI ISP:用于物联网智能终端的新一代智能图像处理引...
关键字:
海思
智能图像处理引擎
物联网