当前位置:首页 > 芯闻号 > 厂商文章
[导读]MIPI(移动行业处理器接口)是Mobile Industry Processor Interface的缩写,是MIPI联盟发起的为移动应⽤处理器制定的开放标准。MIPI采⽤高速串行接口传输数据,满⾜高分辨率摄像头的传输需求,采用串行

MIPI(移动行业处理器接口)是Mobile Industry Processor Interface的缩写,是MIPI联盟发起的为移动应⽤处理器制定的开放标准。MIPI采⽤高速串行接口传输数据,满⾜高分辨率摄像头的传输需求,采用串行接口方便PCB布局布线,提高信号完整性,也有利于减小PCB面积。MIPI接口的摄像头一般体积较小,适合于小型的嵌入式设备,比如手机和行车记录仪等,同时也广泛应用到AI端上推理设备。本文以百度的端上推理设备EdgeBoard作为原型来介绍MIPI相关技术的开发。如果用户购买EdgeBoard,出厂的镜像中带有MIPI的功能,只需再购买推荐的MIPI摄像头,即可实现即插即用。

MIPI介绍

MIPI接口分为两类,一是DSI (Display Serial Interface),提供处理器和显示模组之间的高速串行接口;二是CSI (Camera Serial Interface),提供处理器和摄像模组之间的高速串行接口。本文将要介绍的是CSI-2。

MIPI信号采用低压差分信号进行传输,具有传输速率快,抗干扰能力强的特点。MIPI的传输模式分为低速信号模式和高速信号模式,低速信号用于控制命令(10 MHz),高速信号用于数据传输(80Mbps -1Gbps/lane)。时钟处于非连续工作状态,根据传输状态进行时钟的切换,这样可以极大地降低功耗。关于D-PHY可参考MIPI® Alliance Specification for D-PHY。

MIPI最多可支持4通道数据,同时配有IIC总线进行配置,收发接口如下图:

 

[URL]fe196771171e28a3e6af918b060e4082.png

MIPI协议也是采用类似于以太网协议结构,采用分层设计的思想,分为PHY Layer,Protocal Layer和Application Layer。

 

快速掌握MIPI开发攻略,对接百度人工智能计算卡EdgeBoard


MIPI传输的报文中定义了图像数据的类型/格式(Data type),这些类型/格式方便在调试的时候确定链路是否工作正常,常用的Data Type如下图,比如YUV的数据格式的标示符是0x18到0x1F,期间的数值定义了具体的格式,比如YUV422,YUV444等,具体可参考MIPI Alliance Specification for CameraSerial Interface 2。

 

[URL]c30a5201f95a21c6adf1a2049c7e9054.png

硬件相关

MIPI 电平

MIPI的电平标准分为LP (Low Power)模式和HP(High Power)模式,LP模式下高电平最大值1.3V,最小1.1V,典型值为1.2V,HP模式下共模电平200mv,摆幅200mV。

 

image.png

D-PHY

1、 Ultrascale系列的FPGA使用MIPI_PHY_DCI 的电平,digital control impedence,如果是mipi的数据率很高时,比如lane rate高于1000Mbps,需要开启100R的termination。

2、 如果使用K7系列的芯片,由于其不支持MIPI_PHY_DCI电平,可以通过LVDS电平转换而来,可以参考Xilinx的官方文档 D-PHY solutionsXAPP894,提供了完整D-PHY层的解决方案。

Note1: 对于Vivado 2018.2以下的版本,如果MIPI线速率很高,比如1500Mbps,需要在xdc约束文件中添加termination约束,针对Ultrascale芯片,做以下操作:

 

image.png

MIPI引脚分配和BANK电压

1. EdgeBoard中使用的是Xilinx Ultrascale+系列的MPSoC,MIPI 的IO必须放置在HP Bank。

 

image.png

2. MIPI_PHY_DCI的电平对Bank的要求苛刻,Bank的VCCO必须设定为1.2V,同时BANK的VREF推荐端接240R。如果Bank中有其他电平标准,比如1.8V的电平,在implementation过程中会报错。

 

image.png

3. MIPI-CSI-RX IP带有Pin assignment的功能,可进行引脚分配的验证,参考后文的MIPI IP 配置。

Layout

D-PHY的标准规定总的传输延迟不能超过2 ns,对应到FR4材质的PCB最大的走线长度是25cm到30cm,包括从发送端到接收端,这决定了MIPI支持的传输距离在30cm左右,参考AN-1337D-PHY。同时PCB走线必须匹配100欧姆的端接。

EdgeBoard的MIPI

EdgeBoard的MIPI最多支持4通道,可以根据需要选择性使用,用户通过排线与EdgeBoard连接即可,注意排线不要过长,最好小于10cm。

 

image.png

 

image.png

开发

Vivado

Vivado工具中的视频IP也是在逐步开发完善中,其中难免会遇到各种意想不到的bug,不过好在Xilinx的官方论坛维护地很好,只要发帖提问,短时间内就会得到专门技术人员的回答,同时针对出现的Bug,Xilinx官方也会定期发布相应的patch,Video论坛中积攒的各种帖子也为后续的开发者提供了解决问题的途径。

1. 如果使用2017版本的Vivado,MIPI CSI RX IP不能处理MIPI镜头时钟缺失的问题,参考AR70581。解决该问题,参考AR70530打patch,patch打成功之后,在Vivado软件界面提示AR70530。如果使用2018之后的版本,则不存在这个问题,不需要打patch。

 

image.png

2. MIPI-CSI-RX license 需要购买才能使用,功能验证阶段可以在Xilinx官网申请Evaluation license,但是用evaluation license生成的bit文件,会间歇性停止工作,无法用到真正的产品里面。

License申请参考下文申请Xilinx Evaluation License

3. Github也有开源的MIPI CSI2 IP,该IP针对Xilinx 7 Series FPGA,可以支持到4K的分辨率,采用VHDL开发,但仅支持4通道的MIPI摄像头。

4. 推荐使用2018.3及以上的版本进行MIPI的开发。

MIPI IP的配置

1. 根据MIPI摄像头的参数进行基本的设置,主要包括颜色格式、通道数、线速率等。其中线速率最好高于MIPI摄像头的速率,在MIPI IP的内部有一个FIFO缓冲数据,MIPI IP读出速率高于MIPI镜头的写入速度,可以确保不丢帧。

 

image.png

2. 在硬件设计之前就需要进行引脚验证,由于MIPI对于引脚要求相对苛刻,谨慎为好。

 

image.png

MIPI 后续处理IP

前面的MIPI IP只是负责从前端摄像头拿到数据,还需要其他IP进行后续的处理才能得到完整的视频。

Demosaic

也称之为interolation,通过相邻像素的色彩经过插值算法构建出一副标准色彩的图像,实现Bayer到RGB的转换。

摄像头的感光sensor输出的每个像素不是标准的RGB,每个像素只是三原色中的一种,后期通过插值算法恢复出RGB标准颜色,该方法由柯达科学家Bayer博士提出,该方法被称之为Bayer滤色。

感光sensor内部带有color filter array(滤色镜),通过放置不同的原色的filter过滤出单个像素的颜色,每个像素是单个的色彩(RGB中的一种),也称之为RAW数据,后端ISP中通过插值算法恢复到标准的RGB。下图是两种滤色方法,一种是RGB,一种是CMY(印刷四分色模式)。

 

image.png

NOTE: 使用Demosaic IP时,需要制定sensor的左上角的第一个像素是什么颜色,不同的sensor起始像素颜色不同。在Demosaic 的 BAYER_PHASE (0x0028) Register 中进行设定,参考文档SensorDemosaic。

IP 配置如下:设定每个时钟的像素个数,像素数据宽度以及分辨率。

 

image.png

Gamma Correcttion

Gamma矫正的目的是将线性亮度信号或者RGB编码矫正成适合显示器显示的非线性数据。IP使用Gamma LUT,该IP免费,具体配置见下图。

 

image.png

Video Process Subsystem

Video process subsystem IP具有视频处理的多种功能,针对MIPI可以使用color space conversion,实现YUV444或者RGB色彩的矫正,提升视觉效果。

 

image.png

注:以上的IP设置均基于Vivado 2017.4版本,2018及以上版本会略有不同,根据我们的开发经验,推荐使用2018.3版本。

EdgeBoard中MIPI摄像头数据流

EdgeBoard中MIPI摄像头数据流如下图,当用户购买EdgeBoard后,然后搭配我们推荐的MIPI摄像头,即可做到即插即用。

 

image.png

关键寄存器

Xilinx MIPI IP和D-PHY对于开发者来说是黑盒子,如果开发中遇到问题,只能通过寄存器的方式来跟踪问题,现介绍一些关键的寄存器。通过跟踪这些寄存器的状态,可以定位排查问题。

D-PHY关键寄存器

首先是判断D-PHY的工作状态,在MIPI IP设置中需要Enable D-PHY Register Interface。

1. Control Register

    1. 查看D-PHY是否已经使能

2. CL_STATUS Register(CL -> Clock Lane)

    1. 查看clock lane是否处于stop状态

    2. 查看通道是否完成初始化

    3. 查看工作模式

3. DL_STATUS Register (DL -> Data Lane)

    1. 查看data lane是否处于stop状态

    2. 查看通道是否完成初始化

    3. 查看工作模式

CSI2-RX 关键寄存器

1. Core Configuration Register

    1. Enable core

2. Protocal Configuration Register

    1. Lane number:硬件没问题的话,可以看到MIPI摄像头使用的通道数

3. Core Status Register

    1. 统计收到的packet

4. 查看FIFO是否满,如果数据及时读出,是不会出现满的情况

5. Interrupt Status Register

    1. 这是排查问题的重要寄存器,各种问题引起的中断都会写入到该寄存器中

6. 如果出现ECC的错误,大概率是硬件信号完整性问题

7. Generic short Packet Register

    1. 查看图像格式,在该寄存器能看到对的Data Type,基本可以说明硬件设计没问题

8. Clock Lane Information Register

    1. 查看 clock的工作状态

9. Lane Information Register

    1. 查看每个lane的工作状态,每个lane不是始终处于工作状态,也会处于inactive状态

附:申请Xilinx Evaluation License

    1. 首先需要有一个Xilinx官方账号,然后进入到Evaluation License网址进行申请,申请界面如下:

 

image.png

    2. 点击search now,输入mipi关键字,勾选MIPI RX

 

image.png

    3. Evaluation License需要绑定主机的MAC地址,点击Generate Node-Locked License,然后设置需要绑定的MAC地址

 

image.png

 

image.png

    4. 很快在个人注册的邮箱里会收到Xilinx官方发布的lic文件,将其导入到Vivado工具即可。

NOTE:Evaluation License仅限于测试MIPI IP和MIPI摄像头的工作状态,不可用于发布产品,其内部带有计数器,连续使用几小时后会停止工作。

福利

据可靠小道消息:EdgeBoard正在打折中,历史最低价,降价1000元。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

随着科技日新月异的进步,语音识别技术已成为人工智能领域的一项核心突破。这项技术旨在模拟人类听觉系统,通过复杂算法和模式识别手段将连续或离散的语音信号转换为可理解的文本或指令信息。本文深入探讨了语音识别技术在多个领域的广泛...

关键字: 语音识别 人工智能

随着人工智能和信息技术的飞速发展,语音识别技术已经从实验室走向了现实生活中的各个角落,成为人机交互领域的重要组成部分。语音识别产品不仅丰富了我们的日常生活,也正在深刻地改变着众多行业的工作模式和服务形态。

关键字: 语音识别 人工智能

在当今大数据和人工智能时代,机器学习作为核心的技术驱动力,正以前所未有的速度改变着我们的生活和工作方式。从基础的数据分析到复杂的决策支持系统,机器学习模型的成功构建和应用离不开一套严谨的流程。本文将详尽阐述机器学习过程中...

关键字: 机器学习 人工智能

机器学习作为人工智能领域的核心技术,其应用日益广泛,从搜索引擎优化到医疗诊断,从金融风控到自动驾驶等众多领域均发挥着重要作用。深入理解并掌握机器学习的关键步骤是成功构建高效模型和解决方案的基础。本文将详细阐述机器学习的主...

关键字: 机器学习 人工智能

是德科技(Keysight Technologies, Inc.)现已开启与全新 NVIDIA 6G 研究云平台的合作。该平台包括 NVIDIA Aerial Omniverse 数字孪生,这是一个开放、灵活的网络仿真资...

关键字: 6G 人工智能 RAN

纵观人类近现代史,每一次工业革命都是将战略性科技转化为生产力,从而创造巨大的新增财富和全面提升国家竞争力的过程;而且一个国家在工业革命面前的“沉与浮”,则取决于一个国家对这些战略性科技和产业化能力的把控。从被称为蒸汽机时...

关键字: 人工智能 算力 大模型

Arm Neoverse 旨在为从云到边缘的全场景基础设施用例提供高性能和出色能效。针对需要更高性能的工作负载和用例,Arm 推出了 Neoverse V 系列。其中,Neoverse V2 核心已被行业先行者广泛部署于...

关键字: 云计算 人工智能 CPU

本文中,小编将对人工智能AI予以介绍,如果你想对它的详细情况有所认识,或者想要增进对它的了解程度,不妨请看以下内容哦。

关键字: 人工智能 AI

在这篇文章中,小编将为大家带来人工智能AI的相关报道。如果你对本文即将要讲解的内容存在一定兴趣,不妨继续往下阅读哦。

关键字: 人工智能 AI

“人工智能+”时代将至 超过90%的受访企业将招聘人工智能人才列为首要任务,但62%的受访企业在招聘所需人才时面临困难

关键字: 人工智能 生成式AI 机器学习
关闭
关闭