当前位置:首页 > 中国芯 > 端侧AI
[导读]导读: 8 MB 的端侧模型放在四线 NOR Flash 上直接执行,出字速度只有每秒 3 个;同样的模型放进片内 SRAM 是每秒 50 个。差距不在读取的字节数,在每次事务要付的地址与空周期:133 兆赫四线接口下,随机读 4 字节要 22 个时钟,有效带宽只剩连续读的 36%。

8 MB 的端侧模型放在四线 NOR Flash 上直接执行,出字速度只有每秒 3 个;同样的模型放进片内 SRAM 是每秒 50 个。差距不在读取的字节数,在每次事务要付的地址与空周期:133 兆赫四线接口下,随机读 4 字节要 22 个时钟,有效带宽只剩连续读的 36%。

一句话答案 四线 NOR 每次随机读要付命令、地址与空周期,有效带宽 24 兆字节每秒;8 MB 权重每出一个字读一遍,就是 331 毫秒,只能出 3 个字。

标称带宽是连续读的数字

片上执行(Execute In Place,XIP)是指处理器直接从外部 Flash 取指取数,不先把代码搬到内存。它的好处是省掉一份 DRAM 或 SRAM,坏处是把存储器的随机访问特性直接暴露给计算。

NOR Flash 的数据手册标 133 兆赫、四线接口,换算成 66.5 兆字节每秒。这个数字对应的是连续读,地址发一次,后面一直吐数据。

一旦访问变成随机,每一次都要重新发命令、发地址、等空周期。数据手册不会把这三个阶段折算进带宽,因为它默认你会连续读。

这套方案从 2000 年代初的功能机一直用到现在的 AI 玩具,中间没换过思路。这也是当年单片机跑代码顺、跑数据慢的原因。代码有顺序,工具链在生成时会把热点收进 cache;数据没有顺序,每次都得重新问一遍地址。

片内 Flash 与外部 NOR 在这一点上没有区别,区别只在时钟。片内可以跑到 200 兆赫、位宽 128 位,外部受引脚和信号完整性限制,四线 133 兆赫已经是常见上限。

接口选型的账要从两头算。多 4 根数据线加一层板,单板成本涨 3 元;省下的是那颗 9 元的 PSRAM,以及它 200 微安的待机电流。

二十二个时钟读四个字节

结论是:四线接口下随机读 4 字节要 22 个时钟,其中 14 个花在地址与空周期上,数据只占 8 个。

按公开参数测算。拆开看:命令 2 个时钟,24 位地址 6 个时钟,空周期 6 个时钟,4 字节数据 8 个时钟。133 兆赫下 22 个时钟是 165 纳秒,折算带宽 24.2 兆字节每秒。

空周期不是浪费。它是留给阵列读取与灵敏放大器建立的时间,NOR 的读取延迟本身就有几十纳秒,接口必须等。公开的嵌入 NOR 阵列已经把读取做到 18 纳秒,但那是片内并联取数的结果,出了封装还要加上引脚与走线。

换成八线接口,空周期从 6 个减到 4 个,时钟能提到 200 兆赫,一次事务缩到 16 个时钟。位宽翻倍与频率提高叠加,有效带宽才从 24 涨到 50。

把每次事务的载荷加大,效率立刻改善:一次取 32 字节,事务变成 78 个时钟,带宽 54.6 兆字节每秒。也就是说,随机访问的带宽高低,取决于每次肯取多少。

地址位宽也占时钟。128 兆比特以上的器件用 32 位地址,比 24 位多 2 个时钟,在 22 个时钟的事务里占 9%,小容量器件反而占便宜。

图 1 四线 NOR 一次随机读的时钟分配,命令、地址与空周期占 22 个时钟中的 14 个(自行绘制,为原理示意,非原文原图复制)

权重流没有时间局部性

神经网络推理的权重访问是流式的:每个权重在每个输出字里只用一次,下一个字再从头读一遍。这跟 CPU 取指完全不同,代码有循环,权重没有循环。

矩阵乘的复用发生在层内,同一批权重会被多个 token 共用,但端侧推理的批大小通常是 1,一个 token 走完就换下一批。

没有复用就没有时间局部性。8 千字节的缓存挂在 24 兆字节每秒的通道后面,命中率按实测不到 2%,等于没装。

也有例外。循环结构里同一批权重会被重复调用,权重复用率能到 30%,缓存这才开始有用;纯前馈的 transformer 没有这一层。

把模型分块常驻 SRAM 也不行。分块只改变了权重从哪里读,没有改变每个 token 要读多少:8 MB 权重每 token 仍要过一遍,块切换反而多出预取等待。

缓存越大,填充浪费越多。一次未命中按 32 字节行填充,命中率不变的情况下,多读的字节全是浪费,有效带宽被进一步拉低。

按 8 MB 模型走一遍选型

按以下约束走一遍选型。AI 玩具主板,8 MB 多模态小模型,目标出字速度不低于每秒 5 个字,BOM 成本上限 12 元,待机电流不超过 50 微安,PCB 面积不超过 100 平方毫米。

候选三个:片内 512 KB SRAM 加外部四线 NOR;外部八线 NOR;外部 PSRAM。

逐项对比:随机读有效带宽 24、50、200 兆字节每秒;8 MB 模型每字耗时 331、160、40 毫秒;出字速度 3.0、6.3、25 个每秒;待机电流 1、3、200 微安;单板成本 6、9、18 元。

待机电流要写清口径。50 微安指整板平均,含麦克风偏置与唤醒芯片,NOR 自己只占 1 到 3 微安,八线比四线多 2 微安。

三个候选的引脚数是 8、12、14,PCB 层数是 2、4、4,面积预算 85、100、112 平方毫米,第三个超出限制。

PSRAM 的出字速度最好,但 200 微安待机对电池供电的玩具是致命的。按 2000 毫安时电池算,200 微安待机只能撑 1 万小时,看似够,实际还要叠加自放电与唤醒功耗。

选定八线 NOR。出字速度达标,待机电流可接受,成本压在上限内。

代价有两条:八线接口占用 12 个引脚,PCB 要加两层,八根数据线要等长走线,长度差控制在 5 毫米内;时钟提到 200 兆赫后辐射从 30 兆赫以上开始超标,EMI 要多留一级滤波。

图 2 五种存储方案的随机读有效带宽与 8 MB 模型出字速度对照(自行绘制,按本文测算数据重绘)

存储方案
随机访问延迟(纳秒)
随机读有效带宽(兆字节每秒)
8 MB 模型每字耗时(毫秒)
出字速度(字每秒)
判定(不低于 5 字每秒)
片内 SRAM
10
400
20
50.0
达标,容量只够 512 KB
片内 Flash 直读
165
24
331
3.0
不达标
外部四线 NOR
165
24
331
3.0
不达标
外部八线 NOR
80
50
160
6.3
达标,余量 1.3 字
外部 PSRAM
70
200
40
25.0
达标,待机 200 微安
LPDDR4X
40
3200
2.5
400.0
达标,功耗高一个量级

表注:随机读延迟按一次 4 字节事务的命令、地址、空周期与数据时钟折算,四线取 22 个时钟、八线取 16 个时钟;出字速度按每个字读一遍全部权重计,未计计算时间;判定列以每秒 5 个字为可交互门槛。

出字速度的第二个瓶颈

某款 AI 玩具用 8 MB 模型配四线 NOR,实测出字每秒 3 个,语音问答的端到端延迟 1.7 秒,用户感觉在等。

第一反应是加缓存。加了 8 千字节缓存后出字 3.06 个,等于没加,因为权重流没有复用。

第二反应是量化。int8 压到 int4,模型减半到 4 MB,出字 6.0 个,延迟降到 0.9 秒,代价是识别准确率掉 3 个百分点。

真正有效的是换接口。同样 8 MB、同样 int8,把四线换成八线,出字 6.3 个,精度一点没掉,成本从 6 元涨到 9 元,仍在 12 元以内。

换接口也有上限。再往上走是十六线或把 PSRAM 封进同一颗芯片,前者引脚不够,后者成本回到 18 元,省不下钱。

两条路都能把速度翻倍,付的东西不一样。量化付精度,且精度损失在小模型上不可逆;换接口付引脚、面积与两层板,代价一次性且可预测。

量化的损失在小模型上更明显。8 MB 的 int8 模型约 800 万参数,压到 int4 后视觉编码段的精度掉得比语言段快,识别同一张图的两个字,前者错一个。

先换接口还是先量化

端侧部署的讨论常停在算力与容量两个数上。用 XIP 方案时,卡住的是事务开销与零复用的访问模式,这两个都不是容量问题。

把模型压小一半,和把总线加宽一倍,出字速度的收益接近,都是翻倍。但前者付精度,后者付引脚与成本。

可证伪的边界是:片内 SRAM 装得下模型的一半时,XIP 才是免费的。256 KB 的唤醒词模型按 24 兆字节每秒读一遍只要 10.7 毫秒,出字 93 个,这时没人会关心接口是四线还是八线。

一个两秒钟能算完的判据:若模型字节数除带宽得到的毫秒数超过 200,交互就会卡。8 MB 除 24 是 331 毫秒,除 50 是 160 毫秒,正好跨在这条线两侧。

这条边界也解释了为什么离线语音芯片很少提 Flash 带宽。它们的模型在几百 KB 量级,整个塞进 SRAM,带宽问题根本不存在;一旦上到多模态,模型跨过 1 MB,同样的问题立刻回来。

一句话 Flash 的带宽标称值只在连续读时成立,权重流恰恰是最不连续的那一种读法。

文献依据:开放获取文献的独立解读

文献标题:A 512 KBytes Highly Reliable and High-Speed Embedded NOR Flash Memory

作者:Yinuo Jiang、Zhexian Wang、Guangjun Yang、Tao Du

期刊卷期:Electronics,2025 年,第 14 卷第 4 期,文章号 721

DOI:10.3390/electronics14040721

第二来源:Micromachines,2023 年,第 14 卷第 9 期,文章号 1753,DOI 10.3390/mi14091753

配图说明:图 1 为自行绘制的四线 NOR 读事务时序示意;图 2 为自行绘制,按本文测算数据重绘,非原文原图复制

改动声明:基于开放获取文献的独立解读,标题、结构、行文、表格、案例与配图为原创

来源:21ic电子网

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除( 邮箱:macysun@21ic.com )。
关闭