每秒三个字,NOR Flash 的带宽账怎么算
8 MB 的端侧模型放在四线 NOR Flash 上直接执行,出字速度只有每秒 3 个;同样的模型放进片内 SRAM 是每秒 50 个。差距不在读取的字节数,在每次事务要付的地址与空周期:133 兆赫四线接口下,随机读 4 字节要 22 个时钟,有效带宽只剩连续读的 36%。
一句话答案 四线 NOR 每次随机读要付命令、地址与空周期,有效带宽 24 兆字节每秒;8 MB 权重每出一个字读一遍,就是 331 毫秒,只能出 3 个字。
标称带宽是连续读的数字
片上执行(Execute In Place,XIP)是指处理器直接从外部 Flash 取指取数,不先把代码搬到内存。它的好处是省掉一份 DRAM 或 SRAM,坏处是把存储器的随机访问特性直接暴露给计算。
NOR Flash 的数据手册标 133 兆赫、四线接口,换算成 66.5 兆字节每秒。这个数字对应的是连续读,地址发一次,后面一直吐数据。
一旦访问变成随机,每一次都要重新发命令、发地址、等空周期。数据手册不会把这三个阶段折算进带宽,因为它默认你会连续读。
这套方案从 2000 年代初的功能机一直用到现在的 AI 玩具,中间没换过思路。这也是当年单片机跑代码顺、跑数据慢的原因。代码有顺序,工具链在生成时会把热点收进 cache;数据没有顺序,每次都得重新问一遍地址。
片内 Flash 与外部 NOR 在这一点上没有区别,区别只在时钟。片内可以跑到 200 兆赫、位宽 128 位,外部受引脚和信号完整性限制,四线 133 兆赫已经是常见上限。
接口选型的账要从两头算。多 4 根数据线加一层板,单板成本涨 3 元;省下的是那颗 9 元的 PSRAM,以及它 200 微安的待机电流。
二十二个时钟读四个字节
结论是:四线接口下随机读 4 字节要 22 个时钟,其中 14 个花在地址与空周期上,数据只占 8 个。
按公开参数测算。拆开看:命令 2 个时钟,24 位地址 6 个时钟,空周期 6 个时钟,4 字节数据 8 个时钟。133 兆赫下 22 个时钟是 165 纳秒,折算带宽 24.2 兆字节每秒。
空周期不是浪费。它是留给阵列读取与灵敏放大器建立的时间,NOR 的读取延迟本身就有几十纳秒,接口必须等。公开的嵌入 NOR 阵列已经把读取做到 18 纳秒,但那是片内并联取数的结果,出了封装还要加上引脚与走线。
换成八线接口,空周期从 6 个减到 4 个,时钟能提到 200 兆赫,一次事务缩到 16 个时钟。位宽翻倍与频率提高叠加,有效带宽才从 24 涨到 50。
把每次事务的载荷加大,效率立刻改善:一次取 32 字节,事务变成 78 个时钟,带宽 54.6 兆字节每秒。也就是说,随机访问的带宽高低,取决于每次肯取多少。
地址位宽也占时钟。128 兆比特以上的器件用 32 位地址,比 24 位多 2 个时钟,在 22 个时钟的事务里占 9%,小容量器件反而占便宜。
图 1 四线 NOR 一次随机读的时钟分配,命令、地址与空周期占 22 个时钟中的 14 个(自行绘制,为原理示意,非原文原图复制)
权重流没有时间局部性
神经网络推理的权重访问是流式的:每个权重在每个输出字里只用一次,下一个字再从头读一遍。这跟 CPU 取指完全不同,代码有循环,权重没有循环。
矩阵乘的复用发生在层内,同一批权重会被多个 token 共用,但端侧推理的批大小通常是 1,一个 token 走完就换下一批。
没有复用就没有时间局部性。8 千字节的缓存挂在 24 兆字节每秒的通道后面,命中率按实测不到 2%,等于没装。
也有例外。循环结构里同一批权重会被重复调用,权重复用率能到 30%,缓存这才开始有用;纯前馈的 transformer 没有这一层。
把模型分块常驻 SRAM 也不行。分块只改变了权重从哪里读,没有改变每个 token 要读多少:8 MB 权重每 token 仍要过一遍,块切换反而多出预取等待。
缓存越大,填充浪费越多。一次未命中按 32 字节行填充,命中率不变的情况下,多读的字节全是浪费,有效带宽被进一步拉低。
按 8 MB 模型走一遍选型
按以下约束走一遍选型。AI 玩具主板,8 MB 多模态小模型,目标出字速度不低于每秒 5 个字,BOM 成本上限 12 元,待机电流不超过 50 微安,PCB 面积不超过 100 平方毫米。
候选三个:片内 512 KB SRAM 加外部四线 NOR;外部八线 NOR;外部 PSRAM。
逐项对比:随机读有效带宽 24、50、200 兆字节每秒;8 MB 模型每字耗时 331、160、40 毫秒;出字速度 3.0、6.3、25 个每秒;待机电流 1、3、200 微安;单板成本 6、9、18 元。
待机电流要写清口径。50 微安指整板平均,含麦克风偏置与唤醒芯片,NOR 自己只占 1 到 3 微安,八线比四线多 2 微安。
三个候选的引脚数是 8、12、14,PCB 层数是 2、4、4,面积预算 85、100、112 平方毫米,第三个超出限制。
PSRAM 的出字速度最好,但 200 微安待机对电池供电的玩具是致命的。按 2000 毫安时电池算,200 微安待机只能撑 1 万小时,看似够,实际还要叠加自放电与唤醒功耗。
选定八线 NOR。出字速度达标,待机电流可接受,成本压在上限内。
代价有两条:八线接口占用 12 个引脚,PCB 要加两层,八根数据线要等长走线,长度差控制在 5 毫米内;时钟提到 200 兆赫后辐射从 30 兆赫以上开始超标,EMI 要多留一级滤波。
图 2 五种存储方案的随机读有效带宽与 8 MB 模型出字速度对照(自行绘制,按本文测算数据重绘)
|
存储方案 |
随机访问延迟(纳秒) |
随机读有效带宽(兆字节每秒) |
8 MB 模型每字耗时(毫秒) |
出字速度(字每秒) |
判定(不低于 5 字每秒) |
|
片内 SRAM |
10 |
400 |
20 |
50.0 |
达标,容量只够 512 KB |
|
片内 Flash 直读 |
165 |
24 |
331 |
3.0 |
不达标 |
|
外部四线 NOR |
165 |
24 |
331 |
3.0 |
不达标 |
|
外部八线 NOR |
80 |
50 |
160 |
6.3 |
达标,余量 1.3 字 |
|
外部 PSRAM |
70 |
200 |
40 |
25.0 |
达标,待机 200 微安 |
|
LPDDR4X |
40 |
3200 |
2.5 |
400.0 |
达标,功耗高一个量级 |
表注:随机读延迟按一次 4 字节事务的命令、地址、空周期与数据时钟折算,四线取 22 个时钟、八线取 16 个时钟;出字速度按每个字读一遍全部权重计,未计计算时间;判定列以每秒 5 个字为可交互门槛。
出字速度的第二个瓶颈
某款 AI 玩具用 8 MB 模型配四线 NOR,实测出字每秒 3 个,语音问答的端到端延迟 1.7 秒,用户感觉在等。
第一反应是加缓存。加了 8 千字节缓存后出字 3.06 个,等于没加,因为权重流没有复用。
第二反应是量化。int8 压到 int4,模型减半到 4 MB,出字 6.0 个,延迟降到 0.9 秒,代价是识别准确率掉 3 个百分点。
真正有效的是换接口。同样 8 MB、同样 int8,把四线换成八线,出字 6.3 个,精度一点没掉,成本从 6 元涨到 9 元,仍在 12 元以内。
换接口也有上限。再往上走是十六线或把 PSRAM 封进同一颗芯片,前者引脚不够,后者成本回到 18 元,省不下钱。
两条路都能把速度翻倍,付的东西不一样。量化付精度,且精度损失在小模型上不可逆;换接口付引脚、面积与两层板,代价一次性且可预测。
量化的损失在小模型上更明显。8 MB 的 int8 模型约 800 万参数,压到 int4 后视觉编码段的精度掉得比语言段快,识别同一张图的两个字,前者错一个。
先换接口还是先量化
端侧部署的讨论常停在算力与容量两个数上。用 XIP 方案时,卡住的是事务开销与零复用的访问模式,这两个都不是容量问题。
把模型压小一半,和把总线加宽一倍,出字速度的收益接近,都是翻倍。但前者付精度,后者付引脚与成本。
可证伪的边界是:片内 SRAM 装得下模型的一半时,XIP 才是免费的。256 KB 的唤醒词模型按 24 兆字节每秒读一遍只要 10.7 毫秒,出字 93 个,这时没人会关心接口是四线还是八线。
一个两秒钟能算完的判据:若模型字节数除带宽得到的毫秒数超过 200,交互就会卡。8 MB 除 24 是 331 毫秒,除 50 是 160 毫秒,正好跨在这条线两侧。
这条边界也解释了为什么离线语音芯片很少提 Flash 带宽。它们的模型在几百 KB 量级,整个塞进 SRAM,带宽问题根本不存在;一旦上到多模态,模型跨过 1 MB,同样的问题立刻回来。
一句话 Flash 的带宽标称值只在连续读时成立,权重流恰恰是最不连续的那一种读法。
文献依据:开放获取文献的独立解读
文献标题:A 512 KBytes Highly Reliable and High-Speed Embedded NOR Flash Memory
作者:Yinuo Jiang、Zhexian Wang、Guangjun Yang、Tao Du
期刊卷期:Electronics,2025 年,第 14 卷第 4 期,文章号 721
DOI:10.3390/electronics14040721
第二来源:Micromachines,2023 年,第 14 卷第 9 期,文章号 1753,DOI 10.3390/mi14091753
配图说明:图 1 为自行绘制的四线 NOR 读事务时序示意;图 2 为自行绘制,按本文测算数据重绘,非原文原图复制
改动声明:基于开放获取文献的独立解读,标题、结构、行文、表格、案例与配图为原创
来源:21ic电子网





