分页缓存降碎片，人工智能推理仍需分块调度

并发请求增加时，显存还有余量却可能无法继续接单，长提示也可能让正在输出的请求停顿。人工智能语言模型服务需要分别处理键值缓存的空间分配，以及预填充与逐词解码对计算资源的竞争。

自回归生成会保存历史词元对应的键和值，供后续注意力计算使用。缓存规模随序列长度、层数、键值头数、头维度和数据精度变化，并非只由参数量决定。若为每个请求预留一段连续的最大长度空间，实际输出较短时就会出现大量预留浪费；长度动态增长时，又可能难以找到足够大的连续区域。总空闲字节数足够，并不意味着传统分配方式总能满足下一次扩容。

分页管理将逻辑上的连续序列映射到多个固定大小的物理块，请求增长时逐块分配，而不必提前占住最大长度区域。注意力内核通过块表定位历史缓存，代价是增加地址映射和相应访存逻辑。块越小，尾部未用空间通常越少，但块表项与管理操作也会更多；块越大则管理较简洁，却可能增加最后一块的内部浪费。合适粒度需要结合实际长度分布与内核实现测量。

分页并没有减少每个词元本身需要保存的信息，也不会自动降低注意力的计算复杂度。共享前缀能够在满足内容一致和隔离条件时复用部分块，但分支写入时必须避免污染其他请求，通常需要引用计数和写时复制等管理。达到显存容量之后仍需排队、抢占或限制并发。验收应记录有效缓存占比、分配失败与抢占次数，不能用一次显存利用率升高就宣称服务延迟必然下降。容量规划还要为权重、临时工作区和其他运行时分配留出余量。若只按缓存理论上限接收请求，实际内核启动时的工作区峰值仍可能触发分配失败；应在代表性的最大批量和长度组合下测量可用块数，再设置接单边界。

空间分配改善之后，调度仍可能使在线输出卡顿。预填充需要处理整段输入提示，逐词解码则反复为每个活跃请求生成下一词元；二者的计算与访存特征不同。如果一个很长的预填充在一次调度中占用大量执行时间，已经进入解码的请求可能被迫等待。此时用户看到的是词元之间的间隔突然增大，即便全局吞吐指标仍然很好，也不能据此判断交互体验达标。

分块预填充把长提示切成可分次处理的计算任务，并在调度边界与解码批次交错执行。它切分的是模型输入计算的时间安排，不是删掉提示内容；只要位置、因果依赖和缓存衔接正确，就不应因分块本身改变应计算的上下文。人工智能服务可以优先给活跃解码留出预算，再用剩余预算推进预填充，但这种选择通常会让新长请求等待更久，必须同时观察首次响应时间。

分块太小会增加调度和内核启动开销，分块太大又降低解码获得资源的频率。压测需要混合长短输入、不同输出长度和真实到达节奏，同时报告首词元时延、词元间时延及其尾部分位数。只用一批同时开始、长度完全一致的请求，容易掩盖长提示插入后的阻塞。分页解决的是显存如何容纳并发，分块解决的是并发如何轮流获得计算资源，两项应在相同负载下分别归因。

推理服务的容量与流畅度需要两套证据。先用分页压低缓存浪费，再通过分块预算平衡新请求和活跃输出，才能把显存收益转化为可预测的请求体验。