代号为Crescent Island的英特尔GPU D系列基于英特尔Xe3P架构,专为AI推理工作负载而打造。该GPU提供高达480GB的LPDDR5X内存、1.5TB/s内存带宽以及1.3 PFLOPS FP8算力,旨在提升持续运行的内存密集型AI推理工作负载的成本效益。
以存代算,近期最风靡的词汇之一。它的核心,就是KV Cache(键值缓存)。如果把大模型每次推理比作答题,KV Cache就像它的“即时记忆草稿本”。遇到多轮对话,模型直接翻看存好的草稿即可继续推演,既省下了算力,又缩短了答题时间。