-
激活参数只剩两成，端侧 MoE 的内存为什么反而多装四成
导读： MoE 搬到端侧，卖点一直写在算力上：0.3B 激活对 1.3B 总参数，FLOPs 少 2 到 4 倍。同一组数字换个方向看就变了味。INT4 下常驻内存从 450 MB 涨到 650 MB，每 token 的访存从 450 MB 降到 150 MB，出字速度只快 2.2 到 3.4 倍。省下的是算力，卡住的是容量。
导读： MoE 搬到端侧，卖点一直写在算力上：0.3B 激活对 1.3B 总参数，FLOPs 少 2 到 4 倍。同一组数字换个方向看就变了味。INT4 下常驻内存从 450 MB 涨到 650 MB，每 token 的访存从 450 MB 降到 150 MB，出字速度只快 2.2 到 3.4 倍。省下的是算力，卡住的是容量。
