-
对AI模型进行压缩激活工作，减小对内存的消耗
今天的 AI 模型有数十亿或数万亿个参数，即输入和权重。所以我们需要巨大的内存来激活。这当然会对芯片设计产生巨大影响，因为激活存储器经常支配平面布局。我们可以尝试使用量化、稀疏性、权重共享等概念来减少所需的内存。但它们只能走这么远，尤其是在模型庞大且持续增长的情况下。要是有办法压缩激活就好了!好吧，Perceive 的 CEO Steve Teig 想出了一个办法。
今天的 AI 模型有数十亿或数万亿个参数，即输入和权重。所以我们需要巨大的内存来激活。这当然会对芯片设计产生巨大影响，因为激活存储器经常支配平面布局。我们可以尝试使用量化、稀疏性、权重共享等概念来减少所需的内存。但它们只能走这么远，尤其是在模型庞大且持续增长的情况下。要是有办法压缩激活就好了!好吧，Perceive 的 CEO Steve Teig 想出了一个办法。
