当前位置:首页 > 通信技术 > 通信先锋
[导读]1月13日消息,今日,DeepSeek发布新论文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》(基于可扩展查找的条件记忆:大型语言模型稀疏性的新维度)。

1月13日消息,今日,DeepSeek发布新论文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》(基于可扩展查找的条件记忆:大型语言模型稀疏性的新维度)。

该论文为北京大学与DeepSeek共同完成,合著作者署名中出现梁文锋。

论文提出条件记忆(conditional memory),通过引入可扩展的查找记忆结构,在等参数、等算力条件下显著提升模型在知识调用、推理、代码、数学等任务上的表现。

此外,DeepSeek还开源相关记忆模块Engram。

该模块提出了“查—算分离”的全新架构思路,业内认为,Engram有望成为DeepSeek下一代模型V4的核心技术基础。

据媒体报道,知情人士透露,DeepSeek计划于2月中旬农历新年前后推出V4模型,不过具体时间仍可能调整。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除( 邮箱:macysun@21ic.com )。
换一批
延伸阅读
关闭