新智元报道

参数越多，大模型就能装下越多知识？一篇被NeurIPS拒过的论文把账算死了：每个参数只有3.6 bit。15亿参数模型的记忆，还不如一支U盘。

大模型的记性，比你想象中可能差远了。

一个80亿参数的大模型，一口气吞下15万亿token的训练数据，堆到硬盘上差不多7TB。

可它真正「背」得下来的，少得可怜：每个参数只装得下3.6 bit。一个英文字母8 bit，连半个都填不满。

7TB数据灌进去，整个模型记得住的大约只有两千分之一。你往里塞再多，它也只装下这么点。

捅开这一真相的，是7月5日ICML 2026的一篇获奖论文，题目就叫《How much do language models memorize?》（《语言模型能记住多少东西？》）。

这篇在Meta做出来的论文，第一次给「大模型的记忆」称出了重量。

如果把大模型想象成一块闪存，它的容量一出厂就焊死：每个参数大约3.6 bit，填满一格，就少一格。

这些参数并非通往无限知识的入口，更像一根填满就再也塞不进去的存储条。

数据喂得再多，各模型的记忆量都会撞上自己的容量天花板。模型越大，天花板越高。

这篇论文的特别之处，不止它的观点，更在它背后的故事。

两年前，它先被NeurIPS拒了。

Morris没放弃，把实验重新清理、补做了一遍，两年后转投ICML，最终拿下ICML 2026杰出论文荣誉提名（Outstanding Paper Honorable Mention）。

奖项一公布，Morris难言兴奋，在X上写道：

别放弃！这轮ICML收到2.4万份投稿，只颁出7个奖项，太不可思议了。两年前的冬天，我还怀疑自己能否完成这个项目。

他一一感谢了合作者，但也没客气：

Meta如今已经不太适合做纯粹的学术研究，这篇在Meta任职期间完成的论文，因为种种原因，差点没能发出来。

让他高兴的，是论文里「大模型就像一块闪存」的容量理念，正被越来越多人接受。

而且这套方法已经落了地——至少一家前沿实验室，把它实打实用在了中期训练的数据筛选上。

作为研究员，Morris长期盯着语言模型的表征，从嵌入（embedding）到权重，追问的始终是同一个问题：信息，到底存在模型的什么地方。

这篇论文，算是他这条主线的一次集中交卷。

这项研究的八位作者横跨Meta、Google DeepMind、康奈尔、英伟达，一头扎在工业界，一头连着学术界。

ICML官方的评价是：这项工作提出了区分「记忆」与「泛化」的新视角，理论底子扎实，又配上实打实的实测，撑起了那个3.6 bit的大胆结论。

只是两年前，人们还没意识到他这篇论文的分量。

「记住」和「学会」

是两回事

这篇论文，打破了这些年大家一个默认的认知：

参数越多，知识越多。堆参数、堆数据、堆算力，模型自然更聪明。

其中，一件重要的事一直没人说透：

模型到底是真「学会」了，还是只是把训练数据「背」了下来？

过去，衡量记忆的办法很粗糙。

要么想尽办法让模型把训练数据原样吐出来，要么去判断某条数据在不在训练集里。

但这两种方式，都没分清这样一件事：模型说出某句话，是因为它记住了，还是因为它真的会推理。

比如，你让模型算两个数相加，它没见过这道题也能答对。

这显然不算「记忆」。

每个参数3.6 bit

是怎么量出来的

Meta的研究团队所做的，是第一次把「记忆」和「泛化」彻底区分开。

他们的思路，借鉴了信息论（information theory）：一条数据，如果在有模型帮忙的情况下能被压缩得更短，就说明模型「记住」了它。

压缩得越狠，记得越牢。

在这个框架里，记忆被拆成两块。

一块叫非预期记忆（unintended memorization），是模型死记硬背的、关于某个具体数据集的信息。

另一块叫泛化（generalization），是模型真正学到的、关于数据背后规律的东西。

把泛化那部分减掉，剩下的就是模型硬记下来的总量。

拿这个总量去除以参数规模，就得到了那个关键的比值：每个参数装了多少bit。

团队训了数百个从50万到15亿参数不等的Transformer，反复测量。

最终，结论都指向这样一个数字：

GPT类模型每个参数能存3.5到4 bit，32位精度下约3.6 bit。一个不到700万参数的模型，容量大约就是23.9MB。

这就是它记忆的天花板。

GPT类模型每参数约3.64 bit，容量随参数线性增长。

要说明的是，这3.6 bit并不是说「一个参数只能塞3.6 bit文本」。

它是在一套特定的信息论定义下，估算出的记忆容量。是模型「死记硬背」的上限，而不是它硬盘意义上的存储量。

大模型更像一块「闪存」

这个比喻，戳破了两个关于大模型的认知。

第一，你以为大模型把训练数据都记住了？其实根本装不下。

现在每个主流大模型都在几万亿token上训练，可它们的容量压根塞不进这么多，数据早就溢出了。

第二，当灌进去的数据超过容量，模型反而会「变聪明」。它不再一条条死记，而是被逼着去找通用的规律。

这时候就冒出了所谓的双下降（double descent）：损失先降后升再降。

记忆填满的那一刻，恰恰是泛化开始的起点。

数据量撑爆容量的那一刻，双下降出现，模型被逼着转向泛化。

论文里把这个转折叫作「顿悟」（grokking）的开端：模型记不下了，这才真正开始开窍。

在纯随机的比特串上，模型只能硬记，容量一填满就到顶。可换成真实文本，情形就变了。

模型先拿容量去记，记到装不下，就掉头用泛化来顶替死记，转而学那些能反复复用的通用模式。

记忆和泛化，在同一个模型里此消彼长。

所以，先不要着急得出「大模型就是个数据库」「AI只是在背答案」这样的结论，这篇论文证明的恰恰相反：正因为记不住，它才不得不学会举一反三。

这套框架还顺手回答了一个隐私问题：记不住，某种程度上反倒成了一种保护。

数据越多，成员推断越接近随机猜测（F1趋近0.5）。

既然大模型的容量早被海量数据撑爆，那想靠成员推断（membership inference）去反推某条数据在不在训练集里，就变得越来越难。

对绝大多数在天量数据上训练的模型来说，这事儿几乎测不准。

下一程

Scaling Law要换挡了

奖项背后，更让人感兴趣的，是这个发现对整个行业意味着什么。

如果参数容量真有上限，那「无脑堆参数」的路就看得见尽头了。因为模型再大，能记的东西也是有数的。

竞争的重心，会从「喂更多数据」转向一个更刁钻的问题：哪些数据，才值得被模型记住？

这正好呼应了这两年最热的几个方向：数据筛选、合成数据（synthetic data），以及中期训练（midtraining）阶段的数据选择。

同样的参数预算，喂进去的是高信息密度的精料，还是重复冗余的「水货」，结果会差出一大截。

谁能挑出那些最值得被模型记住的数据，谁就能在容量的天花板下，多榨出一分能力。

这意味着，Scaling Law的玩法也得变了。

过去十年，规矩简单粗暴：模型更大、数据更多、算力更猛，能力就往上走。

可一旦容量见了底，光靠加参数就不灵了。下一程的胜负手，大概率不在「多」，而在「准」。

Morris透露，他们这套方法，已经被至少一家前沿实验室拿去做中期训练的数据筛选了。

一篇两年前被拒、差点被埋掉的论文，正在悄悄改写真实的训练流程。

大模型的能力上限，已经不只看参数量，还看每个参数到底被喂了什么。

测完记忆的极限

他转身开了家公司

Morris，2025年底离开博士项目，拉着几位研究者创办了一家叫Engram的公司。

Engram创始团队合影。左起Jack Morris、Sabri Eyuboglu、Dan Biderman（CEO）、Scott Linderman、Jessy Lin

2026年6月，Engram正式走出隐身，13个人的公司，一出场就带着9800万美元融资、6亿美元估值。

Engram押注的，恰好就是论文测出的那个限制。

模型容量有限，他们就干脆换了个打法：

花训练算力，让模型提前把你的资料「学」进脑子，长出一层专属的「习得记忆（learned memory）」。

他们号称在不少任务上能少烧10到100倍的token，效果还追平甚至压过前沿实验室。

微软、Notion、法律AI公司Harvey已经接入了他们的模型，投资人名单里还包括刚加盟Anthropic的Karpathy。

上线那天，Karpathy还在X上公开道贺。

为一家主打省token的创业公司捧场，Karpathy这份表态背后是整个行业的焦虑：AI账单正在失控，token越烧越多，成本压不住。

Morris给出的答案是把算力掉头——不砸向公共互联网，而去啃透你自己的语料。

在他看来，真正卡住AI的是记性，不是算力。

参考资料：

https://jxmo.io/research

https://arxiv.org/pdf/2505.24832

https://www.cnbc.com/2026/06/23/ai-memory-startup-focused-on-cutting-token-costs-raises-98-million.html

编辑：元宇

秒追ASI