即使将提示词打磨到极致，也抵不上一次模型升级。这是 Engram 联合创始人丹·比德曼的洞见，也是这家公司诞生的根源——当整个业界都在追逐上下文工程、RAG 和工具调用时，比德曼与伙伴杰茜·林却转向了另一条路径：训练。不是训练出更聪明的模型，而是训练模型去铭记你。
比德曼的背景在神经科学，林则来自自然语言处理与认知计算，两人组建了一支精简却精悍的团队，创立了被称作"新实验室"的新锐 AI 研究机构。Engram 不打造通用大模型，它的客户群是那些需要让 AI 深度理解自身业务的团队——Notion、微软和 Harvey 等企业已用它来训练自己的"定制模型"，使引擎不仅能回答问题，更能像资深员工那样，牢记每次决策、每轮迭代和每个领域独有的隐性知识。
在这期 45 分钟的播客访谈中，两位拥有风投背景的主持人带着一个核心疑问穷追不舍：当 AI 模型已经足够聪明，下一个障碍会是什么？Engram 的回应十分利落——记忆。不是往上下文窗口里塞更多内容，而是让记忆刻入模型的权重深处。
本文整理自 YouTube 播客专访《记忆与持续学习：Engram 的丹·比德曼和杰茜·林》。以下是完整编译。
1
"我们的模型始终在训练"——模糊预训练与后训练的界限
Engram 官网上的一句宣言引发主持人的即刻追问："我们不从预训练或后训练的视角看世界。我们的模型一直在训练。"
这究竟是何意？
杰茜·林给出了直白的解释："现今的模型已经极其聪慧了。但让这些模型更实用的瓶颈，不再是原始才智，而是如何领悟崭新且持续演变的语境——比如你手头的新任务，或某家公司独特的工作模式。核心问题是：我们怎样把这些信息熔炼进模型的权重，就像预训练时将'法国的首都是巴黎'深深刻入那样？"
丹用更感性的比喻补充道："恰似我们人类，每日沉睡后重返职场，脑海里不只有笔记，还有一种新生的直觉——懂得该关注什么，该如何思考。目前的 AI 方案多半是外在化记忆：把资料写入上下文、写进笔记。但这引出两大难题：首先，你每天生成的 token 很快会累积到千万级，查询代价惊人；其次，外在记忆只有查寻功能，缺失真正的理解。"
两人达成了共识：上下文工程、RAG、工具调用——这些都有价值，然而一个严重被低估的手段是训练。运用与前沿实验室训练顶级数学或代码模型相同的方式，去训练任何一个垂直领域、任何一家公司的专有数据。
2
Engram 的架构：将公司知识"熔炼"进模型权重
Engram 所从事的工作，可用一语概括：训练每个团队的专属模型，让其透彻领会这一团队的上下文，并随岁月不断演进。
杰茜阐释了产品的运作模式：他们对接 Notion、微软、Harvey 这类拥有海量长期工作数据的平台，拾取其中的文档、对话、反馈——这些人们日常工作中产生的原始信号——转化为训练素材，接着借助 LoRA（低秩自适应）等适配器微调技术，将这些知识熔入模型的权重。
目的不是"在推理时将文件速览一遍"，而是让模型好似一位在公司服役多年的老手那样把握机构：
- 洞悉公司的各项战略走向
- 理解此处的独特行事风格
- 熟知招聘流程、写作规范、内部惯例
- 具备无需查阅任何文档就直接给出精准答复的能力
丹抛出一个震撼的量化对比：当前顶尖的前沿模型，要解答一个公司内部知识问题，或许需耗费10 万个 token来检索和推理；而经 Engram 训练后，同样的问题也许仅需100 个 token——缩减幅度可达百倍，不是 50%，而是两个数量级。
在技术上，Engram 要求白盒访问模型权重，因而更倾向开源模型，同时也与拥有闭源权重的公司合作。任何基于 Transformer 架构的模型，均可接受 Engram 的调理。
3
记忆究竟该不该入权重？——RAG 的局限
一个无法回避的疑问：RAG（检索增强生成）难道不能解决此事吗？
主持人紧逼追问，丹抛出一个精妙的比喻：
"你需要熟记自家的门禁密码吗？需要，因为你每日使用。需要记住去年住过的某酒店客房号吗？不必了，记在本上即可。"
但他随即点明 RAG 的根本缺陷：你清楚自己该搜寻什么吗？
检索系统应对的是"存什么、放哪里"的问题，而真正棘手的是"知晓该查询什么"。很多时候，有价值的关联无法预先被检索——比如，当你目睹团队里某人在钻研某个研究主题，你凭直觉忆起另一桩相关事情，这种"不期而至"的联想，只可能发生在权重里，不可能在检索系统中萌生。
杰茜补充了另一视角：若你总是倚赖 RAG，就永远在从事静态检索，无法在知识上累积与融合。"就像你不断重翻笔记，而非真正吸收——你的理解从来不会深化。"
丹更直截了当地说：Engram 的方向，在某种意义上可说是"RAG 终结者"——并非指 RAG 一无是处，而是对那些需要被真正内化的知识，训练入权重是更优的选择。
4
何为"只记关键之事"——遗忘亦是智慧的组成
一个深层的哲学议题浮现而出：大模型将所有事实都记入权重，这究竟是特性还是缺陷？
杰茜亮出了她的见解："你没法将事实记忆与技能记忆彻底割裂。一些研究者尝试将模型里的'事实'悉数剥离，仅留存'算法本领'——结果令模型变得极不自然，连基础问题都回答不出。你需要内化一些东西，方能在其上筑起更抽象的理念。"
但她同时承认了问题的要害：并非所有事实都值得铭记。现有的学术基准常要求模型记住"某个非洲国家某座桥的长度"——这类信息完全无必要占据模型的容量。
丹从神经科学的视角切入："人类的记忆是有损的。这并非瑕疵，这正是智慧的构成——压缩要紧的，滤除次要的。深度学习的魔法恰在于：梯度下降能将浩瀚信息压进极少的参数里。70B 的 Llama 模型，参数文件约 100GB，却可容下整个互联网的精华；但若只是缓存一篇泰勒·斯威夫特的维基百科文章的 KV cache，便需 80GB 的 GPU 内存——你将数十 KB 的文字转变成了 80GB 的'大脑状态'。"
他的结语是：训练即压缩。若能将那 80GB 离线压缩为几百兆，加载速度会飙升千倍，这对整套推理基础设施都具颠覆意义。
5
为何大模型厂商自己不涉足这项事务？
主持人抛出了一个锐利的问题：OpenAI、Anthropic 这类前沿实验室，为何不亲自将持续学习揽下？
丹的答复十分坦率：
"前沿实验室的首要目标是 AGI——一个在编程与数学上极其通用的超级模型。要推进这点，路径很明晰：更多预训练、更大规模的模型、更多数据、更多强化学习、更多推理计算。这是他们 95% 的精力与资金投入所在。"
他并不觉得巨头们没思虑记忆与持续学习——事实是，DeepMind 的德米斯·哈萨比斯在红杉资本的活动上明确言及"这一领域亟需新突破"——但对大厂而言，这更属一个产品层面的课题，尚未被视作核心研究挑战来攻关。
杰茜补充了另一维度：这一问题需要研究与产品的深度交融。在大厂的既有模式里，研究者训好模型，丢给产品团队，后者再去进行上下文工程和提示词工程。但在 Engram 的世界中，用户的每一次交互都是训练信号——研究与产品必须在同一闭环中运转，这是一种截然不同的组织方式。
她还提及了另一项结构性差异：每个人、每家公司欲求的东西，时常是私有的、彼此冲突的。"我的写作风格与你迥异，我的工作流也异于你公司的。这些事物绝不会出现在任何后训练数据集里。"
6
记忆钱包、个体模型与终极景象
对话尾声，主持人提出一个有趣的遐想：既然如今我们有"token 钱包"可随身携带，未来是否会浮现"记忆钱包"——将你在某家公司学到的技能、养成的工作方式，带到下一份职缺？
丹视其为终极圣杯之一：
"你在职场创造了大量价值，知识产权和机密留给公司，但你自身修得的技能、你独一无二的思考方式——某种经'脱敏处理'的东西——理应能携带离开。我们在生物学层面一直这么运作，仅靠保密协议和职业操守来约束。数字化版本将更耐人寻味，因为它将迫使每个人更深地将 AI 融入自身工作，并因此获得回馈。"
杰茜的视野则更具体：人人拥有一己的模型——真正有别于他人的模型，不同于前沿模型，只服务于你个人或你的团队。
丹用神经科学里的一项发现收束：大脑中主管记忆与导航的神经回路，几乎是同一套——记忆本质上是认知空间里的航游。他心中的 Engram，是一个"神经接口"——不再仅是文件系统的索引，而是对整个数据平面的大脑状态表征，关联性更强、效率更高、更贴近人类处理信息的方式。
"这有些像 Databricks 或甲骨文，"他说，"只不过我们存储的是神经记忆，模型是个性化的，且数量将以亿计。"
7
语言对阵视觉——一个"狂想理论"
播客行将结束，主持人肖恩分享了他酝酿已久的"疯帽子理论"：
缘何语言模型最终逾越了视觉模型？他的假设是：在生物界，视觉的信息带宽远胜于语言（光子对比声波），因此大脑分派了更多的"计算资源"给视觉。但在计算机的世界里，一切皆为电子信号，视觉和语言的处理成本"拉平"了——语言模型由此获得了在生物界未曾有过的公平竞争契机。
丹与杰茜觉得这一想法有一定合理性，却也提醒：人类此刻从事的大量知识工作（撰写备忘录、阅览文件、与 AI 对话）本非进化所设计——我们的大脑并不为这些任务优化，但语言 AI 恰好擅长此道。视觉在图像/视频疆域仍有巨大潜力，但在知识工作的战场上，语言暂据上风。
原文链接：https://www.youtube.com/watch?v=aiR7F4jqjXY
