MiniMax为何说智能体需要百万token窗口

台上是谁，Thomas如何给MiniMax定位

Olive Song要把上下文窗口做到一百万token，理由是实时会话。她认为窗口必须装下用户、环境、工具返回，以及随后的轮次。按她的说法，把一本书吃进去，是更早的MiniMax模型已经能做的事。M3是把长窗口放回一个用来写代码、调用工具、理解图像和视频的模型的那一版。

一位没有报出姓名的主持人请上Hugging Face联合创始人兼首席科学官Thomas Wolf。Thomas向Olive问好，她感谢邀请。视频标题把她的姓写作Song。他叫她Olive。这段履历是他的介绍。他说她来到美国和宾夕法尼亚，在录音称为Jan LeCun的实验室里于NYU学习和攻读博士，并做过录音称为J Pa的项目。按介绍，她加入的是MiniMax，而不是纽约的Hugging Face办公室。两人同意把那个项目留到另一天。

Thomas接着用一张排行榜给这个环节定位。他说观众刚刚看过一个GLM模型；他把一个自己称为Fable、而且谁都用不了的模型放到一边之后，把这个GLM排在某个人工智能排行榜的第二。他把MiniMax放在第四，好让这场活动连续谈顶尖开放模型。他没有说出榜单的名字。他把MiniMax称为中国“AI龙”之一，与DeepSeek、Moonshot的Kimi、GLM一起，都在争第一。录音把Moonshot、Kimi和GLM放在同一个分句里，所以本文把这些名字分开写。

说到发布，两人用的时钟不一样。Thomas说最新的MiniMax模型是M3，时间在6月里更早的时候，而且当时是最顶尖的开源模型。Olive说M3是在这次谈话所在月份里更早的时候发出的。YouTube的上传日期是2026年9月4日，这是视频的目录信息。没有人说出年份，所以单凭访谈，两种说法都钉不到日历上的某一天。

• Thomas Wolf与Olive Song的舞台访谈

这笔赌注：把编程、一百万token和视觉放进同一个模型

Olive的产品赌注是，对以后的应用来说，三种能力会一起变得重要，所以M3把它们合在一起：编程与智能体能力、更长的上下文，以及多模态理解。她所说的agentic，是指模型带着工具和环境跨轮次工作。token是一小段文本，常常是一个词的一部分。一百万token的上下文就是上下文窗口，也就是她希望模型一次握住的文本和其他输入的范围。对她描述的智能体来说，这个范围必须包括用户、环境、工具返回和后来的轮次。

她开场的描述是一个规模、一份能力清单和一个架构名称。她把M3称为总参数约4000亿的较小模型，其中被激活的是200亿，擅长编程，也能理解视频和图像。后来她又说4280亿参数、活跃的230亿。她给出这两对数字，却没有定义“activated”和“active”。她说的上下文长度是100万token，来自她称为MiniMax Sparse Attention、缩写MSA的架构。她说开放模型通常做编程时，并没有编程、视觉和长窗口的这种组合。

Thomas用一个比较来回应，并标明这是他的看法。他说M3仍然是前五名开源模型里唯一真正多模态的，而且MiniMax是第一个把真正的100万token窗口做成能用的。他说团队广泛发表并分享了这种注意力方法。访谈说出了这个比较。它没有展示他在排名的那一组模型，也没有大声读出一篇论文。

她为何说，迫使窗口变长的是智能体，而不是整本倒进上下文

关于窗口的论证是她的推理。她没有引用智能体基准。

她把长上下文追溯到MiniMax M1和MiniMax 01。她说那些模型能做1000万token规模的任务。她的例子是一件被动的事：把一本书倒进去，模型交回一篇评论。她说那些模型并不是agentic的。

她为M3转的这个弯，是实时会话。智能体与用户、与整个环境交互，接收工具返回，并把许多轮次叠起来。她说在这种负载下，更短的上下文带不动复杂任务，所以对这一版，实验室决定长上下文必须回来。她安在M3上的长度，是上面的100万token。1000万token仍属于M1和01。

Thomas给看过注意力研究来回摆动的人补了一段领域史。注意力是让模型在生成时给上下文里更早的片段加权的机制。他回想成本随序列长度的平方增长，然后是一波线性注意力工作。他说这条线在FlashAttention之后淡下去了，因为这个领域当时主要需要的是更高效的kernel，也就是跑这些数学的底层例程。他把100万token的窗口对着GPT-2的1,024 token窗口来看，并回忆人们一度觉得1,024已经绰绰有余。

他说就在演讲前不久，Jeff Dean向他提出万亿token注意力。Olive把超长上下文看成值得做的研究，并说这需要架构设计和硬件研究一起上。这段对话里的万亿，指的是上下文长度。

她如何描述MiniMax Sparse Attention，以及她说是谁设计的

Olive把MiniMax Sparse Attention描述成一种简单、可扩展、有两个分支的设计。索引分支在更高的层次上选出上下文里更要紧的部分。稀疏注意力分支随后只在被选中的块上计算，并完成任务。她说正是这个拆分，让实验室能够扩展上下文长度，之后再扩展模型规模。她给出的设计就是这些。

Thomas说，因为稀疏注意力，也因为模型小，M3特别便宜，同时他仍然称它非常高效。访谈没有给出M3的价格，也没有给出节省的数字。他把OpenAI拿出来，当作推理成本还有下降空间的信号。他说OpenAI一直在把推理账单削减大约一半，大概是靠更高效的注意力处理，而外人并不知道方法。他没有点出任何一种OpenAI技术。账单减半的轶事，和M3便宜这句话，都是他的。

被问到效率还能不能再往前走时，Olive说，要让模型更高效，架构和推理优化上还剩很多工作。她单独点出自己称为“task sensitive”、却仍然需要很强能力的任务，并说她希望模型在这类任务上高效。她没有定义“task sensitive”，也没有说出延迟目标。

Thomas问，架构是智能体发明的，还是人发明的。她把功劳归于团队里的一名实习生，而且没有说出名字。她说这在许多实验室并不寻常，因为实习生接触不到数据和工作；她还说，MiniMax对任何想为模型做贡献的人开放。

Olive所说的，MiniMax如何把一个弱点变成一次训练

Thomas以实验室里任何人都可以提出项目来打开这个问题。Olive描述了一种她认为不同于学校、也不同于早前科技公司的研究过程。她点出的优先事项是基础和基础设施，好让人能试用模型、寻找改进。

她说，发布之后，人们试用模型，写下自己的评测，找到弱点，并提出改动。感兴趣的其他人加入项目。工作可以跑上两三周，或两三个月。结果有效时，实验室就把它放进最终训练，然后发出去。

架构是她举出的长项目例子。它可能更花时间，因为它需要研究、实验，甚至要把预训练所用的评测重做一遍。Thomas说他知道她在意评测，同意可以谈这个，然后把谈话转向多模态。

她为何说视觉必须从第一步开始

她把这种训练方式称为原生多模态。Thomas说，Hugging Face的模型卡把M3写成从第一个训练步骤起就是多模态，视觉从一开始就包括在内。他是在转述模型卡。访谈里有他的转述，并没有大声读出模型卡。

她称为典型的做法，是先完成文本预训练，再用适配器，也就是事后另训的额外模块，补上视觉理解。她说MiniMax发现这会损害文本表现，而且视觉理解难以很好地收敛，因为模型已经朝文本收敛。她还称这是一种弱的扩展方式，因为实验室想扩展的是数据。

她说，有些实验室在预训练走到一半时才启动视觉能力，作为持续预训练。她称这条路“recipe-sensitive”，也就是对配方敏感。能用的配方会随架构、数据配比和学习率改变，所以小实验的结论没有带到更大的模型上。

从第一步起把文本和视觉一起训练，是她称为自然的选择。她说，尝试这样做的实验室常常在训练几步之后看到模型崩溃，文本和视觉两边都崩。她说MiniMax越过了这次崩溃，靠的是在视觉transformer上做的工作，把交错的自然图像和视频数据留在训练流里而不是掩掉，对数据做清洗和掩码，以及奖励建模。按她的说法，这次训练可以扩大规模并保持在一起。她没有给出数据量，也没有给出学习率日程。

两对规模，然后是越过一万亿参数的计划

访谈里有Olive相隔几分钟的两段规模陈述，而且始终没有在二者之间做选择。早先她说总参数约4000亿，被激活的200亿。当Thomas问会不会有大得多的模型、并指出当前这个仍然相当小的时候，她说4280亿参数、活跃的230亿。她没有定义“activated”和“active”。

他问会不会越过一万亿参数。她说肯定会。她的理由是，在更小的参数量上，许多任务仍然够不着，而且MiniMax比M3更有野心。她没有说出发布日期，也没有功能清单。这里的万亿是模型规模。Thomas说Jeff Dean向他提出的万亿token注意力，是上下文长度。

她说模型在先，应用随后才来

Thomas记得，MiniMax在谈话前大约18个月、前一年的1月开始在Hugging Face上开源，当时一些应用上的用量已经很大。1月这段回忆和18个月这个数字，是他的记忆。

他猜测公司是从应用和数据走向研究团队。Olive说顺序相反，公司从第一天起就是模型优先。她说，在公司成立之前、在ChatGPT之前，CEO就计划做一个能理解视觉并输出每一种模态的模型，当作通用人工智能的梦想。她讲的是自己对创立计划的叙述。

她说，应用是为了让人体验实验室已经有的能力才跟着出现的。用API的人不会很多，所以实验室需要界面、应用和场景。她接着给出覆盖数字：应用已经覆盖约200个国家里超过3亿人，她认为公司也超过100万家。

开源的意图，以及她希望用户寄回来的东西

Thomas直接提出开源生意的问题。他说，应用用量这么大的实验室仍然需要收入；他猜测M3是免费发布的，并问MiniMax会继续开源模型，还是把一些留给应用。免费这个定性是他的猜测。

Olive代表自己和模型研究团队回答。她说他们一直希望开源这些模型，并称这是他们的计划。她把后续版本变得更好归功于社区，途径是性能反馈和pull request，也就是人们针对实验室已发布内容提交的改动提议。她陈述的是一个意图和一条反馈回路。她没有点出许可证，也没有承诺每一个未来模型都会保持开放。

Thomas问用户应该寄回什么时，她要的是人们碰到的问题，尤其是多模态问题。她说这是实验室第一次把这些部分组合起来，当前模型可能有缺陷，他们打算在后续版本里修好。她也想要功能请求。例子是thinking effort：有人在要这个，她说团队会尝试在未来的模型里发出。她把它呈现为对后续模型的请求。

他们勾勒的智能体工作，仍被说成还早

Thomas说，编程智能体内部的多模态用法看起来仍然探索不足。Olive同意现在还早，并说它可以打开智能体应用。

他们勾勒的工作是预期用途。谈话里没有演示。她想要一个模型，能读不太结构化的PowerPoint或报告，理解一段长视频，比如倒进上下文的一段长片，然后用工具行动。Thomas问，智能体是否终于可以看一个YouTube教程并从中学习，包括某人如何描述自己的编程工具。她同意，她认为可以。

关于内部使用，她给出几个清楚的例子。MiniMax搭建自己的研究harness，也就是跑模型工作流的脚手架，她说大量内部工作流已经自动化。包括M3在内的前沿模型被用于kernel优化、让模型去构造数据，以及更长视野的情形。她说实验室把这种能力套进harness，让每天的迭代更快。

被问到M3是不是已经在做M4时，她说当前的工作是在做M3.1。她没有说出它的发布日期，也没有功能清单。

她接下来在看什么，程序员可以带走什么

被问到最近最让她兴奋的是什么时，Olive指向多智能体系统和模型路由。按她使用这个想法的方式，多智能体设置是把更难的工作拆给不止一个智能体。路由把其中一块工作送到适合它的模型。她说这些设置承担更复杂的任务，并显出当前模型能做什么、短板在哪里。她描述的是一种兴趣。访谈里没有MiniMax的多智能体产品。Thomas向她致谢，她向观众致谢，这场活动在掌声中结束。

正在写代码的人可以用她的这个区分。按她的说法，一份被动的长文档和一个多轮智能体，是不同的上下文问题。她说M3必须把长窗口找回来，把它与编程和智能体能力配在一起，并用MiniMax Sparse Attention，加上她列出的视觉transformer、数据和奖励方面的工作，从第一步训练视觉。

听起来像规格的数字，留在说出它们的人那边。Olive陈述了两对参数，没有选择，也没有定义“activated”和“active”。Thomas加上了6月发布、排行榜名次、一个独一无二的说法、M3便宜的评论、发布是免费的猜测，以及对模型卡的转述。Olive的覆盖数字里，对公司数量有所保留。访谈没有说出价格，也没有说出许可证。thinking effort，以及一个从YouTube教程学习的智能体，是她当作可能性来谈的事。M3.1是她说正在构建的版本。