Por qué MiniMax dice que los agentes necesitan una ventana de un millón de tokens

Quién está en el escenario y cómo encuadra Thomas a MiniMax

La razón de Olive Song para una ventana de contexto de un millón de tokens es la sesión en vivo. Sostiene que la ventana tiene que sostener al usuario, el entorno, las respuestas de las herramientas y las rondas que siguen. Meter un libro, dice, era un trabajo que los modelos anteriores de MiniMax ya podían hacer. M3 es la versión que devuelve una ventana larga a un modelo pensado para programar, llamar herramientas y entender imágenes y vídeo.

Un presentador sin nombre trae a Thomas Wolf como cofundador y director científico de Hugging Face. Thomas saluda a Olive y ella le agradece la invitación. El título del vídeo da su apellido como Song. Él la llama Olive. La biografía es la presentación de él. Dice que ella llegó a Estados Unidos y a Pensilvania, estudiaba y hacía un doctorado en NYU en el laboratorio que la grabación nombra como Jan LeCun, y trabajó en un proyecto que la grabación llama J Pa. Según esa presentación, se unió a MiniMax en lugar de a la oficina de Hugging Face en Nueva York. Acuerdan dejar ese proyecto para otro día.

Thomas encuadra entonces el turno con una tabla de clasificación. Dice que el público acaba de ver un modelo GLM al que él pone en el número dos de una tabla de inteligencia artificial, después de apartar un modelo al que llama Fable porque nadie puede usarlo, y sitúa a MiniMax en el número cuatro para que la sesión cubra modelos abiertos de cabeza uno tras otro. No nombra la tabla. Llama a MiniMax uno de los “dragones de la IA” chinos, junto con DeepSeek, Kimi de Moonshot y GLM, todos compitiendo por el primer puesto. La grabación agrupa a Moonshot, Kimi y GLM en una sola cláusula, así que este relato los mantiene como nombres separados.

Sobre el lanzamiento, los dos hablantes usan relojes distintos. Thomas dice que el último modelo de MiniMax fue M3, en un momento anterior de junio, y el principal modelo de código abierto en ese momento. Olive dice que M3 salió en un momento anterior del mes de esta conversación. La fecha de subida de YouTube es el 4 de septiembre de 2026, información de catálogo del vídeo. Nadie nombra un año, así que ninguna de las dos fórmulas puede fijarse a un calendario solo con la entrevista.

• Entrevista en el escenario con Thomas Wolf y Olive Song

La apuesta: programación, un millón de tokens y visión en un solo modelo

La apuesta de producto de Olive es que tres capacidades importarán juntas para aplicaciones posteriores, así que M3 las combina: programación y capacidad agéntica, un contexto más largo y comprensión multimodal. Agéntico, tal como ella usa la palabra, significa que el modelo trabaja a lo largo de turnos con herramientas y un entorno. Un token es un fragmento pequeño de texto, a menudo parte de una palabra. Un contexto de un millón de tokens es la ventana de contexto, el tramo de texto y de otras entradas que ella quiere que el modelo sostenga a la vez. Para el agente que describe, ese tramo tiene que incluir al usuario, el entorno, las respuestas de las herramientas y las rondas posteriores.

Su descripción de apertura es un tamaño, una lista de destrezas y un nombre de arquitectura. Llama a M3 un modelo más pequeño, de alrededor de 400.000 millones de parámetros en total, con 20.000 millones activados, capaz en programación y también capaz de entender vídeo e imágenes. Más tarde dice 428.000 millones de parámetros y 23.000 millones activos. Aporta esos dos pares y deja “activated” y “active” sin definir. La longitud de contexto que nombra es de 1 millón de tokens, a partir de una arquitectura que llama MiniMax Sparse Attention, abreviada MSA. Dice que los modelos abiertos suelen ocuparse de la programación sin esa combinación de programación, visión y ventana larga.

Thomas responde con una comparación y la marca como su punto de vista. Dice que M3 sigue siendo el único modelo de código abierto del top cinco que es de verdad multimodal, y que MiniMax fue el primero en hacer funcional una ventana real de 1 millón de tokens. Dice que el equipo publicó y compartió el método de atención de forma amplia. La entrevista enuncia la comparación. No muestra el conjunto de modelos que él está ordenando, y no lee un artículo en voz alta.

Por qué dice que los agentes, y no volcar libros, fuerzan la ventana larga

El argumento de la ventana es su razonamiento. No cita ningún benchmark de agentes.

Remonta el contexto largo a MiniMax M1 y MiniMax 01. Esos modelos, dice, podían hacer tareas a 10 millones de tokens. Su ejemplo es un trabajo pasivo: se vuelca un libro y el modelo devuelve una reseña. Dice que esos modelos no eran agénticos.

El giro que da para M3 es la sesión en vivo. Un agente interactúa con los usuarios y con un entorno entero, recibe respuestas de herramientas y apila muchas rondas. Dice que un contexto más corto no puede llevar una tarea compleja bajo esa carga, así que para esta versión el laboratorio decidió que el contexto largo tenía que volver. La longitud que ata a M3 es el millón de tokens de arriba. Los 10 millones de tokens se quedan con M1 y 01.

Thomas aporta una historia del campo para quien haya visto la investigación en atención ir y venir. La atención es el mecanismo que permite al modelo ponderar fragmentos anteriores del contexto mientras genera. Recuerda un coste que crece con el cuadrado de la longitud de la secuencia y, después, una ola de trabajo en atención lineal. Dice que esa línea se apagó después de FlashAttention, porque lo que el campo necesitaba sobre todo eran kernels más eficientes, las rutinas de bajo nivel que ejecutan las matemáticas. Pone una ventana de 1 millón de tokens frente a la ventana de 1.024 tokens de GPT-2, que recuerda que la gente llegó a tratar como ya más que suficiente.

Dice que Jeff Dean le propuso atención de un billón de tokens poco antes de la charla. Olive trata el contexto ultralargo como una investigación que vale la pena, y dice que hará falta diseño de arquitectura junto con investigación de hardware. El billón de ese intercambio es longitud de contexto.

Cómo describe MiniMax Sparse Attention y quién dice que lo diseñó

Olive describe MiniMax Sparse Attention como un diseño simple y escalable con dos ramas. Una rama de índice selecciona, en un nivel más alto, qué del contexto importa más. Una rama de atención dispersa calcula entonces solo sobre los bloques seleccionados y lleva a cabo la tarea. Dice que esa separación es lo que permite al laboratorio escalar la longitud del contexto y, más tarde, el tamaño del modelo. Eso es todo el diseño que da.

Thomas llama a M3 particularmente barato por la atención dispersa y porque el modelo es pequeño, y aun así lo llama muy eficiente. La entrevista no da un precio ni una cifra de ahorro para M3. Acude a OpenAI como señal de que el coste de inferencia todavía tiene margen para bajar. Dice que OpenAI ha estado recortando su factura de inferencia aproximadamente a la mitad, probablemente mediante un procesamiento de atención más eficiente, y que quienes están fuera no conocen el método. No nombra ninguna técnica de OpenAI. Tanto la anécdota de la factura a la mitad como el comentario de que M3 es barato son suyos.

Preguntada por si la eficiencia puede ir más lejos, Olive dice que queda mucho trabajo en arquitectura y en optimización de la inferencia para que los modelos puedan ser más eficientes. Señala tareas a las que llama “task sensitive” y que todavía exigen una capacidad fuerte, y dice que quiere que el modelo sea eficiente en ese tipo de tarea. Deja “task sensitive” sin definir y no nombra ningún objetivo de latencia.

Thomas pregunta si la arquitectura la inventó un agente o una persona. Ella atribuye el mérito a una persona en prácticas de investigación del equipo, y Olive deja a esa persona sin nombre. Dice que esto es poco habitual en muchos laboratorios, donde las personas en prácticas no tienen acceso a los datos ni al trabajo, y dice que MiniMax está abierto a cualquiera que quiera contribuir a los modelos.

Cómo dice Olive que MiniMax convierte una debilidad en una pasada de entrenamiento

Thomas abre la pregunta diciendo que cualquiera en el laboratorio puede proponer un proyecto. Olive describe un proceso de investigación que, dice, difiere de la universidad y de empresas tecnológicas anteriores. La prioridad que nombra es la base y la infraestructura, para que la gente pueda probar el modelo y buscar una mejora.

Después de un lanzamiento, dice, la gente prueba el modelo, escribe sus propias evaluaciones, encuentra debilidades y propone un cambio. Otras personas interesadas se suman al proyecto. El trabajo puede durar un par de semanas o un par de meses. Cuando un resultado funciona, el laboratorio lo usa en la pasada final de entrenamiento y lo publica.

La arquitectura es su ejemplo de un proyecto largo. Puede llevar más tiempo porque necesita investigación, experimentos e incluso rehacer las evaluaciones usadas para el preentrenamiento. Thomas dice que sabe que a ella le importa la evaluación, conviene en que podrían hablar de ello y luego gira la conversación hacia la multimodalidad.

Por qué dice que la visión tiene que empezar en el primer paso

Ella llama al enfoque de entrenamiento multimodalidad nativa. Thomas dice que la ficha del modelo en Hugging Face describe M3 como multimodal desde el primer paso de entrenamiento, con la visión incluida desde el principio. Está parafraseando la ficha. La entrevista incluye su paráfrasis y no lee la ficha en voz alta.

El patrón que ella llama típico es terminar el preentrenamiento de texto y luego añadir comprensión de visión con adaptadores, módulos extra entrenados después. Dice que MiniMax comprobó que esto daña el rendimiento en texto, y que la comprensión de visión no converge bien porque el modelo ya ha convergido hacia el texto. También lo llama una forma débil de escalar, porque el laboratorio quiere escalar los datos.

Algunos laboratorios, dice, empiezan la capacidad de visión a mitad del preentrenamiento, como preentrenamiento continuado. Llama a ese camino “recipe-sensitive”, sensible a la receta. La receta que funciona cambia con la arquitectura, la mezcla de datos y la tasa de aprendizaje, así que las conclusiones de experimentos pequeños no se trasladaron a un modelo más grande.

Entrenar texto y visión juntos desde el primer paso es lo que ella llama la elección natural. Dice que los laboratorios que lo intentan a menudo ven colapsar el modelo tras unos pocos pasos de entrenamiento, tanto en texto como en visión. Dice que MiniMax superó ese colapso con trabajo en el transformer de visión, con datos intercalados de imagen natural y vídeo mantenidos en el flujo de entrenamiento en lugar de enmascararlos fuera, con limpieza y enmascarado de los datos, y con modelado de recompensa. Según su relato, esa pasada escala y se mantiene unida. No da volúmenes de datos ni un calendario de tasa de aprendizaje.

Dos pares de tamaño y luego un plan para pasar de un billón de parámetros

La entrevista contiene dos declaraciones de tamaño de Olive, con minutos de diferencia, y nunca elige entre ellas. Al principio dice alrededor de 400.000 millones de parámetros en total, con 20.000 millones activados. Cuando Thomas pregunta si viene un modelo mucho más grande, y señala que el actual sigue siendo bastante pequeño, ella dice 428.000 millones de parámetros y 23.000 millones activos. Deja “activated” y “active” sin definir.

Él pregunta si pasarán de un billón de parámetros. Ella dice que desde luego. Su razón es que muchas tareas seguirán fuera de alcance con recuentos de parámetros menores, y que MiniMax es más ambicioso que M3. No nombra fecha de salida ni lista de funciones. Este billón es tamaño del modelo. La atención de un billón de tokens que Thomas dice que le propuso Jeff Dean es longitud de contexto.

Dice que el modelo llegó primero y las apps después

Thomas recuerda que MiniMax empezó a publicar en código abierto en Hugging Face en enero del año anterior, unos 18 meses antes de la conversación, con un uso ya intenso en algunas apps. El recuerdo de enero y la cifra de 18 meses son su memoria.

Conjetura que la empresa fue de las apps y los datos hacia un equipo de investigación. Olive dice que el orden fue el inverso, y que la empresa fue primero el modelo desde el primer día. Dice que el CEO planeó un modelo que pudiera entender imágenes y vídeo y producir toda modalidad, como un sueño de AGI, antes de que empezara la empresa y antes de ChatGPT. Está dando su relato del plan fundacional.

Las apps, dice, llegaron para que la gente pudiera experimentar capacidades que el laboratorio ya tenía. No mucha gente usará una API, dice, así que el laboratorio necesitaba interfaces, apps y escenarios. Luego da cifras de alcance: las apps han cubierto a más de 300 millones de personas en unos 200 países, y cree que también a más de un millón de empresas.

La intención de código abierto y lo que quiere que los usuarios devuelvan

Thomas plantea directamente la pregunta de negocio del código abierto. Un laboratorio con tanto uso de apps sigue necesitando ingresos, dice; conjetura que M3 se publicó gratis y pregunta si MiniMax seguirá publicando modelos en código abierto o reservará algunos para las apps. La caracterización de gratuito es su conjetura.

Olive responde por sí misma y por el equipo de investigación de modelos. Dice que siempre esperan publicar los modelos en código abierto, y llama a eso su plan. Atribuye a la comunidad el haber mejorado versiones posteriores mediante comentarios de rendimiento y pull requests, los cambios propuestos que la gente envía sobre lo que el laboratorio ha publicado. Enuncia una intención y un circuito de retorno. No nombra ninguna licencia y no promete que todo modelo futuro siga abierto.

Cuando Thomas pregunta qué deberían devolver los usuarios, ella pide los problemas con los que se encuentra la gente, sobre todo los multimodales. Dice que es la primera vez que el laboratorio combina estas piezas, que el modelo actual puede tener fallos y que piensan corregirlos en versiones posteriores. También quiere peticiones de funciones. Thinking effort es su ejemplo: algunas personas lo piden, y dice que el equipo intentará publicarlo en modelos futuros. Lo presenta como una petición para modelos posteriores.

Los trabajos de agente que esbozan, todavía descritos como tempranos

Thomas dice que el uso multimodal dentro de los agentes de programación todavía parece poco explorado. Olive conviene en que es pronto y dice que puede abrir aplicaciones de agente.

Los trabajos que esbozan son usos previstos. La charla no incluye ninguna demo. Ella quiere un modelo que pueda leer un PowerPoint o un informe que no esté muy estructurado, entender un vídeo largo, como un clip de larga duración volcado en el contexto, y luego actuar con herramientas. Thomas pregunta si un agente podría por fin ver un tutorial de YouTube y aprender de él, incluido el modo en que alguien describe sus herramientas de programación. Ella conviene en que cree que sí.

Sobre el uso interno, da unos pocos ejemplos claros. MiniMax construye sus propios arneses de investigación, el andamiaje que ejecuta los flujos de trabajo del modelo, y dice que muchos flujos internos ya están automatizados. Los modelos de frontera, incluido M3, se usan para optimización de kernels, para que un modelo construya datos y para casos de horizonte más largo. Dice que el laboratorio enjaeza esa capacidad para que la iteración diaria vaya más rápido.

Preguntada por si M3 ya está construyendo M4, dice que el esfuerzo actual es construir M3.1. No nombra fecha de salida ni lista de funciones para esa versión.

Lo que ella mira a continuación y lo que un programador puede llevarse

Preguntada por lo que más recientemente le resulta emocionante, Olive señala los sistemas multiagente y el enrutamiento de modelos. Una configuración multiagente, tal como ella usa la idea, reparte el trabajo más difícil entre más de un agente. El enrutamiento envía una parte de ese trabajo al modelo que le conviene. Dice que esas configuraciones asumen tareas más complejas y muestran qué pueden hacer los modelos actuales y dónde se quedan cortos. Está describiendo un interés. La entrevista no incluye ningún producto multiagente de MiniMax. Thomas le da las gracias, ella da las gracias al público y la sesión termina en aplausos.

Un programador en activo puede usar su separación. Según su relato, un documento largo pasivo y un agente de varias rondas son problemas de contexto distintos. Dice que M3 tuvo que restaurar la ventana larga, emparejarla con la programación y la capacidad de agente, y entrenar la visión desde el primer paso, usando MiniMax Sparse Attention más el trabajo de transformer de visión, de datos y de recompensa que enumeró.

Las cifras que suenan a especificación se quedan con quien las dijo. Olive enuncia dos pares de parámetros y no elige, y deja “activated” y “active” sin definir. Thomas añade un lanzamiento en junio, puestos en una tabla, una afirmación de unicidad, un comentario de que M3 es barato, una conjetura de que el lanzamiento fue gratuito y una paráfrasis de una ficha de modelo. Las cifras de alcance de Olive incluyen una reserva sobre el recuento de empresas. La entrevista no indica precio ni licencia. Thinking effort, y un agente que aprende de un tutorial de YouTube, son posibilidades que ella contempla. M3.1 es la versión que dice que se está construyendo.