← AI Notes · LLMs · Standard v1

¿Qué es el Context Window?

¿Qué es el context window de un modelo y por qué gestionarlo es más importante que elegir el modelo más grande?

When to use this note

Cuando estés eligiendo modelo, discutiendo si necesitas RAG, o diseñando qué recuerda tu producto entre sesiones. Nota de referencia canónica.

Definition

El context window es la cantidad máxima de tokens que un modelo puede ‘ver’ a la vez — tu prompt, el historial que le des y su respuesta, todo cuenta. Fuera de esa ventana, el modelo no recuerda absolutamente nada. Es una restricción física, no una preferencia.

Why it matters

Los productos que ganarán no son los que usan el modelo con la ventana más grande, sino los que mejor deciden qué entra en esa ventana. Elegir el contexto es diseño de producto: define qué recuerda el sistema, qué olvida y en qué momento paga por leer algo.

Practical examples
  • Un modelo con 200k tokens de contexto puede procesar un libro corto entero. Uno con 8k tokens tiene la memoria de un chat de diez minutos. Elegir uno u otro cambia radicalmente la arquitectura del producto.
  • Aunque un modelo acepte 1M de tokens, no significa que rinda igual en toda la ventana. Muchos modelos degradan la atención en el medio del contexto — el famoso ‘lost in the middle’.
Applied inside Nadia OS
Life Radar

En Life Radar cada decisión del usuario se acompaña de un contexto curado — no del histórico completo. Elegir qué entra en la ventana (últimas 3 decisiones + valores personales + horizonte temporal) es una decisión de diseño de producto, no una optimización técnica.

AI Identity Passport (PersonaOS)

PersonaOS existe precisamente porque el context window no es memoria persistente. La identidad y las preferencias del usuario viven fuera del modelo y se inyectan en cada llamada — así el mismo ‘yo’ sobrevive a cualquier modelo.

Common mistakes
  • "El context window es la memoria del modelo."
    Es la memoria de una sola llamada. Entre llamadas, el modelo no recuerda nada. La memoria persistente la construyes tú, fuera del modelo (base de datos, embeddings, resúmenes).
  • "Más context window resuelve el problema de conocimiento."
    Meter todo tu corpus en el prompt es caro, lento y suele empeorar la calidad. Casi siempre gana un contexto pequeño y bien elegido (RAG) frente a uno enorme sin curar.
  • "Si cabe en la ventana, el modelo lo usará."
    Los modelos ponderan más el principio y el final del contexto. Lo que va en el medio suele diluirse. Ordenar el prompt es parte de gestionar la ventana.
Key takeaways
  • El context window es una restricción física por llamada, no la memoria del producto.
  • Elegir el contexto es diseño de producto. Es donde se decide qué recuerda el sistema y qué olvida.
  • Un contexto pequeño y curado casi siempre supera a uno enorme sin curar — más barato, más rápido, mejores respuestas.
Citations
  1. paperLiu et al. — Lost in the Middle: How Language Models Use Long Contexts (2023) · arXiv:2307.03172 · accessed 2026-07-08
    Paper canónico citado para el efecto ‘lost in the middle’.
Suggested next reading
Version: v1Last updated: 2026-07-08Lifecycle: matureLocales: ES, EN