La longitud de contexto es la cantidad máxima de información que un modelo de inteligencia artificial puede procesar al mismo tiempo cuando recibe una solicitud.
Dicho de forma sencilla: define cuánto texto puede tener en cuenta un modelo antes de generar una respuesta.
Esta información incluye todo lo que el modelo recibe durante una interacción:
- el prompt del usuario
- instrucciones del sistema
- ejemplos dentro del prompt
- mensajes anteriores de la conversación
- y la propia respuesta que el modelo genera
Todo eso ocupa espacio dentro del contexto disponible.
Qué significa longitud de contexto
La longitud de contexto suele medirse en tokens, que son las unidades de texto que utilizan los modelos de lenguaje para procesar la información.
Por ejemplo, un modelo con una longitud de contexto de 8.000 tokens puede manejar aproximadamente unas 6.000 palabras, dependiendo del idioma y del tipo de texto.
Si el contenido supera ese límite, el modelo no podrá procesar toda la información a la vez.
En muchos casos, el sistema tendrá que recortar parte del texto o ignorar mensajes anteriores.
Para qué sirve la longitud de contexto
La longitud de contexto determina cuánta información puede tener en cuenta un modelo para entender una solicitud.
Esto influye en muchas tareas, como por ejemplo:
- analizar documentos largos
- mantener conversaciones extensas
- resumir textos largos
- procesar múltiples instrucciones
- trabajar con código o datasets grandes
Cuanto mayor es la longitud de contexto, más información puede manejar el modelo en una sola interacción.
Ejemplo fácil de entender
Imagina que quieres pedir a una IA que analice un documento largo.
Si el documento tiene 20.000 palabras y el modelo solo admite 8.000 tokens, el sistema no podrá procesar todo el texto de una sola vez.
En cambio, un modelo con una longitud de contexto mucho mayor podría analizar el documento completo en una única petición.
Esto es especialmente importante en tareas como:
- análisis de documentos legales
- revisión de código
- análisis de bases de conocimiento
- procesamiento de grandes cantidades de texto
Qué diferencia hay entre longitud de contexto y ventana de contexto
Estos dos términos se utilizan a menudo como sinónimos, pero hay una pequeña diferencia conceptual.
Ventana de contexto
Se refiere al espacio de memoria que el modelo utiliza para procesar información.
Longitud de contexto
Se refiere al límite máximo de información que cabe dentro de esa ventana.
En la práctica, ambos términos suelen utilizarse para hablar del mismo concepto.
Por qué la longitud de contexto es importante
La longitud de contexto determina la capacidad del modelo para trabajar con información compleja.
Modelos con contextos más grandes pueden:
- mantener conversaciones más largas
- analizar documentos extensos
- trabajar con más ejemplos dentro del prompt
- procesar grandes bloques de código
Por eso muchas empresas están aumentando continuamente la longitud de contexto de sus modelos.
Confusión habitual
Una confusión común es pensar que aumentar la longitud de contexto significa que el modelo sabe más cosas.
En realidad, no cambia el conocimiento del modelo.
Lo que cambia es cuánta información puede manejar al mismo tiempo durante una interacción.
También es importante recordar que tanto el prompt como la respuesta generada consumen parte del contexto disponible.
Relación con otros conceptos
La longitud de contexto se relaciona con varios conceptos importantes del diccionario de IA:
- Tokens
- Ventana de contexto
- LLM
- Prompt
- RAG
Todos ellos influyen en cómo los modelos procesan información dentro de una conversación.
En resumen
La longitud de contexto es el límite de información que un modelo de inteligencia artificial puede procesar en una sola interacción.
Se mide normalmente en tokens y determina cuánto texto, instrucciones o conversación puede manejar el modelo al mismo tiempo.
A medida que los modelos avanzan, aumentar la longitud de contexto se está convirtiendo en una de las mejoras clave para trabajar con información más compleja.
