El uso de modelos de lenguaje en aplicaciones reales implica desafíos importantes relacionados con el manejo del contexto, el costo de tokens y los límites de las APIs. En sistemas con múltiples interacciones, el historial de conversación puede crecer rápidamente y afectar el rendimiento. Este artículo analiza estrategias utilizadas en una aplicación real para controlar estos problemas, como recorte de conversaciones, presupuestos de turnos, degradación automática de modelos y caching de prompts.
