Ajuste de IA
Guía didáctica: Parámetros de Decodificación
Ajuste de creatividad y precisión en modelos de lenguaje
🌡️
Temperatura y Escalamiento de Probabilidades
Cuando el modelo procesa un texto, calcula un puntaje (logits) para todos los tokens de su vocabulario. Estos puntajes se normalizan en probabilidades usando la función Softmax.
La Temperatura (T) altera esta distribución:
- T baja (<0.5): Hace que el token con mayor probabilidad sea aún más dominante. Produce respuestas muy precisas, repetitivas y factuales (ej. para código o matemáticas).
- T alta (>1.0): Aplana la distribución de probabilidades, dando oportunidad a tokens menos probables. Genera respuestas creativas, diversas pero propensas a errores o "alucinaciones".
🎯
Muestreo Top-K y Top-P (Nucleus Sampling)
Para evitar generar palabras incoherentes, limitamos el conjunto de palabras elegibles:
- Top-K: Filtra las K palabras más probables (por ejemplo, K=50) y redistribuye la probabilidad únicamente entre ellas.
- Top-P (Nucleus): Selecciona el conjunto más pequeño de palabras cuya suma de probabilidades acumulada alcance el porcentaje P (por ejemplo, P=0.90 o 90%). El vocabulario considerado varía dinámicamente según la certeza del modelo.