Un modelo de lenguaje entrenado únicamente con texto de internet puede saber mucho de gramática y de contenido, pero no tiene ningún criterio inherente sobre qué respuesta es realmente útil, honesta o adecuada para una persona real. El RLHF (Reinforcement Learning from Human Feedback, «aprendizaje por refuerzo con retroalimentación humana») es precisamente la técnica que resuelve esto: un método de entrenamiento en el que personas evalúan y clasifican las respuestas de un modelo, y esa retroalimentación se usa para ajustar su comportamiento hacia respuestas más útiles y alineadas con lo que realmente se espera de él.
Cómo funciona el proceso, de forma simplificada
Se genera un conjunto de posibles respuestas del modelo ante distintas preguntas. Evaluadores humanos comparan esas respuestas entre sí, indicando cuál prefieren o cuál consideran mejor según ciertos criterios (utilidad, honestidad, seguridad). Esas preferencias humanas se usan para entrenar un modelo adicional que aprende a predecir qué respuestas preferiría una persona. Y finalmente, el modelo principal se ajusta usando ese sistema de recompensas, aprendiendo a generar respuestas más alineadas con las preferencias humanas observadas durante todo el proceso.
Por qué esta técnica marcó un antes y un después en los asistentes conversacionales
- Convirtió modelos que generaban texto técnicamente coherente pero a veces poco útil o inapropiado en asistentes bastante más alineados con lo que las personas realmente esperan de una conversación.
- Ayudó a reducir (aunque no a eliminar del todo) respuestas dañinas, ofensivas o directamente incorrectas presentadas con excesiva confianza.
- Permitió incorporar matices difíciles de codificar como reglas explícitas, como el tono adecuado según el contexto de cada conversación.
Una limitación importante que conviene tener presente
El resultado final del RLHF depende directamente de los criterios y las preferencias de las personas que evaluaron las respuestas durante el proceso de entrenamiento. Si ese grupo de evaluadores no representa bien la diversidad de perspectivas y contextos culturales de quienes usarán después el modelo, ese sesgo particular puede quedar incorporado, sin querer, en el comportamiento final del asistente resultante.
Por qué sigue siendo un área de investigación activa
Recoger feedback humano de calidad, a gran escala y de forma consistente, es costoso y complejo, y distintas organizaciones están explorando variantes y alternativas a este proceso (como el uso de otros modelos de IA para generar parte de esa retroalimentación), buscando formas más eficientes de alinear el comportamiento de un modelo con lo que realmente resulta útil y seguro para las personas que lo usan.