Un sistema de selección de currículums entrenado principalmente con datos históricos de contrataciones puede aprender, sin que nadie lo programara deliberadamente así, a favorecer perfiles similares a los ya contratados en el pasado, perpetuando patrones de discriminación que existían antes de que la IA entrara en escena. Ese fenómeno es el sesgo algorítmico: cuando un sistema de inteligencia artificial reproduce o amplifica sesgos presentes en los datos con los que fue entrenado, generando resultados sistemáticamente injustos hacia ciertos grupos.
De dónde viene realmente este sesgo
Un modelo de IA aprende patrones a partir de los datos que se le muestran durante su entrenamiento. Si esos datos reflejan desigualdades históricas o sociales ya existentes (más hombres en ciertos puestos directivos, menos representación de ciertos grupos en según qué contextos), el modelo puede aprender esos mismos patrones como si fueran la norma deseable, sin ninguna intención maliciosa detrás, simplemente reflejando lo que ya existía en los datos de partida.
Ejemplos documentados de este problema
- Sistemas de reconocimiento facial con tasas de error notablemente más altas para ciertos tonos de piel, por estar entrenados mayoritariamente con rostros de otros grupos.
- Herramientas de selección de personal que penalizaban currículums con ciertas palabras asociadas históricamente a un género concreto.
- Sistemas de concesión de crédito que reproducían patrones de discriminación geográfica o socioeconómica ya presentes en decisiones humanas previas.
Por qué es especialmente difícil de detectar antes de que cause daño real
Un modelo sesgado puede funcionar aparentemente bien en las pruebas generales, y solo revelar su sesgo al analizar específicamente cómo trata a distintos subgrupos de personas por separado. Sin ese análisis desagregado, un sesgo puede pasar completamente desapercibido durante mucho tiempo, incluso con buenas intenciones por parte de quienes desarrollaron el sistema.
Qué se hace para mitigarlo, sin poder eliminarlo del todo
Auditar los datos de entrenamiento buscando desequilibrios evidentes antes de entrenar el modelo. Evaluar el rendimiento del sistema de forma desagregada por distintos grupos, no solo de forma agregada y general. Y mantener supervisión humana en decisiones de alto impacto, precisamente para detectar y corregir patrones problemáticos que el propio proceso de desarrollo pudiera haber pasado por alto.