Sesgo de IA en selección

De dónde viene el sesgo

Tres fuentes, aproximadamente por frecuencia:

• Datos de entrenamiento: el modelo aprende de decisiones históricas. Si esas decisiones favorecieron a una demografía, el modelo lo trata como la respuesta correcta y lo reproduce.
• Selección de features: qué señales tiene el modelo. Quitar «nombre» no ayuda si «año de titulación» es un proxy de edad, o «barrio» un proxy socioeconómico.
• Bucles de retroalimentación: un modelo entrenado con contrataciones pasadas filtradas por decisiones sesgadas aprende el sesgo en compuesto — cada reentrenamiento amplía la brecha.

El caso Amazon (2018) es el ejemplo de libro: un modelo entrenado con una década de contrataciones mayoritariamente masculinas aprendió a penalizar «women’s» — como en «women’s chess club captain» — y se mató el modelo.

Lo que las auditorías cazan de verdad

Las auditorías de sesgo son obligatorias para IA de alto riesgo bajo el AI Act UE. Suelen comprobar:

• Impacto desigual: ¿avanzan los candidatos de grupos protegidos a la misma tasa?
• Equalized odds: ¿es igual la tasa de falso rechazo entre demografías?
• Fairness contrafactual: ¿obtendría el mismo candidato una puntuación distinta con otro nombre o foto?

Ninguna auditoría caza todo. Lectura honesta: las auditorías reducen sesgos conocidos; los emergentes requieren monitorización continua.

Mitigación que funciona

• Revisión humana de cada avance y cada rechazo, especialmente cerca del umbral.
• Datos de entrenamiento diversos, donde el conjunto refleja el pool de candidatos que quieres, no el que tienes.
• Re-auditorías regulares: por trimestre, no una sola al lanzamiento.
• Transparencia del proveedor: preguntar qué datos entrenaron el modelo, qué métricas de fairness se probaron, cuándo fue la última auditoría.

Dónde encaja Join

Las funciones de IA de Join se auditan según los requisitos del AI Act UE; los resultados de auditoría de sesgos se resumen públicamente en trust.join.com. Más en la página de funciones.