La investigación de Ramírez-Ayerbe se centra en explicar las decisiones de los algoritmos de predicción, sistemas que hoy se emplean para seleccionar personal en una empresa, conceder un préstamo o incluso ayudar a diagnosticar si un tumor es benigno o maligno. "Cuanto más complejos son, más difícil resulta entender qué factores están influyendo en sus decisiones", explicó la investigadora, que resume su método como el cálculo del cambio mínimo necesario para que el algoritmo hubiera decidido de otra forma.
Ese enfoque, conocido en la disciplina como explicaciones contrafactuales, permite reconstruir qué habría tenido que variar para que un currículum rechazado hubiera sido seleccionado. Según Ramírez-Ayerbe, esa misma información sirve para auditar el sistema y "detectar si está sesgado y trata de forma injusta a determinados colectivos".
La investigadora atribuye el origen de los sesgos a los datos con los que se entrenan los modelos. "Aprende a partir de datos históricos creados por los humanos. Si esos datos reflejan prejuicios o desigualdades que ya existen en la sociedad, el algoritmo también tenderá a reproducirlos", señaló, advirtiendo de que un sistema puede incluso amplificarlos cuando su único objetivo es acertar el mayor número de veces posible. "El problema no es que la IA decida discriminar, sino que aprende de datos que ya contienen los sesgos de la sociedad", sostuvo.
Como precedente conocido, la investigadora cita los sistemas de predicción de reincidencia delictiva, en los que se ha observado que clasificaban con más frecuencia a personas negras que blancas como reincidentes, aunque después no volvieran a delinquir. Es el caso que más resonancia internacional ha alcanzado en el debate sobre la equidad algorítmica en el ámbito judicial.
Precisión frente a equidad
Ramírez-Ayerbe reconoce que erradicar por completo los prejuicios de la IA es "casi imposible", y apunta a un dilema técnico de fondo: "Muchas veces hay que asumir un equilibrio entre precisión y equidad, ya que reducir los sesgos puede hacer que el modelo pierda algo de precisión". Aun así, defendió que es posible avanzar hacia sistemas más justos, con una condición: "Para conseguirlo también necesitamos una sociedad con menos sesgos".
Entre los sesgos que más le preocupan sitúa los que afectan a decisiones con impacto directo en la vida de las personas: el acceso a un empleo, a un préstamo, a un tratamiento médico o a la justicia. En el terreno sanitario, la investigadora advirtió de que la sobrerrepresentación de hombres caucásicos en muchos estudios clínicos puede hacer que algunos algoritmos funcionen peor con otros grupos de población, con el consiguiente riesgo de "perpetuar las desigualdades que ya existen en la sociedad".
La científica considera que el despliegue de la tecnología avanza más rápido que su gobernanza. "Se están impulsando cada vez más normas para regular el uso de la inteligencia artificial, pero la tecnología está evolucionando a un ritmo muy superior", afirmó, en referencia al escenario abierto tras la popularización de herramientas como ChatGPT.
El marco regulatorio europeo respalda buena parte de esas preocupaciones. El Reglamento de Inteligencia Artificial de la Unión Europea, aprobado en 2024, clasifica como de alto riesgo precisamente los sistemas que intervienen en la selección de personal, la concesión de crédito o el acceso a servicios esenciales, e impone obligaciones de transparencia, supervisión humana y evaluación de sesgos a sus responsables. Las técnicas de explicabilidad como las que investiga Ramírez-Ayerbe son una de las vías para acreditar ese cumplimiento.
Los premios Vicent Caselles, que reconocen a matemáticos menores de 30 años con trayectoria destacada, se conceden anualmente desde 2015 mediante la colaboración entre la Real Sociedad Matemática Española y la Fundación BBVA, y se han consolidado como uno de los principales reconocimientos a jóvenes investigadores en este campo en España.
El galardón sitúa el foco en una línea de trabajo que ganará relevancia a medida que las obligaciones del reglamento europeo entren plenamente en vigor de forma escalonada en los próximos años, cuando empresas y administraciones deban demostrar que sus sistemas automatizados no discriminan. La investigación sobre explicabilidad y auditoría de algoritmos, como la que desarrolla Ramírez-Ayerbe desde Montreal, se perfila como una herramienta central para ese objetivo.
