Dinámicas Endógenas en la Recurrencia Algorítmica: Un Análisis

Esta presentación, desarrollada por Patrick Altmeyer y colaboradores de la Delft University of Technology, explora las dinámicas endógenas que surgen al aplicar la recurrencia algorítmica (AR) a través de explicaciones contrafácticas (CE). Las CE muestran cómo modificar las entradas de un modelo para obtener resultados diferentes, lo que puede ser útil para la AR, especialmente en casos como la denegación de crédito. El trabajo introduce un nuevo enfoque que considera los cambios inducidos por las CE y proporciona una herramienta de código abierto para su estudio.

La investigación revela que las CE pueden generar cambios significativos en el dominio (datos) y en el modelo en sí mismo. Estos cambios, a menudo no anticipados, pueden tener consecuencias imprevistas. La figura 2 ilustra estas dinámicas, mostrando cómo la aplicación de la AR puede alterar el comportamiento del sistema. El objetivo es comprender y mitigar estos efectos para garantizar una AR más efectiva y responsable.

Se utiliza el conjunto de datos “Give Me Some Credit” (Kaggle 2011) para ilustrar el concepto. La figura 1 muestra ejemplos de contrafácticas: modificaciones en las características de un solicitante que llevarían a la aprobación del crédito en lugar de la denegación. El estudio analiza cómo la aplicación repetida de la AR puede afectar el riesgo de impago promedio, como se muestra en la figura 6, lo que plantea interrogantes sobre la sostenibilidad de esta práctica.

El trabajo destaca la importancia de considerar los costos externos generados por la AR. Mientras que la ecuación (1) se centra en minimizar los costos para un individuo, la ecuación (2) introduce un nuevo término, extcost(f(s')), para capturar estos costos externos. Esta perspectiva, inspirada en la economía, reconoce que las decisiones algorítmicas pueden afectar a otras partes interesadas, como el banco en el ejemplo del crédito.

Se proponen varias estrategias para mitigar los efectos negativos de la AR. Estas incluyen el uso de umbrales de decisión más conservadores, la aplicación de técnicas como ClaPROAR (Classifier Preserving ROAR) y el empleo de explicaciones contrafácticas gravitacionales. La figura 10 ilustra estas estrategias, mostrando cómo se pueden adaptar los modelos para minimizar los costos externos y mejorar la equidad.

La investigación evalúa el impacto de la AR utilizando métricas para medir los cambios en el dominio y el modelo. Se emplean diferentes modelos, incluyendo clasificadores lineales, redes neuronales profundas y conjuntos profundos, y se utilizan conjuntos de datos sintéticos y reales como “Give Me Some Credit” y “UCI defaultCredit”. Los resultados muestran cambios en el dominio y el modelo, así como un deterioro del rendimiento en algunos casos, especialmente con conjuntos de datos sintéticos y conjuntos profundos.

El equipo ha desarrollado una serie de herramientas de código abierto en Julia para facilitar la investigación en este campo. Estas incluyen AlgorithmicRecourseDynamics.jl, CounterfactualExplanations.jl, ConformalPrediction.jl y LaplaceRedudx.jl. Se invita a la comunidad a contribuir a estos proyectos, fomentando la colaboración y el avance en el campo de la IA confiable. Más información y resultados detallados se pueden encontrar en https://www.paltmeyer.com/endogenous-macrodynamics-in-algorithmic-recourse/.