La Agencia Tributaria holandesa fue abatida por la IA: ¿qué viene ahora?

https://spectrum.ieee.org/artificial-intelligence-in-government

Cuando una familia de los Países Bajos quería reclamar la ayuda gubernamental para el cuidado de los niños, tenía que presentar una solicitud a la autoridad fiscal holandesa. Esas solicitudes pasaban por un algoritmo de autoaprendizaje, implantado inicialmente en 2013. En el flujo de trabajo de la Agencia Tributaria, el algoritmo examinaba primero las solicitudes en busca de indicios de fraude, y los humanos analizaban las solicitudes que marcaban como de alto riesgo.

En realidad, el algoritmo desarrolló una pauta para etiquetar falsamente las reclamaciones como fraudulentas, y los atareados funcionarios sellaron las etiquetas de fraude. Así, durante años, la administración tributaria ordenó infundadamente a miles de familias que devolvieran sus reclamaciones, empujando a muchos a una deuda onerosa y destruyendo vidas en el proceso.

«Cuando hay un impacto dispar, tiene que haber un debate social en torno a esto, si es justo. Tenemos que definir lo que es ‘justo'», dice Yong Suk Lee, profesor de tecnología, economía y asuntos globales en la Universidad de Notre Dame, en Estados Unidos. «Pero ese proceso no existió».

Las autopsias del asunto mostraron pruebas de parcialidad. Muchas de las víctimas tenían ingresos más bajos, y un número desproporcionado tenía orígenes de minorías étnicas o inmigrantes. El modelo consideraba que no ser ciudadano holandés era un factor de riesgo.

«El rendimiento del modelo, del algoritmo, debe ser transparente o publicado por diferentes grupos», dice Lee. Eso incluye cosas como el índice de precisión del modelo, añade.

Traducción realizada con la versión gratuita del traductor http://www.DeepL.com/Translator

Una herramienta destinada a ayudar a los presos federales de bajo riesgo a obtener la libertad anticipada adolece de algunos fallos

https://www.npr.org/2022/01/26/1075509175/justice-department-algorithm-first-step-act

Miles de personas saldrán de la prisión federal este mes gracias a una ley llamada First Step Act, que les permitía obtener la libertad anticipada participando en programas destinados a facilitar su regreso a la sociedad.

Pero otros miles pueden seguir entre rejas debido a defectos fundamentales en el método del Departamento de Justicia para decidir quién puede acogerse a la libertad anticipada. El mayor defecto: las persistentes disparidades raciales que ponen en desventaja a los negros y morenos.

En un informe publicado días antes de las Navidades de 2021, el departamento dijo que su herramienta algorítmica para evaluar el riesgo de que una persona en prisión vuelva a delinquir produjo resultados desiguales. El algoritmo, conocido como Pattern, sobreestimó el riesgo de que muchas personas negras, hispanas y asiáticas cometieran nuevos delitos o violaran las normas tras salir de prisión. Al mismo tiempo, también infravaloraba el riesgo de que algunos reclusos de color volvieran a cometer delitos violentos.

El sesgo no es el único problema de las puntuaciones de crédito, y no, la IA no puede ayudar

https://www.technologyreview.com/2021/06/17/1026519/racial-bias-noisy-data-credit-scores-mortgage-loans-fairness-machine-learning/

Ya sabíamos que los datos y los algoritmos sesgados sesgan la toma de decisiones automatizada de una manera que perjudica a los grupos minoritarios y de bajos ingresos. Por ejemplo, el software utilizado por los bancos para predecir si alguien va a pagar o no la deuda de la tarjeta de crédito suele favorecer a los solicitantes blancos más ricos. Muchos investigadores y una serie de empresas emergentes están tratando de solucionar el problema haciendo que estos algoritmos sean más justos.  

Historia relacionada

La próxima guerra contra los algoritmos ocultos que atrapan a la gente en la pobreza

Un grupo cada vez mayor de abogados está descubriendo, navegando y luchando contra los sistemas automatizados que niegan a los pobres vivienda, trabajo y servicios básicos.

Pero en el mayor estudio jamás realizado sobre datos hipotecarios del mundo real, los economistas Laura Blattner, de la Universidad de Stanford, y Scott Nelson, de la Universidad de Chicago, demuestran que las diferencias en la aprobación de hipotecas entre grupos minoritarios y mayoritarios no se deben únicamente a los prejuicios, sino al hecho de que los grupos minoritarios y de bajos ingresos tienen menos datos en sus historiales de crédito.

Esto significa que cuando estos datos se utilizan para calcular una puntuación de crédito y esta puntuación de crédito se utiliza para hacer una predicción sobre el incumplimiento del préstamo, entonces esa predicción será menos precisa. Es esta falta de precisión la que conduce a la desigualdad, no sólo al sesgo.

Las implicaciones son claras: unos algoritmos más justos no solucionarán el problema. 

«Es un resultado realmente sorprendente», afirma Ashesh Rambachan, que estudia el aprendizaje automático y la economía en la Universidad de Harvard, pero que no participó en el estudio. Los sesgos y los registros crediticios irregulares son temas candentes desde hace tiempo, pero éste es el primer experimento a gran escala que analiza las solicitudes de préstamo de millones de personas reales.

Las puntuaciones crediticias agrupan una serie de datos socioeconómicos, como el historial de empleo, los registros financieros y los hábitos de compra, en una sola cifra. Además de para decidir sobre las solicitudes de préstamos, las puntuaciones de crédito se utilizan ahora para tomar muchas decisiones que cambian la vida, como las relativas a los seguros, la contratación y la vivienda.  

Para averiguar por qué los prestamistas hipotecarios tratan de forma diferente a los grupos minoritarios y mayoritarios, Blattner y Nelson recopilaron los informes crediticios de 50 millones de consumidores estadounidenses anónimos, y vincularon a cada uno de ellos con sus datos socioeconómicos extraídos de un conjunto de datos de marketing, sus escrituras de propiedad y transacciones hipotecarias, y datos sobre los prestamistas hipotecarios que les concedieron préstamos.

Una de las razones por las que este es el primer estudio de este tipo es que estos conjuntos de datos suelen ser propiedad de los investigadores y no están a su disposición. «Acudimos a una oficina de crédito y básicamente tuvimos que pagarles mucho dinero para que lo hicieran», dice Blattner.  

Datos ruidosos

A continuación, experimentaron con diferentes algoritmos de predicción para demostrar que las puntuaciones de crédito no estaban simplemente sesgadas, sino que eran «ruidosas», un término estadístico para referirse a los datos que no pueden utilizarse para hacer predicciones precisas. Pongamos por ejemplo a un solicitante de una minoría con una puntuación de crédito de 620. En un sistema sesgado, podríamos esperar que esta puntuación siempre exagerara el riesgo de ese solicitante y que una puntuación más precisa fuera de 625, por ejemplo. En teoría, este sesgo podría compensarse con alguna forma de acción afirmativa algorítmica, como la reducción del umbral de aprobación de las solicitudes de minorías.

Historia relacionada

Podcast: ¿Puede la IA arreglar tu crédito?

Los efectos de la automatización en la calificación crediticia se extienden más allá de las finanzas

Pero Blattner y Nelson demuestran que el ajuste por sesgo no tuvo ningún efecto. Descubrieron que la puntuación de 620 de una solicitante perteneciente a una minoría era, de hecho, una mala representación de su solvencia, pero esto se debía a que el error podía ir en ambas direcciones: un 620 podía ser un 625, o podía ser un 615.

Esta diferencia puede parecer sutil, pero es importante. Dado que la inexactitud proviene del ruido en los datos y no de un sesgo en la forma en que se utilizan, no puede arreglarse haciendo mejores algoritmos.

«Es un ciclo que se autoperpetúa», dice Blattner. «Damos préstamos a las personas equivocadas y una parte de la población nunca tiene la oportunidad de acumular los datos necesarios para darles un préstamo en el futuro».

Blattner y Nelson trataron entonces de medir la magnitud del problema. Construyeron su propia simulación de la herramienta de predicción de un prestamista hipotecario y calcularon lo que habría sucedido si se revirtieran las decisiones de los solicitantes limítrofes que habían sido aceptados o rechazados debido a puntuaciones inexactas. Para ello, utilizaron diversas técnicas, como la comparación de los solicitantes rechazados con otros similares que habían sido aceptados, o la observación de otras líneas de crédito que habían recibido los solicitantes rechazados, como los préstamos para automóviles.

Con todo ello, introdujeron estas hipotéticas decisiones de préstamo «precisas» en su simulación y volvieron a medir la diferencia entre los grupos. Comprobaron que cuando se suponía que las decisiones sobre los solicitantes de minorías y bajos ingresos eran tan precisas como las de los más ricos y blancos, la disparidad entre grupos se reducía en un 50%. En el caso de los solicitantes pertenecientes a minorías, casi la mitad de esta ganancia se debió a la eliminación de errores en los que el solicitante debería haber sido aprobado pero no lo fue. En el caso de los solicitantes de bajos ingresos, la ganancia fue menor porque se compensó con la eliminación de errores.

*** Translated with http://www.DeepL.com/Translator (free version) ***

El Departamento de Trabajo urge a revelar el algoritmo que «apunta» a los discapacitados para el fraude en las prestaciones

https://www.theguardian.com/society/2021/nov/21/dwp-urged-to-reveal-algorithm-that-targets-disabled-for-benefit

Los discapacitados están siendo sometidos a estresantes controles y a meses de frustrante burocracia tras ser identificados como potenciales defraudadores de prestaciones por un algoritmo que el gobierno se niega a revelar, según un nuevo recurso legal.

Un grupo de Manchester ha puesto en marcha la acción después de que los discapacitados de la zona hayan manifestado que están siendo objeto de investigaciones sobre el fraude en las prestaciones de forma desproporcionada. Algunos dijeron que vivían con «miedo al sobre marrón» que mostraba que su caso estaba siendo investigado. Otros dijeron que habían recibido una llamada telefónica, sin explicación de por qué habían sido señalados.

El Departamento de Trabajo y Pensiones (DWP) ha admitido anteriormente que utiliza «inteligencia artificial de vanguardia» para rastrear posibles fraudes, pero hasta ahora ha rechazado los intentos de explicar cómo se compone el algoritmo que hay detrás del sistema. Los activistas afirman que, una vez señalados, los examinados pueden enfrentarse a una investigación invasiva y humillante que puede durar hasta un año.

Se ha enviado una carta legal al DWP exigiendo detalles sobre el proceso automatizado que desencadena las investigaciones. La Coalición de Personas Discapacitadas del Gran Manchester (GMCDP), que envió la carta con la ayuda del grupo de campaña Foxglove, dijo que un «enorme porcentaje» del grupo se ha visto afectado por el sistema. El grupo cree que el gobierno tiene la obligación legal de ser transparente sobre el funcionamiento del algoritmo.

La organización benéfica Privacy International planteó su preocupación al encontrar por primera vez referencias en un informe del DWP a su uso de «inteligencia artificial de vanguardia para reprimir a las bandas criminales organizadas que cometen fraudes de prestaciones a gran escala». Un informe de la ONU de 2019 sobre el «estado de bienestar digital» dijo que era «muy probable» que los algoritmos repitieran los sesgos reflejados en los datos existentes y los empeoraran. Y añadía: «Las formas de discriminación incorporadas pueden socavar fatalmente el derecho a la protección social de grupos e individuos clave.»

El gobierno tiene hasta el viernes para responder a la carta legal.

«Estamos cansados del miedo al sobre marrón y de que los funcionarios del DWP nos obliguen repetidamente a justificar quiénes somos», dijo Rick Burgess, del GMCDP. «Es hora de que el DWP aclare cómo funciona este algoritmo y explique por qué tantas personas discapacitadas son señaladas para ser investigadas. Las personas discapacitadas necesitan apoyo, no que se las machaque con un sistema brutal que da por sentado que somos fraudulentos hasta que se demuestre nuestra inocencia.»

*** Translated with http://www.DeepL.com/Translator (free version) ***

La falacia de la entrada

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3571266

La fijación algorítmica de los precios del crédito amenaza con discriminar a los grupos protegidos. Tradicionalmente, la ley de préstamos justos ha abordado estas amenazas mediante el escrutinio de los insumos. Pero el escrutinio de los insumos se ha convertido en una falacia en el mundo de los algoritmos.

Utilizando un rico conjunto de datos de hipotecas, simulo la fijación de precios de créditos algorítmicos y demuestro que el escrutinio de los insumos no aborda los problemas de discriminación y amenaza con crear un mito algorítmico de daltonismo. La ubicuidad de las correlaciones en los grandes datos, combinada con la flexibilidad y la complejidad del aprendizaje automático, significa que no se puede descartar la consideración de características protegidas, como la raza, incluso cuando se excluyen formalmente. Además, el uso de datos que incluyan características protegidas puede, de hecho, reducir los resultados dispares.

Sin embargo, los principales enfoques de la legislación sobre discriminación en la era de los algoritmos siguen cometiendo la falacia de los insumos. Estos enfoques sugieren que excluyamos las características protegidas y sus sustitutos y que limitemos los algoritmos a los insumos preaprobados. Utilizando mi ejercicio de simulación, refuto estos enfoques con un nuevo análisis. Demuestro que fallan en sus propios términos, que son inviables y que pasan por alto los beneficios de una predicción precisa. Estos fallos son especialmente perjudiciales para los grupos e individuos marginados porque amenazan con perpetuar su exclusión histórica del crédito y, por tanto, de una vía central para lograr una mayor prosperidad e igualdad.

Sostengo que la ley de préstamos justos debe cambiar a un análisis centrado en los resultados. Cuando ya no es posible examinar los insumos, el análisis de los resultados es la única forma de evaluar si un método de fijación de precios da lugar a disparidades inadmisibles. Esto es cierto no sólo en virtud de la doctrina jurídica del impacto dispar, que siempre se ha preocupado por los resultados, sino también en virtud de la doctrina del trato dispar, que históricamente ha evitado examinar los resultados dispares. Ahora, el tratamiento dispar ya no puede basarse en el escrutinio de la entrada y debe considerarse a través de la lente de los resultados. Propongo un nuevo marco que los organismos reguladores, como la Oficina de Protección Financiera del Consumidor, pueden adoptar para medir las disparidades y luchar contra la discriminación. Esta propuesta traza un camino empírico para la legislación antidiscriminatoria en materia de préstamos justos y también es prometedora para otros contextos algorítmicos, como la justicia penal y el empleo.

*** Translated with http://www.DeepL.com/Translator (free version) ***

Si la IA es el problema, ¿la solución es eliminar sesgos?

El desarrollo y el despliegue de la inteligencia artificial (IA) en todos los ámbitos de la vida pública han suscitado muchas preocupaciones sobre las consecuencias perjudiciales para la sociedad, en particular el impacto en las comunidades marginadas. El último informe de EDRi «Beyond Debiasing: Regulación de la IA y sus desigualdades», redactado por Agathe Balayn y la Dra. Seda Gürses,* sostiene que los responsables políticos deben abordar las causas profundas de los desequilibrios de poder provocados por el uso generalizado de los sistemas de IA. Al promover la «desregulación» técnica como la principal solución a la desigualdad estructural provocada por la IA, corremos el riesgo de subestimar enormemente la magnitud de los problemas sociales, económicos y políticos que los sistemas de IA pueden infligir.

Google dice a la UE que los usuarios son responsables de la discriminación

https://netzpolitik.org/2021/ai-ethics-google-tells-eu-that-users-bear-responsibility-for-discrimination/

Mientras la Unión Europea prepara nuevas leyes para regular la Inteligencia Artificial (IA), Google ha dicho a la Comisión de la UE que los usuarios deben «asumir la obligación de no discriminar» al utilizar aplicaciones de IA. En una reunión celebrada en marzo, los funcionarios de la Comisión preguntaron al gigante tecnológico qué responsabilidades distintas deberían tener los proveedores y los usuarios de la tecnología de IA. Los responsables del grupo de presión respondieron que son los usuarios los que deben estar «obligados a asegurarse de que entienden el sistema que utilizan y de que su uso es conforme».

Los defensores de los derechos humanos advierten que las aplicaciones de IA podrían perpetuar la discriminación social por razón de género o etnia. Recientemente, Google ha dicho públicamente que se ha abstenido de utilizar su tecnología para calificar el crédito de los consumidores y que, por el momento, no se dedicará a las aplicaciones de reconocimiento de emociones. Otras empresas tecnológicas también han expresado sus reservas sobre el sesgo algorítmico y las preocupaciones éticas en torno al uso de la IA.

En la reunión a puerta cerrada con la Comisión, Google ha expresado una opinión diferente. Los grupos de presión afirman que «no hay que exagerar los riesgos de la IA» y que los reguladores también deben tener en cuenta los «costes de oportunidad de no utilizar la IA». Advirtieron que una próxima propuesta de ley de la Comisión sobre la responsabilidad de la IA corre el riesgo de crear «desincentivos a la innovación», según las actas de la reunión publicadas en netzpolitik.org en virtud de la ley de libertad de información de la UE. Las observaciones se hacen eco de otras similares realizadas por Google en respuesta a una consulta pública de la Comisión.

¿El potencial democratizador de los algoritmos?

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3835370

Las jurisdicciones están adoptando cada vez más el uso de algoritmos de evaluación del riesgo antes del juicio como solución al problema del encarcelamiento masivo antes del juicio. Los debates sobre el uso de algoritmos de evaluación de riesgos en la fase previa al juicio han tendido a centrarse en su opacidad, determinación, fiabilidad, validez o su (in)capacidad para reducir las altas tasas de encarcelamiento, así como las disparidades raciales y socioeconómicas dentro del sistema de prisión preventiva. Este artículo rompe con esta tendencia, examinando estos algoritmos desde la perspectiva de la democratización del derecho penal. Utilizando este marco, señala que los algoritmos empleados actualmente excluyen los puntos de vista y los valores de las comunidades racialmente marginadas más afectadas por su uso, ya que estos algoritmos a menudo se obtienen, se adoptan, se construyen y se supervisan sin la aportación de estas comunidades.

Este estado de cosas debería hacer que el entusiasmo por el potencial transformador de los algoritmos previos al juicio fuera menor, ya que refuerzan y afianzan la exclusión democrática que los miembros de estas comunidades ya experimentan en la creación y aplicación de las leyes y políticas que dan forma a las prácticas previas al juicio. Esta exclusión democrática, junto con la marginación social, contribuye a las dificultades a las que se enfrentan estas comunidades a la hora de impugnar y resistir los costes políticos, sociales y económicos que el encarcelamiento preventivo ha tenido y sigue teniendo sobre ellas. En última instancia, este artículo subraya que resolver esta exclusión democrática y sus efectos de estratificación racial podría ser posible, pero requiere desplazar el poder sobre los algoritmos de la prisión preventiva hacia estas comunidades. Lamentablemente, la realización de esta prescripción puede ser inconciliable con los objetivos que buscan los reformadores de los algoritmos, lo que revela una profunda tensión entre el proyecto de los algoritmos y los esfuerzos de justicia racial.

Silicon Valley pretende que el sesgo algorítmico es accidental. No lo es.

https://slate.com/technology/2021/07/silicon-valley-algorithmic-bias-structural-racism.html

A finales de junio, la revista MIT Technology Review informó sobre las formas en que algunos de los mayores sitios de búsqueda de empleo del mundo -incluidos LinkedIn, Monster y ZipRecruiter- han intentado eliminar los prejuicios en su software de entrevistas de trabajo con inteligencia artificial. Estos remedios se produjeron después de incidentes en los que se descubrió que el software de videoentrevista de inteligencia artificial discriminaba a las personas con discapacidades que afectan a la expresión facial y mostraba prejuicios contra los candidatos identificados como mujeres.

Cuando el software de inteligencia artificial produce resultados diferenciales y desiguales para los grupos marginados en función de la raza, el género y el estatus socioeconómico, Silicon Valley se apresura a reconocer los errores, aplicar correcciones técnicas y disculparse por los resultados diferenciales. Lo vimos cuando Twitter se disculpó después de que se demostrara que su algoritmo de captura de imágenes se centraba automáticamente en los rostros blancos en lugar de los negros y cuando TikTok expresó su arrepentimiento por un fallo técnico que suprimió el hashtag Black Lives Matter. Afirman que estos incidentes son momentos involuntarios de sesgo inconsciente o de datos de entrenamiento erróneos que se extienden a un algoritmo; que el sesgo es un error, no una característica.

PUBLICIDAD

Pero el hecho de que estos incidentes sigan ocurriendo en todos los productos y empresas sugiere que la discriminación contra los grupos marginados es en realidad fundamental para el funcionamiento de la tecnología. Es hora de que veamos el desarrollo de productos tecnológicos discriminatorios como un acto intencionado realizado por los ejecutivos de Silicon Valley, mayoritariamente blancos y de sexo masculino, para mantener los sistemas de racismo, misoginia, capacidad, clase y otros ejes de opresión que privilegian sus intereses y crean beneficios extraordinarios para sus empresas. Y aunque estas tecnologías se hacen parecer benévolas e inofensivas, son en cambio emblemáticas de lo que Ruha Benjamin, profesor de estudios afroamericanos en la Universidad de Princeton y autor de Race After Technology, denomina «El nuevo código Jim»: nuevas tecnologías que reproducen las desigualdades existentes al tiempo que parecen más progresistas que los sistemas discriminatorios de una época anterior.

El sesgo no es el único problema de las puntuaciones de crédito, y no, la IA no puede ayudar

https://www.technologyreview.com/2021/06/17/1026519/racial-bias-noisy-data-credit-scores-mortgage-loans-fairness-machine-learning/

Ya sabíamos que los datos y los algoritmos sesgados sesgan la toma de decisiones automatizada de una manera que perjudica a los grupos minoritarios y de bajos ingresos. Por ejemplo, el software utilizado por los bancos para predecir si alguien va a pagar o no la deuda de la tarjeta de crédito suele favorecer a los solicitantes blancos más ricos. Muchos investigadores y una serie de empresas emergentes están tratando de solucionar el problema haciendo que estos algoritmos sean más justos.  

Historia relacionada

La próxima guerra contra los algoritmos ocultos que atrapan a la gente en la pobreza

Un grupo cada vez mayor de abogados está descubriendo, navegando y luchando contra los sistemas automatizados que niegan a los pobres vivienda, trabajo y servicios básicos.

Pero en el mayor estudio jamás realizado sobre datos hipotecarios del mundo real, los economistas Laura Blattner, de la Universidad de Stanford, y Scott Nelson, de la Universidad de Chicago, demuestran que las diferencias en la aprobación de hipotecas entre grupos minoritarios y mayoritarios no se deben únicamente a los prejuicios, sino al hecho de que los grupos minoritarios y de bajos ingresos tienen menos datos en sus historiales de crédito.

Esto significa que cuando estos datos se utilizan para calcular una puntuación de crédito y esta puntuación de crédito se utiliza para hacer una predicción sobre el incumplimiento del préstamo, entonces esa predicción será menos precisa. Es esta falta de precisión la que conduce a la desigualdad, no sólo al sesgo.

Las implicaciones son claras: unos algoritmos más justos no solucionarán el problema. 

«Es un resultado realmente sorprendente», afirma Ashesh Rambachan, que estudia el aprendizaje automático y la economía en la Universidad de Harvard, pero que no participó en el estudio. Los sesgos y los registros crediticios irregulares son temas candentes desde hace tiempo, pero éste es el primer experimento a gran escala que analiza las solicitudes de préstamo de millones de personas reales.

Las puntuaciones crediticias agrupan una serie de datos socioeconómicos, como el historial de empleo, los registros financieros y los hábitos de compra, en una sola cifra. Además de para decidir sobre las solicitudes de préstamos, las puntuaciones de crédito se utilizan ahora para tomar muchas decisiones que cambian la vida, como las relativas a los seguros, la contratación y la vivienda.  

Crea tu sitio web con WordPress.com
Comenzar