Diseña un sitio como este con WordPress.com
Comenzar

Breve guía antropológica para el estudio de la IA ética

 Antes de profundizar en las contribuciones de la antropología a la IA, una breve descripción general de los problemas éticos en la tecnología ayudará a ubicar algunas de las fallas críticas del diseño algorítmico y su integración en áreas de toma de decisiones de alto riesgo. Explorar las limitaciones de los algoritmos éticamente ajustados, o de mejor comportamiento, en las áreas de privacidad, equidad y manipulación del modelo de usuario aclara cómo la IA ética requiere la participación de las ciencias sociales. Las controversias actuales en las que se enredan los gigantes de la tecnología muestran que la sociedad no puede confiar por completo en Silicon Valley para allanar el camino para producir IA ética. Por lo tanto, los estudios antropológicos pueden ayudar a determinar nuevas vías y perspectivas sobre cómo expandir el desarrollo de sistemas éticos de inteligencia artificial y aprendizaje automático. Las observaciones etnográficas ya se han utilizado para comprender los contextos sociales en los que se diseñan y despliegan estos sistemas. Al mirar más allá del algoritmo y recurrir a los humanos detrás de él, podemos comenzar a examinar críticamente las fuerzas sociales, económicas y políticas más amplias que están en juego en el rápido aumento de la IA y asegurarnos de que ninguna población ni individuos sufran las consecuencias negativas de la IA. innovación tecnológica.

https://montrealethics.ai/the-short-anthropological-guide-to-the-study-of-ethical-ai/

Editado por Aniceto Pérez y Madrid, Especialista en Ética de la Inteligencia Artificial y Editor de Actualidad Deep Learning (@forodeeplearn).

Los artículos publicados son incluidos por su estimada relevancia y no expresan necesariamente los puntos de vista del Editor este Blog.

Anuncio publicitario

Algoritmos e igualdad: lecciones de la controversia de los niveles A

 Los jóvenes nos han enseñado que el uso de algoritmos y tecnología basada en datos debe funcionar para promover la igualdad, no socavarla. El gobierno debe responder a las lecciones del algoritmo de clasificación Ofqual y mejorar la responsabilidad por los daños colectivos para reconstruir la confianza pública en la tecnología. También es hora de pensar en una nueva protección para los desfavorecidos por su origen socioeconómico, escribe Anna Thomas, cofundadora y directora del Instituto para el Futuro del Trabajo.

La tecnología es tan buena como los humanos la desarrollen, apliquen y gobiernen; y los valores humanos que sustentan estas actividades. El sistema de estandarización algorítmica de Ofqual no tenía poderes misteriosos: era un sistema socio-técnico. Los seres humanos decidieron implementar el algoritmo y determinar su cometido y propósito. Los humanos diseñaron el algoritmo (Ofqual o más probablemente un contratista especializado); los humanos seleccionaron los puntos de datos, las variables y la ponderación; y los humanos decidieron cómo se deberían utilizar los datos históricos, que reflejan las desigualdades históricas. Y a nivel político, los humanos también deciden cómo regular, gobernar y supervisar estas decisiones.

https://www.ifow.org/news/2020/8/21/technology-and-equality-some-lessons-from-the-a-levels-controversy

Editado por Aniceto Pérez y Madrid, Especialista en Ética de la Inteligencia Artificial y Editor de Actualidad Deep Learning (@forodeeplearn).

Los artículos publicados son incluidos por su estimada relevancia y no expresan necesariamente los puntos de vista del Editor este Blog.

La tecnología no puede arreglar la injusticia algorítmica

Gran parte del debate público reciente sobre la inteligencia artificial ha sido impulsado por visiones apocalípticas del futuro. La humanidad, se nos dice, está comprometida en una lucha existencial contra su propia creación. Estas preocupaciones son alimentadas en gran parte por los líderes de la industria tecnológica y los futuristas, que anticipan sistemas tan sofisticados que pueden realizar tareas generales y operar de forma autónoma, sin control humano. Stephen Hawking, Elon Musk y Bill Gates han expresado públicamente sus preocupaciones sobre el advenimiento de este tipo de IA “fuerte” (o “general”) y el riesgo existencial asociado que puede representar para la humanidad. En palabras de Hawking, el desarrollo de una IA fuerte «podría significar el fin de la raza humana».

Estas son preocupaciones legítimas a largo plazo. Pero no son de lo único que tenemos que preocuparnos, y colocarlos en el centro del escenario distrae la atención de las cuestiones éticas que la IA plantea aquí y ahora. Algunos sostienen que una IA fuerte puede estar a solo décadas de distancia, pero este enfoque oscurece la realidad de que la IA “débil” (o “estrecha”) ya está remodelando las instituciones sociales y políticas existentes. Los sistemas algorítmicos de toma de decisiones y apoyo a las decisiones se están implementando actualmente en muchos dominios de alto riesgo, desde la justicia penal, la aplicación de la ley y las decisiones laborales hasta la calificación crediticia, los mecanismos de asignación de escuelas, la atención médica y las evaluaciones de elegibilidad de beneficios públicos. No importa el lejano espectro del fin del mundo; La IA ya está aquí, trabajando entre bastidores en muchos de nuestros sistemas sociales.

Lo primero que debemos hacer es analizar detenidamente los argumentos que sustentan el uso actual de la IA.

Algunos son optimistas de que los sistemas de inteligencia artificial débiles pueden contribuir positivamente a la justicia social. A diferencia de los humanos, continúa el argumento, los algoritmos pueden evitar la toma de decisiones sesgada, logrando así un nivel de neutralidad y objetividad que no es humanamente posible. Una gran cantidad de trabajos recientes han criticado esta presunción, incluidos los algoritmos de opresión de Safiya Noble (2018), Race After Technology de Ruha Benjamin (2019), la falta de inteligencia artificial de Meredith Broussard (2018), Hello World de Hannah Fry (2018), y Automating Inequality de Virginia Eubanks. (2018), Técnicamente incorrecto de Sara Wachter-Boettcher (2017) y Armas de destrucción matemática de Cathy O’Neil (2016). Como enfatizan estos autores, existe una gran cantidad de evidencia empírica que muestra que el uso de sistemas de inteligencia artificial a menudo puede replicar condiciones históricas y contemporáneas de injusticia, en lugar de aliviarlas.

https://bostonreview.net/science-nature-politics/annette-zimmermann-elena-di-rosa-hochan-kim-technology-cant-fix-algorithmic

Editado por Aniceto Pérez y Madrid, Especialista en Ética de la Inteligencia Artificial y Editor de Actualidad Deep Learning (@forodeeplearn).

Los artículos publicados son incluidos por su estimada relevancia y no expresan necesariamente los puntos de vista del Editor este Blog.

Stanford AIMI Symposium 2020 // Session 5: Fairness in Clinical Machine Learning

 https://www.youtube.com/watch?v=1Uyc9SPeYkA&feature=youtu.be

Editado por Aniceto Pérez y Madrid, Especialista en Ética de la Inteligencia Artificial y Editor de Actualidad Deep Learning (@forodeeplearn).

Los artículos publicados son incluidos por su estimada relevancia y no expresan necesariamente los puntos de vista del Editor este Blog.

Fairness and AI

Sandra Watcher responde a  cinco preguntas sobre la conferencia sobre su conferencia reciente.

  • ¿Se ha tomado en cuenta las diferentes definiciones de ‘discriminación’ y ‘fairness’ por las investigadores en IA? ¿Debería importar a los lectores?
  • ¿Qué motivos de discriminación son los más vulnerables en el contexto de los algoritmos?
  • Dado que el desarrollo de soluciones basadas en inteligencia artificial es un objetivo muy importante tanto para las empresas como para algunos gobiernos, en caso de que el problema de la falta de equidad requiera una actualización de las regulaciones vigentes hoy (como GDPR y otros) o un nuevo tipo de enfoque legal ? ¿O es un problema que todavía puede resolverse caso por caso?
  • ¿Es realista desarrollar una protección de «imparcialidad por diseño» en los desarrollos de IA?
  • ¿Necesitamos leyes de transparencia para IA y algoritmos que superen las leyes de propiedad intelectual para que el usuario, jueces, abogados, etc. puedan acceder a esas implementaciones de IA de sus algoritmos?
https://medium.com/berkman-klein-center/fairness-and-ai-c5596faddd20

Adaptado por Aniceto Pérez y Madrid, Filósofo de las Tecnologías y Editor de Actualidad Deep Learning (@forodeeplearn)

Posibles abusos de la privacidad en las apps de seguimiento del coronavirus

Esta es una relación de artículos publicados sobre esta cuestión:

Consideraciones éticas por Luciano Floridi
https://thephilosophyofinformation.blogspot.com/2020/04/mind-app-ethical-risks-of-covid-19-apps.html
Inteligente y conciso análisis de los problemas éticos relacionados con este tipo de medidas. Trata de la verificación y de la validación de estos sistemas.

Una buena aplicación debe ser parte de una estrategia más amplia y debe estar diseñada para respaldar un futuro justo. Si esto no es posible, mejor hacer otra cosa, evitar sus costos positivos, negativos y de oportunidad, y no jugar el juego político de simplemente señalar que algo (de hecho, cualquier cosa) ha sido probado.

La app australiana no tiene ‘planes ocultos’, según el primer ministro
https://www.theguardian.com/technology/2020/apr/18/australian-coronavirus-contact-tracing-app-voluntary-and-with-no-hidden-agenda-minister-says

Cómo el coronavirus está erosionando la privacidad
https://www.wsj.com/articles/coronavirus-paves-way-for-new-age-of-digital-surveillance-11586963028
Lista cómo se está imlementando la app de seguimiento en distintos países. 

¿Sobrevivirá la vigilancia del coronavirus a la pandemia?
https://news.trust.org/item/20200417102136-rauv9/
Relación de avisos de expertos digitales acerca de las medidas de vigilancia que se plantean adoptar para luchar contra la pandemia. Son análisis breves pero muy certeros

RASHA ABDUL RAHIM, DEPUTY DIRECTOR, AMNESTY TECH
Una de las tendencias que estamos viendo en todo el mundo es casi la configuración predeterminada de una mayor vigilancia sin el caso de que estas nuevas medidas sean efectivas, necesarias y proporcionadas.

DIEGO NARANJO, HEAD OF POLICY, EUROPEAN DIGITAL RIGHTS
Esto no puede convertirse en otra ‘guerra contra el terror’ con infinitas medidas excepcionales para combatir futuras pandemias potencialmente infinitas

EDIN OMANOVIC, ADVOCACY DIRECTOR, PRIVACY INTERNATIONAL
Las leyes de vigilancia y la tecnología que se están implementando no tienen precedentes en su escala global. Algunas de las medidas se consideran respuestas a una emergencia de salud pública, otras lo son menos, y otras son una simple toma de poder.

Google espera que la gente mejore su opinión de las Big Tech por su respuesta al COVID-19
https://www.vox.com/recode/2020/4/14/21221141/coronavirus-eric-schmidt-google-big-tech-grateful
Las Big Tech pueden ser las grandes beneficiadas por esta crisis y su relación con los gobiernos podría mejorar, lo que no es buena noticia para los ciudadanos.

Privacy safeguards in Aple-Google platform could be abused
https://digitalprivacy.news/2020/04/14/privacy-safeguards-in-apple-google-platform-could-be-abused-experts-say/

  • seguimiento y vigilancia de los ciudadanos. Es un peligro que llegue a normalizarse
  • Una vez que se ha tragado con estos abusos, resulta más fácil que vuelva a hacerse. ¿Quién asegura que la siguiente vez la privacidad por diseño se mantiene?
  • puesto que Apple y Google trabajan a la par y eventualmente incluirán esto en el mismo sistema, dejará de ser opcional
  • si estas apps se usan para acceder al transporte, tiendas u hoteles, se convierte en una app de uso obligado y un medio de vigilancia
  • el hecho de que acceda a tus contactos añade mayor uso equivocado potencial
  • afirma que la privacidad se salvaguarda en cuanto que tienes que dar el consentimiento, pero si estás obligado, es una falacia
  • No existen leyes para limitar los daños y riesgos potenciales de esto

Carta abierta al Presidente de Holanda
https://allai.nl/wp-content/uploads/2020/04/Online-version-Letter-to-President-Rutte-Ministers-De-Jonge-Van-Rijn-Grapperhaus-re.-COVID-19-apps.pdf

  • «Surveillance is permanent in its effects, even if it is discontinuous in its action.» – Michel Foucault
  • Parece que el gobierno se centra en el despligue de apps, pero rara vez la tecnología sola es suficiente
  • the use of all apps and technologies related to the fight against the Corona crisis must be temporary, strictly necessary, proportional, controllable, transparent and verifiable.
  • The deployment of the Apps is very radical. It is therefore important that the usefulness, necessity and effectiveness of the Apps as wel as their societal and legal impact of is critically examined before a decision is made to use them.
  • The effectiveness and reliability of the Tracking app is extremely important, because ineffectiveness and unreliability can lead to a greater risk of contamination. After all, it then only creates ‘false security’. 
  • The Apps have an impact on more than (data) privacy alone. They also touch on freedom of association, the right to safety, the right to health and the right to non-discrimination. 
  • Fundamental rights and freedoms cannot simply be put aside. There must be a legitimate interest for this, it must be strictly necessary, proportionate and, above all, time-limited. 
  • The use of the Apps must be waived if: (i) ‘contact tracking’ or health monitoring via the Apps is no longer effective, effective or reliable; (ii) less invasive solutions are possible; (iii) outweigh the social implications; or (iv) no broadly-based responsible trade-off can be made between conflicting fundamental rights and freedoms. 
  • The use of the Apps may not be achieved by any form of obligation or coercion. 
  • A broad team of experts from various disciplines, including computer scientists, data scientists, epidemiologists, intensivists and pulmonologists, experts in the field law (incl. privacy and data protection, human rights and administrative law), behavioral scientists, communication scientists and ethics. 
  • The possible use of the Apps must be verifiable, transparent and verifiable in addition to being temporary (and therefore reversible), strictly necessary and proportional. 
  • Only the roll-out of the Apps, without considering the influence on the (social) systems and behavioral patterns, and without the underlying infrastructure (GGDs, test labs, etc.) being set up for this, is insufficient.
También recuerda que
  • no basta con desplegar las apps, hay que considerar su influencia en el comportamiento social
  • las consecuencias asociadas con la señalización de la app de no acceso o confinamiento puede afectar al uso correcto de las apps. Esto socava su efectividad
  • los derechos fundamentales y libertades no pueden ser simplemente puestas a un lado
  • las discusiones sobre privacidad suelen ser sobre protección de datos y anonimización, pero el impacto de estas apps va más allá del anonimato. Por ejemplo, el procesado de este tipo de datos, en mayor o menor grado, solo está permitido en casos excepcionales y bajo estrictas condiciones
  • la voluntariedad de uso no es suficiente, el comportamiento social puede influir. 
  • Si fuera obligatoria significaría que no se puede salir sin teléfono. Esto no es viable ni punible.Si la app es necesaria para el acceso a ciertos lugares, la app no es voluntaria
  • Es necesario conocer la fiabilidad de las apps para el objetivo perseguido ya que podría significar una gran renuncia sin una necesidad significativa
¿Cuanto acceso a datos debería permitirse por el COVID-19?
  • tenemos muchos datos de los usuarios por los móviles, pruebas médicas y otras fuentes, pero son datos extremadamente sensibles desde la perspectiva de la privacidad y la ética.
  • la localización de móviles por las antenas es poco precisa, especialmente dentro de edificios. El seguimiento solo es útil si está disponible la forma de tratarlo
  • explica las restricciones legales al uso de datos personales en Europa
  • hay motivos de preocupación y no limitadas a países no democráticos
Los científicos dicen que las corona-apps pueden ser un riesgo
Virginia Dignum y Fran Dignum, profesores de la universidad de Umea describen los riesgos de las apps para control del coronavirus por su posible impacto en la libertad y los derechos humanos.

Adaptado por Aniceto Pérez y Madrid, Filósofo de las Tecnologías y Editor de Actualidad Deep Learning (@forodeeplearn)

IA Responsable, Microsoft

Esta entrada de blog de Microsoft es una colección de recursos sobre los temas críticos para una IA rsponsable:

  • Fairness
  • Transparencia
  • Reliability Safety
  • Colaboración entre humanos e IA
  • Privacidad

Para cada uno de los temas aporta una definición y enlaces a recursos relevantes sobre el tema

https://www.microsoft.com/en-us/research/blog/research-collection-responsible-ai/

Adaptado por Aniceto Pérez y Madrid, Filósofo de las Tecnologías y Editor de Actualidad Deep Learning (@forodeeplearn)

The Ethical Algorithm

Conferencia de Aaron Roth sobre su libro The Ethical Algorithm. Trata sobre todo de Privacidad y Fairness.

Sobre la privacidad trata del concepto, de la forma en que se intentó atacarse desacertadamente y sobre la privacidad diferencial como una forma sistemática y coherente de afrontar la privacidad.

En cuanto a la equidad, explica la dificultad del concepto y el compromiso entre equidad y precisión.

La conferencia dura 1h 30m y es muy amena.

https://www.youtube.com/watch?v=z6DMhIw2X4U&feature=youtu.be

Adaptado por Aniceto Pérez y Madrid, Filósofo de las Tecnologías y Editor de Actualidad Deep Learning (@forodeeplearn)

Why Fairness Cannot Be Automated: Bridging the Gap Between EU Non-Discrimination Law and AI

Este interesante artículo analiza cómo la legislación y la jurisprudencia europea aborda la discriminación.

La regulación consiste en cuatro directivas: Igualdad Racial, Igualdad de género, igualdad de Acceso de Género y la directiva de Empleo. Las directivas europeas no son directamente aplicables, han de ser trapuestas por los Estados Miembros, lo que supone una regulación no uniforme.

La discriminación puede ser directa, de una persona concreta, o indirecta, de un grupo frente a otro grupo.

En las demandas de discriminación de un grupo o de una persona, se busca un comparador y un grupo contra el que se demanda estar desfavorecido. Este artículo recoge diversos casos de la Corte Europea de Justicia. Normalmente, los tribunales se fijan en el grupo desfavorecido y en el comparador y no suelen atender al grupo favorecido. Las sentencias se basan en la aplicación del sentido común. En general se ignoran los indicadores estadísticos presentados, aduciendo que las resoluciones son dependientes del contexto.

Esta publicación presenta un indicador denominado Disparidad Demográfica Condicional que tiene en cuenta tanto los aventajados como los desfavorecidos del grupo aventajado y desfavorecido.

Los técnicos estadísticos y de IA han estudiado mucho la cuestión de la equidad y la judicatura ha ignorado ese campo. En cambio los últimos conocen bien la complicación de la administración de justicia en los casos de discriminación y no los primeros. Por eso, aboga por un trabajo conjunto entre técnicos y juristas para poder obtener información estadística que, aunque no sea un valor de numérico absoluto de justicia de una situación, pueda ser una información útil para que los jueces puedan resolver más informados.

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3547922

Adaptado por Aniceto Pérez y Madrid, Filósofo de las Tecnologías y Editor de Actualidad Deep Learning (@forodeeplearn)

Equidad Algorítmica: Dificultades y Alguna Solución

Aniceto Pérez y Madrid

La toma de decisiones en el mundo real es compleja. Habitualmente las decisiones humanas tienen diversos objetivos que alcanzar y el proceso consiste en ponderar en cada caso los condicionantes en función del contexto.

Los modelos de aprendizaje automático aspiran a ser capaces de lograr automatizar la toma de decisiones de una forma próxima a la humana. Así, los procesos serían más rápidos y más uniformes. Para crear modelos que tomen decisiones similares a las humanas se utilizan ejemplos con datos de decisiones pasadas tomadas por decisores humanos.

Al aplicar en la vida real los modelos obtenidos de ese modo se han detectado problemas: resultados inesperados y promedios estadísticos de los resultados muy sesgados. Al investigar causas se ha visto que los datos de decisiones anteriores estaban sesgados. Esto ha hecho surgir inquietudes sobre estos modelos y dudas sobre la forma en que se han estado tomando decisiones. Si el modo “humano” de decisión está sesgado, los modelos automáticos no sólo continúan y perpetúan ese modo, sino que además, como se ha demostrado, frecuentemente lo acentúan.

Los modelos se crean a partir de algoritmos que extraen los patrones de correlación de los datos. Son procedimientos matemáticos que, mediante ajustes en la configuración, logran resultados con error mínimo en promedio.

Muchos estudios consideran que la medida de la equidad del modelo es cuánto se ajusta el promedio de los resultados obtenidos al esperado respecto a un objetivo concreto. Por ejemplo, la concesión de préstamos a miembros de un sexo concreto. Por eso, hay quienes defienden que esos problemas se pueden resolver con ajustes. En realidad no es un problema de funcionamiento, es que los modelos funcionan así. Se pueden identificar diversas causas: 1) los modelos se crean con datos históricos de decisiones tomadas por humanos; si esas decisiones estaban sesgadas, lo que “aprenda” el modelo estará sesgado; 2) los algoritmos que crean modelos, extraen patrones de los datos de aprendizaje a partir de muchas variables y multitud de ejemplos; los algoritmos son muy poderosos, pero los humanos no somos capaces de llegar a conocer o explicar cómo el modelo en cada caso concreto obtiene el resultado; y 3) los predictores de discriminación de un grupo social están complejamente entrelazados con las demás variables predictoras, así que es difícil eliminar esa discriminación.

Los algoritmos de creación de modelos son muy buenos. Son capaces de “triangular” las variables suministradas para obtener información que se pretendía eliminar de la ecuación, como la raza o el sexo. Existen diversos algoritmos y cada uno se comporta de forma distinta para cada criterio, así que no es posible encontrar el mejor modelo absoluto.

Sehn Al Lee y Floridi(1) han hecho un estudio usando datos públicos de préstamos en EEUU. Su artículo plantea dos objetivos para la concesión de préstamos: la concesión a población negra e inclusión financiera, es decir conceder más préstamos, lo que significa más negocio. Tras analizar los modelos obtenidos mediante cinco algoritmos, cada uno de ellos proporciona un promedio distinto de inclusión financiera y de concesión de préstamos a población negra. Además, aunque se elimine la raza de las variables, el resultado es muy parecido ya que las demás variables incluyen de alguna manera compleja esa información.

Un técnica habitual es equilibrar los datos de entrada, bien generando datos sintéticos de los grupos menos representados, bien muestreando los más representados. En cualquier caso, como explican Kearns y Roth(2) , no es posible lograr equidad y precisión simultáneamente.
La realidad es que no es posible establecer la equidad de un modelo como un número absoluto. Hay que establecer compromisos entre los objetivos.

Sehn Al Lee y Floridi proponen un compromiso: representar en un gráfico de dos dimensiones los promedios de los resultados obtenidos por cada modelo (inclusión financiera y concesión a población negra) y que el prestamista decida qué área del gráfico le interesa y de ahí decida el modelo a usar.
Ampliando esa conclusión, si en una aplicación se consideran varios objetivos podrían obtenerse promedios de cumplimiento de esos objetivos para cada modelo y, del mismo modo que antes, una vez que se ha seleccionado el espacio que cumple los objetivos buscados, elegir en ese área multidimensional el modelo.

El compromiso entre objetivos, lo habitual en la toma de decisiones, aporta cierta transparencia y equidad al proceso aunque la explicabilidad seguirá dependiendo del algoritmo elegido. Es posible que en una aplicación determinada, con más ejemplos, más historial y más variables, y quizás también nuevos algoritmos, los resultados promedios o los objetivos cambien y se decida usar otro modelo.

No hay una fórmula mágica para asegurar que los resultados de un sistema de toma de decisiones automatizado sean equitativos. Ni siquiera es posible asegurar que un sistema inteligente, complejo de entrenar, tenga que ser mejor en una aplicación concreta que un sistema lineal más simple y completamente explicable.

El Libro Blanco de la Inteligencia Artificial de la Unión Europea3 prevé que en las aplicaciones de “alto riesgo” debe haber supervisión humana. En mi opinión, esa supervisión debería estar tanto en la preparación del modelo como en la operación. El modelo inteligente puede aligerar la evaluación de circunstancias complejas, y su resultado debería ser un dato relevante para la parte realmente inteligente de todo el proceso, el que toma la decisión: el ser humano. De este modo se resuelven las dos cuestiones importantes de la justicia en la toma de decisiones: explicabilidad y responsabilidad.

Lo que se puede concluir de estos estudios es que la aplicación de algoritmos estadísticos para agilizar y automatizar la toma de decisiones no debe realizarse a la ligera sin un estudio extensivo. La automatización inteligente permite agilizar los procesos burocráticos y puede mejorar la sociedad enormemente, pero también puede extender la injusticia y la falta de rendimiento de cuentas y de responsabilidad como una pandemia.

Referencias
1. Michell Sehn Al Lee y Luciano Floridi. 2020. Algorithmic fairness in mortgage lending: from absolute conditions to relational trade-offs https://www.academia.edu/42297780/Algorithmic_fairness_in_mortgage_lending_from_absolute_conditions_to_relational_trade-offs?email_work_card=thumbnail-desktop

2. Michael Kearns y Aaron. 2020. The Ethical Algorithm: The Science of Socially Aware Algorithm Design https://www.amazon.es/Ethical-Algorithm-Science-Socially-English-ebook/dp/B07XLTXBXV/ref=tmm_kin_swatch_0?_encoding=UTF8&qid=1585504170&sr=8-1

3. WHITE PAPER. On Artificial Intelligence – A European approach to excellence and trust. 2020. https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf