Preservación del sesgo en el aprendizaje automático: La legalidad de las métricas de equidad según la ley de no discriminación de la UE

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3792772

Las sociedades occidentales están marcadas por diversos y amplios sesgos y desigualdades que están inevitablemente integrados en los datos utilizados para entrenar el aprendizaje automático. Los algoritmos entrenados con datos sesgados producirán, sin intervención, resultados sesgados y aumentarán la desigualdad experimentada por grupos históricamente desfavorecidos. Conscientes de este problema, en los últimos años se han realizado muchos trabajos para comprobar la existencia de sesgos en los sistemas de aprendizaje automático y de IA mediante el uso de diversas métricas de equidad y sesgo. A menudo, estas métricas abordan el sesgo técnico pero ignoran las causas subyacentes de la desigualdad. En este artículo hacemos tres aportaciones. En primer lugar, evaluamos la compatibilidad de las métricas de equidad utilizadas en el aprendizaje automático con los objetivos y la finalidad de la legislación de la UE en materia de no discriminación. Demostramos que el objetivo fundamental de la ley no es sólo prevenir la discriminación en curso, sino también cambiar la sociedad, las políticas y las prácticas para «nivelar el campo de juego» y lograr una igualdad sustantiva en lugar de meramente formal. Basándonos en esto, proponemos un novedoso esquema de clasificación para las métricas de equidad en el aprendizaje automático, basado en cómo manejan el sesgo preexistente y, por lo tanto, se alinean con los objetivos de la ley de no discriminación. En concreto, distinguimos entre las métricas de equidad que «preservan el sesgo» y las que «transforman el sesgo». Nuestro sistema de clasificación pretende salvar la brecha entre la legislación sobre no discriminación y las decisiones sobre cómo medir la equidad en el aprendizaje automático y la IA en la práctica. Por último, mostramos que la necesidad legal de justificación en los casos de discriminación indirecta puede imponer obligaciones adicionales a los desarrolladores, implementadores y usuarios que optan por utilizar métricas de equidad que preservan el sesgo al tomar decisiones sobre los individuos, ya que pueden dar lugar a una discriminación prima facie. Para lograr la igualdad sustantiva en la práctica, y cumplir así los objetivos de la ley, recomendamos en cambio utilizar métricas que transformen el sesgo. Para concluir, proporcionamos recomendaciones concretas, incluida una lista de comprobación fácil de usar para elegir la métrica de equidad más adecuada para los usos del aprendizaje automático y la IA en el marco de la legislación de la UE en materia de no discriminación.

*** Translated with http://www.DeepL.com/Translator (free version) ***

Anuncio publicitario

Inteligencia artificial simbólica exacta para una evaluación más rápida y mejor de la equidad de la IA

https://news.mit.edu/2021/exact-symbolic-artificial-intelligence-faster-better-assessment-ai-fairness-0809

https://dl.acm.org/doi/10.1145/3453483.3454078

El sistema judicial, los bancos y las empresas privadas utilizan algoritmos para tomar decisiones que tienen un profundo impacto en la vida de las personas. Desgraciadamente, esos algoritmos a veces son parciales y afectan de forma desproporcionada a las personas de color y a las de menor nivel de ingresos cuando solicitan préstamos o trabajos, o incluso cuando los tribunales deciden qué fianza debe fijarse mientras una persona espera el juicio.

Los investigadores del MIT han desarrollado un nuevo lenguaje de programación de inteligencia artificial que puede evaluar la equidad de los algoritmos con mayor exactitud y rapidez que las alternativas disponibles.

Su lenguaje probabilístico de suma-producto (SPPL) es un sistema de programación probabilística. La programación probabilística es un campo emergente en la intersección de los lenguajes de programación y la inteligencia artificial que pretende hacer que los sistemas de IA sean mucho más fáciles de desarrollar, con éxitos iniciales en la visión por ordenador, la limpieza de datos con sentido común y el modelado de datos automatizado. Los lenguajes de programación probabilísticos facilitan a los programadores la definición de modelos probabilísticos y la inferencia probabilística, es decir, el trabajo hacia atrás para inferir explicaciones probables de los datos observados.

«Hay sistemas anteriores que pueden resolver varias cuestiones de equidad. Nuestro sistema no es el primero, pero como está especializado y optimizado para una determinada clase de modelos, puede ofrecer soluciones miles de veces más rápidas», afirma Feras Saad, estudiante de doctorado en ingeniería eléctrica e informática (EECS) y primer autor de un artículo reciente que describe el trabajo. Saad añade que los aumentos de velocidad no son insignificantes: El sistema puede ser hasta 3.000 veces más rápido que los enfoques anteriores.

Cómo mejorar la percepción de equidad de la IA en la contratación: El papel crucial del posicionamiento y la sensibilización

https://www.aiethicsjournal.org/10-47289-aiej20210716-3

Las empresas despliegan cada vez más tecnologías de inteligencia artificial (IA) en sus procesos de reclutamiento y selección de personal para agilizarlos, haciéndolos así más eficientes, consistentes y con menos sesgo humano (Chamorro-Premuzic, Polli, & Dattner, 2019). Sin embargo, investigaciones anteriores encontraron que los solicitantes prefieren las entrevistas cara a cara en comparación con las entrevistas con IA, percibiéndolas como menos justas (por ejemplo, Acikgoz, Davison, Compagnone, & Laske, 2020). Además, existe evidencia emergente de que las influencias contextuales, como el tipo de tarea para la que se utiliza la IA (Lee, 2018), o las diferencias individuales de los solicitantes (Langer, König, Sánchez, & Samadi, 2019), pueden influir en las reacciones de los solicitantes a la selección impulsada por la IA. El propósito de nuestro estudio fue investigar si el ajuste de los factores de diseño del proceso puede ayudar a mejorar las percepciones de equidad de las personas en las entrevistas con IA. Los resultados de nuestro estudio en línea 2 x 2 x 2 (N = 404) mostraron que el posicionamiento de la entrevista de IA en el proceso de selección general, así como la sensibilización de los participantes a su potencial para reducir el sesgo humano en el proceso de selección tienen un efecto significativo en las percepciones de justicia de las personas. Además, estos dos factores de diseño del proceso tuvieron un efecto indirecto en el atractivo general de la organización, mediado por las percepciones de equidad de los candidatos. Los resultados pueden ayudar a las organizaciones a optimizar el despliegue de la IA en los procesos de selección para mejorar la percepción de equidad de las personas y así atraer a los mejores talentos.

EL MITO DE LA COMPLETA JUSTICIA DE LA IA

The Myth of Complete AI-Fairness – by Virginia Dignum

La idea de equidad y justicia tiene raíces largas y profundas en la civilización occidental y está fuertemente ligada a la ética. Por lo tanto, no es extraño que sea fundamental para el debate actual sobre la ética del desarrollo y el uso de sistemas de inteligencia artificial. Dado que a menudo asociamos la equidad con la coherencia y la precisión, la idea de que nuestras decisiones y decisiones que nos afectan pueden volverse más justas al reemplazar el juicio humano por sistemas automatizados y numéricos, por lo tanto, es atractiva. Sin embargo, como dijo recientemente Laurie Anderson: «Si cree que la tecnología resolverá sus problemas, no comprende la tecnología y no comprende sus problemas». [1] La IA no es mágica, y sus resultados están fundamentalmente limitados por las convicciones y expectativas de quienes la construyen, gestionan, despliegan y utilizan. Lo que hace que sea crucial que comprendamos los mecanismos detrás de los sistemas y sus capacidades de decisión.

Actualmente, la búsqueda de una IA justa es muy activa. Uno que involucra a muchos investigadores, reuniones y conferencias (de los cuales FAccT [2] es el más conocido) y se refiere a la noción de que un algoritmo es justo, si sus resultados son independientes de variables dadas, especialmente aquellas consideradas sensibles, como los rasgos de individuos que no deben correlacionarse con el resultado (es decir, género, etnia, orientación sexual, discapacidad, etc.). Sin embargo, nada es 100% justo en el 100% de las situaciones y, debido a la compleja conexión en red, garantizar la justicia para uno (grupo) puede generar injusticia para los demás. Además, lo que consideramos justo a menudo depende de los rasgos de los individuos. Un ejemplo obvio son los servicios sociales. La mayoría de la gente cree en la necesidad de algún tipo de servicio social, ya sea para niños, ancianos, enfermos o pobres. Y muchos de nosotros nos beneficiaremos de los servicios sociales al menos una vez en la vida. La toma de decisiones en la atribución de beneficios sociales depende de características individuales como la edad, los ingresos o los problemas crónicos de salud. Sin embargo, los enfoques de equidad algorítmica enfatizan demasiado conceptos como la igualdad y no abordan adecuadamente el cuidado y la preocupación por los demás.

Hace muchos años, participé en un proyecto en la escuela básica de mis hijos que tenía como objetivo ayudar a los niños a desarrollar estándares de equidad, siguiendo aproximadamente el modelo de las etapas de desarrollo moral de Kohlberg. Rápidamente se hizo evidente que los niños de 6 a 12 años entienden fácilmente que la justicia viene en muchos «sabores»: si se les da galletas para dividir entre todos los niños de la clase, el principio principal era la igualdad, es decir, dar a cada niño la misma cantidad de galletas. Pero también entendieron y aceptaron el concepto de equidad: por ejemplo, al decidir que un compañero de escuela con dislexia debería tener más tiempo para realizar un examen escolar. Desafortunadamente, para el algoritmo promedio, el sentido común y el conocimiento del mundo están a muchos años luz de distancia del de un niño de seis años, y cambiar entre equidad e igualdad dependiendo de cuál sea el mejor enfoque de la equidad en una situación dada, rara vez es una característica de toma de decisiones algorítmica.

Equidad en el aprendizaje automático: lecciones de filosofía política

¿Qué significa que un modelo de aprendizaje automático sea «justo», en términos que se puedan racionalizar? ¿Debería la justicia consistir en asegurar que todos tengan la misma probabilidad de obtener algún beneficio, o deberíamos apuntar en cambio a minimizar los daños a los menos favorecidos? ¿Puede el ideal relevante ser determinado por referencia a algún estado de cosas alternativo en el que no exista un patrón social particular de discriminación? Varias definiciones propuestas en la literatura reciente hacen diferentes suposiciones sobre lo que significan términos como discriminación y equidad y cómo pueden definirse en términos matemáticos. Las cuestiones de discriminación, igualitarismo y justicia son de gran interés para los filósofos morales y políticos, que han realizado importantes esfuerzos para formalizar y defender estos conceptos centrales. Por lo tanto, no es sorprendente que los intentos de formalizar la «justicia» en el aprendizaje automático contengan ecos de estos viejos debates filosóficos. Este documento se basa en el trabajo existente en filosofía moral y política para dilucidar los debates emergentes sobre el aprendizaje automático justo.

Haz clic para acceder a binns18a.pdf

La auditoría de algoritmos: puntuación de algoritmos que nos puntúan

En los últimos años, el impacto ético de la IA se ha analizado cada vez más, y han surgido escándalos públicos por resultados sesgados, falta de transparencia y uso indebido de datos. Esto ha llevado a una creciente desconfianza en la IA y a un aumento de las llamadas a auditorías éticas de algoritmos. Las propuestas actuales para la evaluación ética de los algoritmos son de un nivel demasiado alto para ponerlas en práctica sin más orientación, o se centran en nociones muy específicas y técnicas de equidad o transparencia que no consideran a las múltiples partes interesadas ni al contexto social más amplio. En este artículo, presentamos un marco de auditoría para guiar la evaluación ética de un algoritmo. El instrumento de auditoría en sí se compone de tres elementos: una lista de posibles intereses de las partes interesadas afectadas por el algoritmo, una evaluación de métricas que describen características clave éticamente sobresalientes del algoritmo y una matriz de relevancia que conecta las métricas evaluadas con los intereses de las partes interesadas. El instrumento de auditoría propuesto arroja una evaluación ética de un algoritmo que podría ser utilizado por los reguladores y otros interesados ​​en realizar la debida diligencia, prestando especial atención al complejo contexto social dentro del cual se implementa el algoritmo.

https://journals.sagepub.com/doi/pdf/10.1177/2053951720983865

La equidad de la IA es un imperativo económico y social. He aquí cómo abordarlo

Los seres humanos tenemos muchos tipos de prejuicios; confirmación, anclaje y género entre ellos. Tales sesgos pueden llevar a las personas a comportarse de manera injusta y, como tal, como sociedad tratamos de mitigarlos.

Esto es especialmente importante cuando los humanos están en la posición de tomar decisiones de alto riesgo que impactan a otros. Lo hacemos a través de una combinación de educación, pautas de conducta y regulaciones.

Ahora que la inteligencia artificial (IA) está proporcionando un número creciente de recomendaciones a los tomadores de decisiones humanos, es importante asegurarse de que, como tecnología, no esté sesgada y, por lo tanto, respete el valor de la justicia.

De hecho, aquellas iniciativas que tienen como objetivo hacer que la IA sea lo más beneficiosa posible (relacionadas con la ética de la IA) incluyen la equidad de la IA como uno de los principales temas de discusión y trabajo concreto.

Es hora de identificar y sugerir una visión más completa de la equidad de la IA; uno que cubre todas las dimensiones y explota su interrelación

—Raja Chatila
Los ejemplos abundan y van desde las Directrices éticas para la IA de confianza del Grupo de expertos de alto nivel sobre IA de la Comisión Europea hasta el enfoque del Consejo del Futuro Global del Foro Económico Mundial sobre IA para la Humanidad.

Si bien la equidad de la IA ha sido un enfoque importante para las empresas, los gobiernos, las organizaciones de la sociedad civil y las iniciativas de múltiples partes interesadas durante varios años, hemos visto una gran cantidad de enfoques diferentes a lo largo del tiempo. Cada uno de estos se ha centrado en uno o varios aspectos de la equidad de la IA.

Pero ahora es el momento de identificar y sugerir una visión más completa; uno que cubra todas las dimensiones de la equidad de la IA y explote su interrelación, en un intento por construir el marco, las técnicas y las políticas más eficaces.

Sin embargo, aquí está el punto de fricción: dado que los sistemas de IA son construidos por humanos, que recopilan los datos de entrenamiento y prueba y toman las decisiones de desarrollo, pueden, conscientemente o de otra manera, ser inyectados con sesgos. Esto, a su vez, puede conducir al despliegue de sistemas de inteligencia artificial que reflejen y amplifiquen dichos sesgos, lo que resultará en decisiones o recomendaciones que son sistemáticamente injustas para ciertas categorías de personas.

Las herramientas para mejorar la explicabilidad de los modelos de IA permiten identificar las razones detrás de las decisiones de IA y, por lo tanto, pueden ser útiles para identificar sesgos.

—Francesca Rossi
Ya existen varias herramientas técnicas que pueden ayudar aquí: detectan y mitigan el sesgo de IA sobre varios tipos de datos (texto, audio, video, imágenes y datos estructurados). De hecho, los prejuicios existentes en la sociedad pueden estar integrados en los sistemas de inteligencia artificial, y las correlaciones no deseadas entre algunas características (como el género y la aceptabilidad de los préstamos) pueden mitigarse al detectarlas y evitarlas.

Las herramientas para mejorar la explicabilidad de los modelos de IA permiten identificar las razones detrás de las decisiones de IA y, por lo tanto, también pueden ser útiles para identificar sesgos en los datos o modelos de IA. Sin embargo, los aspectos técnicos y las soluciones al sesgo de la IA constituyen solo una dimensión, y posiblemente la más fácil, de lograr la equidad de la IA.

Más allá de los tecnicismos

Lograr la equidad de la IA no es solo un problema técnico; también requiere estructuras de gobernanza para identificar, implementar y adoptar herramientas apropiadas para detectar y mitigar el sesgo en la recopilación y el procesamiento de datos, por un lado, y marcos para definir la supervisión necesaria y adecuada para cada caso de uso específico, por el otro.

Tampoco olvidemos que la noción de equidad en sí misma depende del contexto y debe definirse de acuerdo con escenarios de aplicación específicos. La definición correcta solo se puede identificar a través de una consulta de múltiples partes interesadas en la que aquellos que construyen e implementan sistemas de IA los discuten con los usuarios y las comunidades relevantes, para identificar la noción relevante de equidad.

‘Nadie me enseñó que era parcial’

Otra dimensión de la equidad de la IA se relaciona con la educación. Dado que los prejuicios humanos son en su mayoría inconscientes, cualquier camino para lograr la equidad de la IA comienza necesariamente con la creación de conciencia (educación). Los desarrolladores de inteligencia artificial deben ser conscientes de sus prejuicios y cómo podrían inyectarlos en los sistemas de inteligencia artificial durante el proceso de desarrollo.

Pero educar a los desarrolladores no es suficiente: todo el entorno que los rodea debe ser consciente de los posibles sesgos y aprender a detectarlos y mitigarlos. Se debe construir una cultura de equidad. Dentro de esto, los gerentes deben comprender cómo construir equipos de desarrolladores diversos y definir incentivos para la detección y mitigación de sesgos de IA.

¿Has leído?
La inteligencia artificial debe saber cuándo pedir ayuda humana
La inteligencia artificial hace que el pesto sea aún más delicioso
Cómo la IA puede desarrollar sus propios sesgos
Los ejecutivos y los tomadores de decisiones necesitan ayuda para comprender los problemas de sesgo de la IA y su posible impacto en los clientes, las comunidades afectadas y su propia empresa.

Esta educación debe complementarse con metodologías apropiadas, que no solo deben adoptarse, sino también aplicarse y facilitarse. Para lograr esto, las empresas deben definir el marco de gobierno interno más adecuado para sus modelos de negocio y dominios de implementación.

https://www.weforum.org/agenda/2021/01/how-to-address-artificial-intelligence-fairness/

Actores públicos sin valores públicos: legitimidad, dominación y regulación del sector tecnológico

La escala y la asimetría del poder de las empresas de tecnología comercial sobre las personas a través de los datos, combinada con la creciente participación del sector privado en la gobernanza pública, significa que cada vez más, las personas no tienen la capacidad de optar por no participar en las empresas de tecnología. Al mismo tiempo, esas empresas están interviniendo cada vez más a nivel de la población de formas que tienen implicaciones para la vida social y política. Esto crea el potencial para las relaciones de poder de dominación y exige que decidamos qué constituye la legitimidad para actuar sobre el público. La ética empresarial y el derecho privado no están diseñados para responder a estas preguntas, que son principalmente políticas. Si las personas han perdido el derecho a desvincularse de las tecnologías comerciales, es posible que debamos hacer que las empresas que las ofrecen cumplan con los mismos estándares que exigimos al sector público. Este artículo primero define el problema y demuestra que es significativo y generalizado, y luego aboga por el desarrollo de un marco normativo global para lo que constituye la no dominación con respecto a las tecnologías digitales. Dicho marco debe incluir una idea matizada de poder político y responsabilidad que pueda responder no solo a la legalidad del comportamiento empresarial, sino a su legitimidad.

https://link.springer.com/article/10.1007/s13347-020-00441-4

¿Se puede automatizar la equidad con IA? Una mirada más profunda a un debate esencial

Quiero comenzar con un ejemplo en el que la medición de la equidad descrita en la Parte 1 podría haber evitado resultados casi catastróficos. A menudo hablamos de A.I. Ética en términos de cómo afecta a subgrupos específicos, e incluso entonces, a una persona a la vez. A menudo descuidamos cuán errante y descuidado A.I. afecta a poblaciones enteras, comunidades o incluso la economía, el clima y el ecosistema. O incluso el colapso de la sociedad civil. (artículo siguiente)
Ofqual: al igual que el College Board, en el Reino Unido, los exámenes de ingreso a la universidad A-level Level son administrados por Ofqual. Su A.I. la aventura los metió en problemas. Debido a COVID-19, los exámenes no se pudieron realizar en el lugar. En cambio, Ofqual descuidadamente, casi sin sentido, elaboró ​​un algoritmo que mezcló las puntuaciones basándose en parte en las puntuaciones anteriores de cada escuela. Sobre la base de que «el promedio está tan cerca de la parte inferior como de la parte superior», el tono y el grito estaban furiosos. Los puntajes desinflados artificialmente penalizaron a los estudiantes en las escuelas desfavorecidas, y su futuro universitario de primer nivel fue destruido.
¿Qué podemos aprender sobre el caso Ofqual? Debido a que fueron transparentes sobre cómo desarrollaron el algoritmo, el problema se descubrió rápidamente. Sin embargo, la resolución fue que los exámenes de este año serían evaluados por los maestros y no en base a los exámenes que los estudiantes no tomaron. Es seguro decir que algunos estudiantes sufrieron graves daños, por lo que su transparencia y prisa en corregir esto es una buena lección sobre cuánto daño imprudente A.I. puede hacer. Los algoritmos deben estar sujetos a pruebas cuantitativas de equidad antes de ser lanzados al público, o la reflexión y el refuerzo continuos de los prejuicios frenan a la sociedad y las empresas. Es una práctica bien conocida para los programadores simplemente insertar código fuente abierto en el código que están desarrollando sin una comprensión clara de lo que contiene. Los algoritmos patentados no deben integrarse sin comprender su funcionamiento o para ocultar el código inferior al estándar de la inspección.
Antes de que podamos construir métricas de equidad, debemos comprender qué hizo el modelo. ¿Cómo puede evaluar una métrica de equidad o modificar el modelo si no tiene control sobre su «pensamiento» interno? El método predominante para la ingeniería inversa del resultado de cualquier algoritmo predictivo para la explicabilidad es SHAP (explicaciones aditivas de SHapley). Fue inventado por Lundberg y Lee y publicado en un artículo en 2017. Los valores SHAP se utilizan para modelos complejos (como redes neuronales o aumento de gradiente) para comprender por qué el modelo hace sus predicciones.
El término SHAP deriva de un aspecto, los valores de Shapley, de la teoría de juegos, que es el estudio de cómo y por qué las personas y los programas toman decisiones. Formalmente, utiliza modelos matemáticos de conflicto y cooperación entre tomadores de decisiones inteligentes y racionales, personas u otros. La teoría de juegos necesita dos cosas: un juego y algunos jugadores. Para un modelo predictivo, el juego reproduce el modelo y los jugadores son las características. Shapley realiza un seguimiento de lo que cada jugador contribuye al juego, y SHAP agrega cómo cada característica afecta las predicciones. La brecha entre las dos proyecciones de modelos conectadas se puede interpretar como el efecto de esa característica adicional. Esto se denomina «contribución marginal» de una característica.
Omitiendo algunas docenas de pasos, a partir de ahí, puede calcular el valor SHAP de una característica, como la edad, y sumando SHAP produce la diferencia entre la predicción del modelo y el modelo nulo. Con suerte, sin la necesidad de ver una docena de fórmulas, puede ver cómo se aplica esto para comprender relaciones bastante complejas entre funciones. Este es un excelente primer paso para comprender dónde buscar el sesgo. Hay una excelente y completa explicación de esto sin mucha notación matemática en Explicación del aprendizaje a clasificar modelos con forma de árbol.
Todo el campo de la explicabilidad está repleto de nuevas ideas. SHAP es solo uno. La secuencia que se podría seguir es:
Prueba el modelo
Comprender lo que sucedió (usando SHAP, por ejemplo)
Evalúe el resultado con sus métricas de equidad
Corre y repite.
Una nueva arruga en el debate sobre la «automatización de la equidad»
Considere por qué la equidad no se puede automatizar: cerrar la brecha entre la ley de no discriminación de la UE y la inteligencia artificial, por Sandra Wachter, Brent Mittelstadt y Chris Russell. El Oxford Internet Institute (OII) de la Universidad de Oxford es un departamento multidisciplinario de investigación y enseñanza de la Universidad de Oxford, dedicado a las ciencias sociales de Internet. Pero un comunicado de prensa publicado el 14 de diciembre de 2020 por la OII, «herramienta de modelado de IA desarrollada por académicos de Oxford incorporada al software anti-sesgo de Amazon», parece contradecir el cuerpo de su artículo:
Amazon implementó un nuevo método para ayudar a detectar mejor la discriminación en la inteligencia artificial y los sistemas de aprendizaje automático creado por académicos del Oxford Internet Institute, Universidad de Oxford, en su nuevo kit de herramientas de sesgo, ‘Amazon SageMaker Clarify’, para uso de Amazon Web Services clientes.

A partir del título, se podría suponer que contradice estos enfoques para medir la equidad, pero en un examen más detenido, los autores afirman que se puede medir, pero no se puede resolver computacionalmente. Señalan: «Debido a la naturaleza dispar de la discriminación algorítmica y humana, los requisitos actuales de la UE son demasiado contextuales, dependen de la intuición y están abiertos a la interpretación judicial para ser automatizados». No afirman que la equidad no se pueda automatizar en principio, sino que las regulaciones gubernamentales (la UE en particular) son demasiado imprecisas para la automatización.
Proponen por qué la equidad no puede y no debe automatizarse, y proponen la Disparidad Demográfica Condicional (DDC) como base para la evidencia para garantizar un procedimiento consistente de evaluación (pero no interpretación) en los casos que involucran discriminación potencial causada por sistemas automatizados. Primero, definamos CDD. Es relativamente simple:
Si recuerdas, en la Parte I, Reid Blackman propuso un ejemplo de por qué siente que esto es ridículo. Esto es lo que dijo:
Supongamos que te estoy torturando y gritas: «¿Cómo te atreves?» ¡Esto es injusto! ¡Esto es injusto!’ Yo respondo: «Mire, es perfectamente justo porque estoy torturando a subpoblaciones relevantes a la misma velocidad. Blanco, negro, asiático, latino, gay, trans y más: es el 10% de cada población ‘. Eso es absurdo. Esto se debe a que la equidad y la justicia no solo pueden capturarse mediante nociones de paridad estadística.
La respuesta aquí es que necesitamos herramientas para descubrir el sesgo y necesitamos herramientas para evaluar la equidad. Sin embargo, no tenemos herramientas para hacer ambas cosas por completo. Eso es, creo, lo que Reid quiso decir cuando dijo: «No hay una fórmula matemática para la justicia y nunca la habrá». Las matemáticas no pueden resolver la equidad, pero pueden medirla y pueden descubrir, al menos hasta cierto punto, cuáles son sus causas.
El artículo de la OII admitió que la DDC no es una cura para el sesgo, pero proporciona una línea de base para investigar los modelos que presentan sesgo.
Mi toma
He visto aumentos estrechos en la «equidad» celebrados como un progreso, como la relajación del algoritmo de aprobación de crédito para los prestatarios cuyos criterios no son del 100%. Bravo, es bueno ver algunos avances. Pero enterrado en la racionalización está que los requisitos fueron sesgados y discriminatorios en primer lugar. Esto no es justo. Estos tibios esfuerzos son pequeños pasos para abordar la discriminación de larga data.
Está claro que descubrir el sesgo es un paso necesario para mejorar la equidad de los modelos.
El sesgo no se puede resolver (completamente) computacionalmente. Se necesitan urgentemente herramientas computacionales para ayudar. Desafortunadamente, la detección de sesgos utiliza el aprendizaje automático y las redes neuronales, los cuales probablemente estén entrenados con datos sesgados.
La eliminación de sesgos tiene que ser un proceso de detección de sesgos y remediación, regido por leyes y regulaciones más claras, educación y marcos éticos.
La equidad puede y debe medirse pero no puede resolverse computacionalmente.

https://diginomica-com.cdn.ampproject.org/c/s/diginomica.com/can-fairness-be-automated-ai-deeper-look-essential-debate?amp

LA OSCURA CUESTIÓN DE LA SALUD DIGITAL

 Por ejemplo, los proponentes afirman con frecuencia que el objetivo de la salud digital es superar las desigualdades raciales y de género en los resultados de salud, así como proporcionar un acceso más amplio a la atención. Estas tecnologías —desde programas informáticos que hacen recomendaciones de tratamiento hasta auto-rastreadores que se llevan en la muñeca y aplicaciones para teléfonos inteligentes que registran los ciclos menstruales— prometen que podemos ir más allá de pasados ​​injustos y desiguales y distribuir mejor los recursos de atención médica en el futuro. Los impulsores de la industria nos harían creer que podemos lograr esto en un grado significativo con solo activar un algoritmo.

De hecho, está sucediendo lo contrario: la salud digital está solidificando la brecha entre aquellos cuya salud se valora y aquellos cuya salud se ignora.

Estas tecnologías revelan la importancia actual de lo que la socióloga Simone Browne podría llamar la «materia oscura» de la economía de la salud moderna. Browne usa este término, que en astrofísica se refiere a la materia que no se puede ver pero que ejerce una influencia gravitacional, como una metáfora de cómo los negros han sido fundamentales en el desarrollo de tecnologías, incluso cuando han permanecido invisibles en sus márgenes. Ella relata las formas en que los cuerpos de las personas negras han servido como sujetos para el desarrollo de sistemas de vigilancia modernos en los Estados Unidos, desde el uso de farolas de la ciudad para encontrar esclavos fugitivos hasta la vigilancia biométrica moderna, como el escaneo de huellas digitales, utilizado en inmigración y delincuencia. aplicación de la justicia.

https://www.publicbooks.org/staff-picks-2020-the-dark-matter-of-digital-health/