Contra la interpretabilidad: un examen crítico

«Explicabilidad», «transparencia», «interpretabilidad»… son términos que se emplean de distintas maneras en el ecosistema de la IA. De hecho, a menudo oímos que debemos hacer que la IA sea más «interpretable» y/o más «explicable».  En cambio, el autor de este artículo cuestiona la idea de que la «interpretabilidad» y otros conceptos similares deban ser valores o requisitos para la IA. En primer lugar, parece que estos conceptos no son realmente claros desde el punto de vista intuitivo ni técnicamente aplicables. En segundo lugar, la mayoría de las veces se proponen no como valores en sí mismos, sino como medios para alcanzar otros objetivos valiosos (por ejemplo, la equidad o el respeto a la privacidad de los usuarios). Por ello, el autor defiende que, en lugar de centrar nuestra atención en la «interpretabilidad» o la «explicabilidad» per se, deberíamos centrarnos en los objetivos éticos y epistémicos que establecemos para la IA, asegurándonos al mismo tiempo de que podemos adoptar una variedad de soluciones y herramientas para alcanzar esos objetivos.

Introducción

Como mencionamos en un resumen anterior, la opacidad de los backboxes plantea retos tanto epistémicos (¿son los algoritmos realmente fiables?) como éticos (¿son los algoritmos éticos?). En relación con esto, también parecen violar el derecho de las personas a saber por qué un determinado algoritmo ha producido algunas predicciones o decisiones automatizadas que les conciernen. Para muchos, los riesgos epistémicos y éticos que plantea la opacidad de Back Box podrían mitigarse asegurando que la IA sea de alguna manera interpretable, explicable y/o (como dicen algunos) transparente. En contra de la opinión recibida sobre esta cuestión, el autor de este artículo cuestiona la idea de que exista un problema de caja negra y niega que la «interpretabilidad», la «explicabilidad» o la «transparencia» deban ser valores o requisitos para la IA (véase también aquí).

Ideas clave

El autor de este artículo cuestiona la idea de que exista un problema de caja negra y que la «interpretabilidad», la «explicabilidad» o la «transparencia» deban ser criterios para evaluar un sistema de IA.

El primer problema que señala el autor es que los términos mencionados («explicabilidad», «transparencia», «interpretabilidad») suelen ser poco claros y estar mal definidos. Tomemos como ejemplo la «interpretabilidad»: La IA es interpretable cuando, a grandes rasgos, es comprensible para los consumidores. El autor observa que esta definición no es realmente útil: no aclara lo que significa «comprensible» y no ofrece ninguna idea sobre lo que podría significar el término cuando se aplica a los algoritmos. Además, hay confusión sobre lo que debería ser comprensible. Aquí hay algunos candidatos: la predicción del propio algoritmo, el funcionamiento interno de la IA que produjo su predicción, o las razones / la justificación para que el algoritmo haga esa predicción. ¿Cuál es la clave para la comprensión humana?

Muchos parecen creer que explicar cómo un algoritmo ha llegado a un determinado resultado equivale a hacer comprensible la IA. Sin embargo, hay que tener en cuenta que las explicaciones causales no son lo mismo que las justificaciones. Es decir, la razón o la justificación de un resultado determinado puede no coincidir claramente con el camino causal que llevó al algoritmo a esa conclusión. Como dice el autor, «este punto es especialmente evidente en el caso de las redes neuronales. El proceso causal por el que una entrada desencadena una determinada vía dentro de la red no se corresponde directamente con las consideraciones justificativas». De hecho, sería como preguntar a «una persona por qué ha dado una respuesta a una determinada pregunta y que responda con un relato de cómo se disparan sus neuronas». El relato causal no es una explicación racional per se. Así, si la explicación que buscamos nos habla sólo del camino causal que lleva al algoritmo a una determinada conclusión, esta historia no proporcionaría el nivel adecuado de explicación necesario para entender racionalmente ese mismo resultado. 

Por último, el autor señala que la interpretabilidad, la explicabilidad y otros aspectos similares son un medio para alcanzar un fin, es decir, garantizar que la IA sea ética y digna de confianza. El autor recomienda que nos centremos en esos objetivos en lugar de tratar la interpretabilidad y similares como si fueran fines en sí mismos. Dado que puede haber otras formas de alcanzar esos objetivos, no parece útil centrarse sólo en un conjunto de soluciones.

Entre líneas

El artículo señala acertadamente que necesitamos un análisis más coherente y preciso de conceptos como la interpretabilidad y la explicabilidad. Y el autor también aclara que «[s]i bien este artículo cuestiona tanto la importancia como la coherencia de la interpretabilidad y los cognados, no defiende de forma decisiva el abandono de los conceptos». También estamos de acuerdo con esto, ya que apreciamos la importancia de garantizar la explicabilidad en la IA como una forma tanto de evaluar si los algoritmos son éticos, robustos y fiables, como de proteger el derecho de las personas a conocer y comprender cómo se realizan las evaluaciones. Sin embargo, para ello, primero tenemos que asegurarnos de que estamos de acuerdo con lo que queremos decir con «explicación» y con el tipo de explicación que se necesita para una verdadera comprensión humana.   

*** Translated with http://www.DeepL.com/Translator (free version) ***

Creer en las cajas negras: el aprendizaje automático para la atención sanitaria no necesita ser explicable para estar basado en la evidencia

https://www.sciencedirect.com/science/article/abs/pii/S0895435621003541

Examinar el papel de la explicabilidad en el aprendizaje automático para la atención sanitaria (MLHC), y su necesidad e importancia con respecto a la aplicación efectiva y ética de MLHC.

Diseño y entorno del estudio

Este comentario se centra en el creciente y dinámico corpus de literatura sobre el uso de la MLHC y la inteligencia artificial (IA) en medicina, que proporciona el contexto para una revisión narrativa centrada en los argumentos presentados a favor y en contra de la explicabilidad en la MLHC.

Resultados

Descubrimos que las preocupaciones relativas a la explicabilidad no se limitan a la MLHC, sino que se extienden a numerosas intervenciones terapéuticas bien validadas, así como al propio juicio clínico humano. Examinamos el papel de la medicina basada en la evidencia en la evaluación de tratamientos y tecnologías inexplicables, y destacamos la analogía entre el concepto de explicabilidad en la MLHC y el concepto relacionado de razonamiento mecanicista en la medicina basada en la evidencia.

Conclusión

En última instancia, concluimos que el valor de la explicabilidad en la MLHC no es intrínseco, sino que es instrumental para lograr imperativos mayores como el rendimiento y la confianza. Advertimos contra la búsqueda inflexible de la explicabilidad, y abogamos en cambio por el desarrollo de métodos empíricos robustos para evaluar con éxito sistemas algorítmicos cada vez más inexplicables.

4 razones por las que la IA explicable es el futuro de la IA

https://www.cmswire.com/digital-experience/4-reasons-why-explainable-ai-is-the-future-of-ai/

La inteligencia artificial explicable, o XAI, es similar a una aplicación de IA normal, salvo que los procesos y resultados de un algoritmo de XAI pueden explicarse para que los entiendan los humanos. La naturaleza compleja de la inteligencia artificial significa que la IA toma decisiones en tiempo real basándose en los conocimientos que ha descubierto en los datos que se le han proporcionado. Si no entendemos bien cómo la IA toma estas decisiones, no podemos optimizar la aplicación de la IA para que sea todo lo que puede hacer. La XAI permite a las personas comprender cómo se utilizan la IA y el aprendizaje automático (ML) para tomar decisiones, realizar predicciones y obtener información. La IA explicable permite a las marcas ser transparentes en su uso de las aplicaciones de IA, lo que aumenta la confianza de los usuarios y la aceptación general de la IA.

Por qué y dónde necesitamos la IA explicable

Existe una necesidad válida de XAI si la IA se va a utilizar en todos los sectores. Según un informe de FICO, el 65% de los empleados encuestados no podía explicar cómo se determinan las decisiones o predicciones del modelo de IA. Los beneficios de la XAI están empezando a ser bien reconocidos, y no sólo por los científicos e ingenieros de datos. El proyecto de reglamento de IA de la Unión Europea especifica la XAI como requisito previo para la eventual normalización del aprendizaje automático en la sociedad. Organizaciones de normalización como el Instituto Europeo de Normas de Telecomunicaciones (ETSI) y la Asociación de Normas del Instituto de Ingenieros Eléctricos y Electrónicos (IEEE SA) también reconocen la importancia de la XAI en relación con la aceptación y la confianza en la IA en el futuro.

Pasar del compromiso al contenido en la IA y la ética de los datos: Justicia y explicabilidad

https://www.atlanticcouncil.org/in-depth-research-reports/report/specifying-normative-content/Los investigadores, las empresas, los responsables políticos y el público en general son conscientes de que el uso de la inteligencia artificial (IA) y de los macrodatos plantea problemas de justicia, privacidad, autonomía, transparencia y responsabilidad. Se espera que las organizaciones aborden cada vez más estas y otras cuestiones éticas. En respuesta, muchas empresas, organizaciones no gubernamentales y entidades gubernamentales han adoptado marcos y principios de ética de la IA o de los datos con el fin de demostrar el compromiso de abordar los retos que plantea la IA y, sobre todo, orientar los esfuerzos de las organizaciones para desarrollar e implementar la IA de forma social y éticamente responsable.
Sin embargo, articular los valores, los conceptos éticos y los principios generales es sólo el primer paso -y en muchos sentidos el más fácil- para abordar los retos de la IA y la ética de los datos. El trabajo más difícil es pasar de los valores, los conceptos y los principios a compromisos sustantivos y prácticos que orienten la acción y sean medibles. Sin esto, la adopción de compromisos y principios amplios equivale a poco más que tópicos y «lavado de ética». El desarrollo y el uso éticamente problemático de la IA y los macrodatos continuará, y los responsables políticos, los empleados, los consumidores, los clientes y el público considerarán que la industria no cumple con sus propios compromisos.
El siguiente paso para pasar de los principios generales a los impactos es articular de forma clara y concreta lo que la justicia, la privacidad, la autonomía, la transparencia y la explicabilidad implican y requieren realmente en contextos particulares. Los principales objetivos de este informe son
Demostrar la importancia y la complejidad de pasar de los conceptos y principios éticos generales al contenido sustantivo que orienta la acción;proporcionar un análisis detallado de dos conceptos éticos fundamentales e interconectados, la justicia y la transparencia; eindicar estrategias para pasar de los conceptos y principios éticos generales a contenidos sustantivos más específicos y, en última instancia, a la puesta en práctica de dichos conceptos.
*** Translated with http://www.DeepL.com/Translator (free version) ***

Es hora de que la IA se explique

https://www.hpe.com/us/en/insights/articles/it-s-time-for-ai-to-explain-itself-2108.html

Los modelos de IA son cada vez más precisos, pero ni siquiera los científicos de datos que los crearon pueden explicar por qué, y eso es un problema.

Los algoritmos basados en la IA forman parte de la vida cotidiana de casi todo el mundo. Todos nos hemos acostumbrado a que las máquinas nos sugieran una nueva serie para ver en Netflix, otra persona a la que seguir en Facebook o lo siguiente que tenemos que pedir en Amazon.

También están impulsando decisiones mucho más importantes, como en qué acciones invertir, qué procedimientos médicos considerar o si se puede optar a una hipoteca. En algunos casos, un sistema de IA puede ofrecer mejores consejos que un asesor financiero, un médico o un banquero.

Pero si acabas en el lado equivocado de un algoritmo, no hay ninguna persona a la que puedas abrochar para explicar por qué tu solicitud de préstamo fue rechazada o tu currículum descartado.

Y con demasiada frecuencia, las empresas que crearon y desplegaron estos algoritmos tampoco pueden explicarlos.

Lea: Cómo resolver el enigma de la eficiencia de la IA

Según The State of Responsible AI: 2021, una encuesta patrocinada por la firma de servicios financieros FICO, dos tercios de las empresas no pueden explicar cómo los modelos de IA que han desplegado llegan a las decisiones. Y solo una de cada cinco supervisa activamente estos modelos para garantizar que las decisiones se toman de forma ética y justa.

La IA tiene un problema de transparencia. Las organizaciones que quieran ganarse la confianza de los consumidores, evitar la ira de los reguladores o simplemente determinar lo bien que funcionan sus modelos de aprendizaje automático tendrán que adoptar la IA explicable (XAI) en el futuro.

«Es fundamental que las empresas se aseguren de que los algoritmos de IA en los que se basan son explicables para los reguladores, especialmente en el espacio antimonopolio y de protección del consumidor.»

DEE BANSAL SOCIO, COOLEY LLP

¿Qué puede salir mal?

Aunque nadie está sugiriendo que la IA esté a punto de volverse autoconsciente y empezar a hacer la guerra a la humanidad, los impactos negativos de la toma de decisiones automatizada están bien documentados.

El problema más común es el sesgo introducido mientras se entrena el modelo de IA. Por ejemplo, los algoritmos de reconocimiento facial son notoriamente inexactos a la hora de detectar individuos de piel más oscura, muy probablemente porque los datos de entrenamiento incluían menos personas de color. Los modelos de predicción policial se basan en los antecedentes penales existentes, lo que refuerza décadas de injusticia racial. Los algoritmos de selección de currículos basados en los patrones históricos de contratación de una empresa pueden discriminar a las mujeres, a los solicitantes de mayor edad o a las personas de color.

Lea: Las consideraciones éticas de la IA

Los datos sesgados o insuficientes también pueden conducir a predicciones inexactas, haciendo que un modelo sea inútil y potencialmente peligroso. Por ejemplo, cuando un hospital de Florida adquirió un sistema IBM Watson diseñado para ayudar a los oncólogos a tratar a los pacientes con cáncer, la IA recomendó procedimientos que los habrían empeorado. ¿La razón? Se basaba en datos de pacientes hipotéticos, no reales. El sistema, de 62 millones de dólares, fue desechado.

*** Translated with http://www.DeepL.com/Translator (free version) ***

¿Deben ser explicables los modelos de IA? Eso depende.

https://hai.stanford.edu/news/should-ai-models-be-explainable-depends

Los sistemas de inteligencia artificial capaces de diagnosticar el cáncer, leer imágenes médicas o sugerir una medicación adecuada suelen tener mala fama por ser incapaces de explicarse: Cuando se les pregunta, sólo ofrecen una caja negra sobre cómo logran su éxito. Por ello, algunos médicos se preguntan si se debe confiar en estas herramientas de IA.

Pero los modelos de IA no necesitan ser interpretables para ser útiles, dice Nigam Shah, profesor de medicina (informática biomédica) y de ciencia de los datos biomédicos en la Universidad de Stanford y miembro de la facultad afiliada al Instituto de Inteligencia Artificial Centrada en el Ser Humano de Stanford. Esto es especialmente cierto en medicina, dice, donde los médicos ofrecen habitualmente tratamientos sin saber cómo o por qué funcionan.

«De los 4.900 medicamentos que se prescriben de forma rutinaria, no sabemos del todo cómo funcionan realmente la mayoría de ellos», dice Shah. «Pero seguimos utilizándolos porque nos hemos convencido a través de ensayos aleatorios de control de que son beneficiosos».

Lo mismo puede ocurrir con los modelos de IA. «Una prueba juiciosa debería ser suficiente», dice Shah. Si un modelo de IA produce predicciones precisas que ayudan a los médicos a tratar mejor a sus pacientes, entonces puede ser útil incluso sin una explicación detallada de cómo o por qué funciona.

Es como el informe del tiempo, dice Shah. «¿Acaso a usted, como usuario, le importa cómo se predice el tiempo y cuál es la explicación causal, siempre y cuando sepa con un día de antelación si va a llover y el pronóstico es correcto?»

Eso no quiere decir que la interpretabilidad de la IA no sea valiosa. De hecho, en contextos en los que los modelos de IA se utilizan de forma automatizada para denegar a las personas entrevistas de trabajo, fianzas, préstamos, programas de atención sanitaria o vivienda, Shah afirma que las leyes y reglamentos deberían exigir absolutamente una explicación causal de estas decisiones para garantizar que sean justas. 

Pero en la atención sanitaria, donde los modelos de IA rara vez conducen a esa toma de decisiones automatizada, una explicación puede o no ser útil, dice Shah. «Es esencial que los desarrolladores de modelos tengan claro por qué se necesita una explicación y qué tipo de explicación es útil para una situación determinada».

Analizar la interpretabilidad

Shah identifica tres tipos principales de interpretabilidad de la IA: La versión de explicabilidad de los ingenieros, que se orienta a cómo funciona un modelo; la explicabilidad causal, que se refiere a por qué la entrada del modelo produjo el resultado del mismo; y la explicabilidad que induce a la confianza, que proporciona la información que la gente necesita para confiar en un modelo y desplegarlo con seguridad.  

Cuando los investigadores o los clínicos hablan de interpretabilidad, dice, «tenemos que saber a cuál de ellas aspiramos».

Diagrama de Venn de los tres tipos de explicabilidad

Algunas explicaciones pueden encontrarse en la intersección de los tres tipos (véase el diagrama). Un ejemplo es la ecuación de riesgo de enfermedad cardiovascular aterosclerótica (ASCVD), que se basa en nueve datos principales (edad, sexo, raza, colesterol total, colesterol LDL/HDL, presión arterial, historial de tabaquismo, estado diabético y uso de medicamentos antihipertensivos) para calcular el riesgo de un paciente de sufrir un infarto o un ictus en 10 años. La explicación de los ingenieros sobre cómo la calculadora de riesgo de ASCVD produce una predicción es sencilla: «Todo lo que ocurre dentro de este algoritmo es una multiplicación y una suma», dice Shah. Y la explicación causal de la puntuación de riesgo de ASCVD también es sencilla, porque los niveles de colesterol y la presión arterial están relacionados causalmente con el riesgo de infarto. Por último, la ecuación de riesgo de ASCVD es fiable y útil en el ámbito clínico porque la estimación del riesgo y la explicación causal también apuntan a una acción que el médico puede llevar a cabo, por ejemplo, prescribir medicamentos para reducir el colesterol.

¿Deberían ser explicables los modelos de IA? Eso depende

Los sistemas de inteligencia artificial que pueden diagnosticar cáncer, leer imágenes médicas o sugerir un medicamento apropiado a menudo reciben una mala reputación por no poder explicarse: cuando se les investiga, solo ofrecen una caja negra sobre cómo lograr su éxito. Como resultado, algunos médicos se preguntan si se debe confiar en estas herramientas de IA.

Pero los modelos de IA no necesitan ser interpretables para ser útiles, dice Nigam Shah, profesor de medicina (informática biomédica) y de ciencia de datos biomédicos en la Universidad de Stanford y miembro de la facultad afiliado del Instituto de Stanford para la Inteligencia Artificial Centrada en el Humano. Eso es especialmente cierto en la medicina, dice, donde los médicos ofrecen tratamientos rutinariamente sin saber cómo o por qué funcionan.

“De los 4.900 medicamentos recetados de forma rutinaria, no sabemos completamente cómo funcionan realmente la mayoría de ellos”, dice Shah. «Pero todavía los usamos porque nos hemos convencido a través de ensayos controlados aleatorios de que son beneficiosos».

Lo mismo puede ocurrir con los modelos de IA. «Las pruebas juiciosas deberían ser suficientes», dice Shah. Si un modelo de IA produce predicciones precisas que ayudan a los médicos a tratar mejor a sus pacientes, entonces puede ser útil incluso sin una explicación detallada de cómo o por qué funciona.

Es como el informe meteorológico, dice Shah. «¿A usted, como usuario, le importa cómo se predice el clima y cuál es la explicación causal, siempre que sepa con un día de anticipación si va a llover y el pronóstico es correcto?»

Eso no quiere decir que la interpretación de la IA no sea valiosa. De hecho, en contextos donde los modelos de inteligencia artificial se utilizan de manera automatizada para negar a las personas entrevistas de trabajo, fianzas, préstamos, programas de atención médica o vivienda, Shah dice que las leyes y regulaciones deberían requerir absolutamente una explicación causal de estas decisiones para garantizar que sean justas.

Pero en el cuidado de la salud, donde los modelos de IA rara vez conducen a una toma de decisiones tan automatizada, una explicación puede ser útil o no, dice Shah. «Es esencial que los desarrolladores de modelos tengan claro por qué se necesita una explicación y qué tipo de explicación es útil para una situación determinada».

Analizar la interpretabilidad

Shah identifica tres tipos principales de interpretabilidad de la IA: la versión de explicabilidad de los ingenieros, que está orientada a cómo funciona un modelo; explicabilidad causal, que se relaciona con por qué la entrada del modelo produjo la salida del modelo; y explicabilidad que induce a la confianza que proporciona la información que las personas necesitan para confiar en un modelo e implementarlo con seguridad.

Cuando los investigadores o los médicos hablan de interpretabilidad, dice: «Necesitamos saber a cuál de ellos aspiramos».

Diagrama de Venn de tres tipos de explicabilidad

Algunas explicaciones pueden encontrarse en la intersección de los tres tipos (ver diagrama). Un ejemplo es la ecuación de riesgo de enfermedad cardiovascular aterosclerótica comúnmente utilizada (ASCVD), que se basa en nueve puntos de datos primarios (que incluyen edad, sexo, raza, colesterol total, colesterol LDL / HDL, presión arterial, historial de tabaquismo, estado diabético y consumo de alcohol). de medicamentos antihipertensivos) para calcular el riesgo de un paciente a 10 años de sufrir un ataque cardíaco o un derrame cerebral. La explicación de los ingenieros de cómo la calculadora de riesgo ASCVD produce una predicción es simple: «Todo lo que está sucediendo dentro de este algoritmo es la multiplicación y la suma», dice Shah. Y la explicación causal del puntaje de riesgo ASCVD también es sencilla, porque los niveles de colesterol y la presión arterial están relacionados causalmente con el riesgo de ataque cardíaco. Finalmente, la ecuación de riesgo de ASCVD es confiable y útil en entornos clínicos porque la estimación del riesgo y la explicación causal también apuntan a una acción que el médico puede tomar, por ejemplo, prescribir medicamentos para reducir el colesterol.

Explicaciones locales a través de la necesidad y la suficiencia:Unificando teoría y práctica

La necesidad y la suficiencia son los componentes básicos

de todas las explicaciones acertadas. Sin embargo, a pesar de su

importancia, estas nociones han sido conceptualmente subdesarrolladas y aplicadas de manera inconsistente

en inteligencia artificial explicable (XAI), un área de investigación en rápido crecimiento que hasta ahora carece de

bases teóricas firmes. Construyendo sobre el trabajo en

lógica, probabilidad y causalidad, establecemos la

papel central de la necesidad y la suficiencia en XAI,

unificando métodos aparentemente dispares en un solo

marco formal. Ofrecemos un algoritmo sólido y completo para calcular factores explicativos.

con respecto a un contexto dado, y demostrar

su flexibilidad y desempeño competitivo contra

alternativas de vanguardia en diversas tareas.

El aprendizaje profundo no tiene por qué ser una caja negra

https://jpt.spe.org/deep-learning-doesnt-need-to-be-a-black-box

https://arxiv.org/abs/2002.01650

La percepción cultural de la IA a menudo es sospechosa debido a los desafíos de saber por qué una red neuronal profunda hace sus predicciones. Entonces, los investigadores intentan abrir esta caja negra después de que una red está capacitada para correlacionar los resultados con las entradas. Pero, ¿qué pasaría si el objetivo de la explicabilidad se pudiera diseñar en la arquitectura de la red, antes de que se entrene el modelo y sin reducir su poder predictivo? Quizás la caja podría permanecer abierta desde el principio.

La (in) credibilidad de los modelos algorítmicos para los no expertos

https://www.academia.edu/43177641/The_in_credibility_of_algorithmic_models_to_non_experts?email_work_card=title

El rápido desarrollo y difusión del análisis de datos.
técnicas permiten la creación de algoritmos cada vez más intrincados
modelos. Tales modelos son simultáneamente el vehículo y el resultado
de las prácticas de cuantificación y encarnan una cosmovisión con
normas y valores asociados. Se requiere un conjunto de habilidades especializadas para
crear, utilizar o interpretar modelos algorítmicos. La mecánica de un
El modelo algorítmico puede ser difícil de comprender para los expertos y
puede ser prácticamente incomprensible para los no expertos. Esto es de
consecuencia porque tal boxeo negro puede introducir poder
asimetrías y pueden ocultar sesgos. Este documento explora el
prácticas a través de las cuales expertos y no expertos determinan la
credibilidad de los modelos algorítmicos. Concluye que (1) transparencia
para (no) expertos es, en el mejor de los casos, problemático y, en el peor, inalcanzable;
(2) los modelos autorizados pueden llegar a dictar qué tipos de políticas
se consideran factibles; (3) varias de las ventajas atribuidas a
el uso de cuantificaciones no se sostiene en contextos de formulación de políticas.

Crea tu sitio web con WordPress.com
Comenzar