Los organismos de defensa de todo el mundo consideran que la inteligencia artificial (IA) es una tecnología clave para mantener una ventaja sobre los adversarios. Por ello, los esfuerzos para desarrollar o adquirir capacidades de IA para la defensa están creciendo a escala mundial. Lamentablemente, no se han realizado esfuerzos para definir marcos éticos que guíen el uso de la IA en el ámbito de la defensa. Este artículo ofrece uno de esos marcos. Identifica cinco principios -usos justificados y anulables, sistemas y procesos justos y transparentes, responsabilidad moral del ser humano, control humano significativo y sistemas de IA fiables- y recomendaciones relacionadas para fomentar usos éticamente sólidos de la IA con fines de defensa nacional.
Los robots ya no son ficticios como solían ser hace años. Los avances tecnológicos y los desarrollos en el desarrollo de la inteligencia artificial (IA) han permitido la innovación de robots que llevan a cabo diversas funciones. Entre ellas se encuentran las innovaciones robóticas destinadas a reemplazar a los soldados en los campos de batalla. Algunos estudiosos han argumentado que estos robots son más éticos y clínicos que los soldados humanos. Otros han argumentado que debería prohibirse el creciente nivel de autonomía en estos robots que conduce a la innovación de armas totalmente autónomas. Argumentan que la capacidad de estas armas para diferenciar entre civiles y combatientes y, por lo tanto, puede causar la muerte innecesaria de civiles. Este artículo analiza lo difícil que es que el algoritmo aplique el derecho de la guerra (derecho internacional humanitario) al analizar cómo los robots asesinos (también conocidos como sistema autónomo de armas) no pueden cumplir con los principios básicos del derecho de la guerra como la distinción, la proporcionalidad y la precaución. Estos principios exigen decisiones no cuantificables que necesitan personajes similares a los humanos que los robots asesinos no poseen. El documento también argumenta cómo el derecho humanitario acepta la responsabilidad de una agencia humana, lo que dificulta determinar la responsabilidad en casos que involucran robots asesinos. La metodología de investigación cualitativa se ha aplicado al siguiente artículo.
El 1 de marzo, la Comisión de Seguridad Nacional en Inteligencia Artificial (NSCAI) dio a conocer su Informe Final y Recomendaciones al Presidente y al Congreso. Si bien el Informe es el resultado de un período prolongado de discusión y consulta, las recomendaciones de la Comisión se basan en una serie de supuestos no examinados y muy cuestionables.
1. La seguridad nacional proviene de la ventaja militar, que proviene del dominio tecnológico (específicamente la IA).
Los comisionados aconsejan que la adopción acelerada de sistemas de armas habilitados por IA es necesaria para mantener la ventaja militar de Estados Unidos. Prometen que la IA puede permitir el logro de un sistema de mando y control interoperable y totalmente integrado. Para la comunidad de inteligencia, el comisionado Jason Matheny afirma: «Los responsables de la toma de decisiones deberían poder acceder a un panel en tiempo real de las amenazas en el mundo con pronósticos en tiempo real» (Plenaria pública, 25 de enero de 2021). El pensamiento aquí es condicional y deseoso.
Captura de pantalla de la grabación de la reunión pública de la Comisión de Seguridad Nacional sobre Inteligencia Artificial (NSCAI)
2. La NSCAI es un organismo «independiente», sin conflictos de intereses.
Los miembros de NSCAI incluyen directores ejecutivos actuales y anteriores y otros altos directivos de (grandes) empresas de tecnología (Amazon, Google, In-Q-Tel, Microsoft, Oracle), miembros actuales y anteriores de las agencias de Defensa e Inteligencia y miembros senior de universidades con fondos extensos del DoD (Caltech, CMU). Es de suponer que han sido nominados para servir basándose en que tienen la experiencia pertinente, pero sin reconocer sus intereses creados en una mayor financiación para la investigación y el desarrollo de la IA. Esto a pesar de la declaración del presidente Eric Schmidt en el Plenario de NSCAI del 25 de enero de 2021 de que «Terminamos con un equipo representativo de Estados Unidos».
3. La IA es un campo coherente y novedoso de desarrollo tecnológico.
La primera oración del Informe final de NSCAI dice: «Las tecnologías de inteligencia artificial (IA) prometen ser las herramientas más poderosas en generaciones para expandir el conocimiento, aumentar la prosperidad y enriquecer la experiencia humana». Más basada en la fe que demostrable, esta declaración también desmiente los caprichos de lo que es la IA. Si bien los tecnólogos entienden la «IA» como una abreviatura conveniente (y altamente vendible) para un conjunto de técnicas y tecnologías basadas en estadísticas para automatizar el análisis de datos, el término implica falsamente algo singular y sin precedentes.
4. Estados Unidos se encuentra en una carrera armamentista ineludible con China.
Las recomendaciones del Informe apuntan a dominar lo que los Comisionados postulan como una competencia global entre las dos «superpotencias de IA» del mundo, Estados Unidos y China. En la Introducción al Informe, la Comisión declara que “los estadounidenses deben reconocer el papel asertivo que el gobierno tendrá que desempeñar para asegurar que Estados Unidos gane esta competencia de innovación. El Congreso y el Presidente deberán apoyar la escala de recursos públicos necesarios para lograrlo ”. No se reconoce que la propia NSCAI ayude a crear esta carrera armamentista al tomarla como una premisa incuestionable (por no mencionar el interés propio) de su trabajo, o cualquier discusión sobre cómo tal carrera por el dominio podría reducirse.
5. Cualquier amenaza, límite o vulnerabilidad demostrada de las tecnologías de inteligencia artificial existentes es motivo para una mayor inversión.
Junto con la premisa de una carrera armamentista inevitable, esta propuesta descarta cualquier cuestión de decisiones de no perseguir el desarrollo de tecnologías de IA fuera de la mesa. Ya sea que el foco esté en las amenazas o en los límites de las tecnologías existentes, la solución es una mayor inversión. Esta premisa ignora el historial de fallas en la investigación de IA en dominios que requieren interacción en tiempo real con entornos abiertos y cambiantes. Esta historia muestra que no todos los problemas se pueden resolver con más dinero.
6. Los sistemas de armas autónomos son inevitables y su desarrollo redunda en interés de Estados Unidos.
Mientras promueve la incorporación de la IA en los sistemas militares, la Comisión advierte que «la IA comprimirá los plazos de decisión de minutos a segundos, ampliará la escala de los ataques y exigirá respuestas que pondrán a prueba los límites de la cognición humana» (Informe final, p. 25). Se deduce que la solución debe ser sistemas de armas cada vez más autónomos, basados en la «promesa de la IA: que una máquina puede percibir, decidir y actuar más rápidamente, en un entorno más complejo, con más precisión que un humano» (Informe final p. .24). A pesar de la falta de evidencia para sustentar esta promesa, y el continuo debate internacional sobre la legalidad y moralidad de los sistemas de armas autónomos, la Comisión concluye que Estados Unidos debe continuar con su desarrollo. Sobre esta base y a pesar de los crecientes pedidos, la Comisión argumenta que no sería de interés para los Estados Unidos apoyar una prohibición global de los sistemas de armas autónomas letales.
Las conclusiones de la investigación de la NSCAI, en resumen, se ignoran: la dinámica de autorreforzamiento de una carrera armamentista en aumento justifica una inversión masiva de fondos públicos en investigación y desarrollo.
Los eurodiputados subrayan que la dignidad humana y los derechos humanos deben respetarse en todas las actividades de la UE relacionadas con la defensa. Los sistemas habilitados por IA deben permitir que los humanos ejerzan un control significativo, para que puedan asumir la responsabilidad y la rendición de cuentas por su uso.
El uso de sistemas de armas autónomas letales (LAWS) plantea cuestiones éticas y legales fundamentales sobre el control humano, dicen los eurodiputados, reiterando su llamado a una estrategia de la UE para prohibirlos, así como la prohibición de los llamados «robots asesinos». La decisión de seleccionar un objetivo y realizar una acción letal utilizando un sistema de armas autónomo siempre debe ser tomada por un ser humano que ejerza un control y juicio significativos, de acuerdo con los principios de proporcionalidad y necesidad.
El texto pide a la UE que asuma un papel de liderazgo en la creación y promoción de un marco global que rija el uso militar de la IA, junto con la ONU y la comunidad internacional.
IA en el sector público
El mayor uso de los sistemas de inteligencia artificial en los servicios públicos, especialmente la atención médica y la justicia, no debería reemplazar el contacto humano ni conducir a la discriminación, afirman los eurodiputados. Siempre se debe informar a las personas si están sujetas a una decisión basada en la inteligencia artificial y se les debe dar la opción de apelarla.
Cuando la IA se utiliza en asuntos de salud pública (por ejemplo, cirugía asistida por robot, prótesis inteligentes, medicina predictiva), los datos personales de los pacientes deben protegerse y el principio de igualdad de trato debe mantenerse. Si bien el uso de tecnologías de inteligencia artificial en el sector de la justicia puede ayudar a acelerar los procedimientos y tomar decisiones más racionales, las decisiones judiciales finales deben ser tomadas por humanos, ser estrictamente verificadas por una persona y estar sujetas al debido proceso.
Vigilancia masiva y deepfakes
Los eurodiputados también advierten sobre las amenazas a los derechos humanos fundamentales y la soberanía estatal derivadas del uso de tecnologías de inteligencia artificial en la vigilancia civil y militar masiva. Piden que se prohíba a las autoridades públicas el uso de “aplicaciones de puntuación social altamente intrusivas” (para monitorear y calificar a los ciudadanos). El informe también plantea preocupaciones sobre las «tecnologías deepfake» que tienen el potencial de «desestabilizar países, difundir desinformación e influir en las elecciones». Los creadores deberían estar obligados a etiquetar ese material como «no original» y deberían realizarse más investigaciones sobre la tecnología para contrarrestar este fenómeno.
Cita
El relator Gilles Lebreton (ID, FR) dijo: “Ante los múltiples desafíos que plantea el desarrollo de la IA, necesitamos respuestas legales. Para preparar la propuesta legislativa de la Comisión sobre este tema, este informe tiene como objetivo poner en marcha un marco que esencialmente recuerda que, en cualquier ámbito, especialmente en el campo militar y en los gestionados por el Estado como la justicia y la salud, AI debe permanecer siempre una herramienta que se utiliza únicamente para ayudar en la toma de decisiones o para ayudar a la hora de actuar. Nunca debe reemplazar o relevar a los humanos de su responsabilidad ”.
El reconocimiento facial ya ha recorrido un largo camino desde que las Fuerzas de Operaciones Especiales de EE. UU. Utilizaron la tecnología para ayudar a identificar a Osama bin Laden después de matar al líder de Al-Qaeda en su escondite paquistaní en 2011. El Laboratorio de Investigación del Ejército de EE. UU. Reveló recientemente un conjunto de datos de rostros diseñados para ayudar Capacitar a la IA para identificar a las personas incluso en la oscuridad: una posible expansión de las capacidades de reconocimiento facial que, según advierten algunos expertos, podría llevar a una mayor vigilancia más allá del campo de batalla.
El conjunto de datos de Cara Visible y Térmica del Laboratorio de Investigación del Ejército contiene 500.000 imágenes de 395 personas. A pesar de su tamaño modesto en lo que respecta a los conjuntos de datos de reconocimiento facial, es uno de los conjuntos de datos más grandes y completos que incluye imágenes coincidentes de rostros de personas tomadas tanto en condiciones normales de luz visible como con cámaras térmicas sensibles al calor en condiciones de poca luz.
“Nuestra motivación para este conjunto de datos fue que queríamos desarrollar una capacidad de reconocimiento facial nocturno y con poca luz para estos entornos de iluminación difíciles o sin restricciones”, dice Matthew Thielke, físico del Laboratorio de Investigación del Ejército en Adelphi, Maryland.
Las aplicaciones de reconocimiento facial para condiciones nocturnas o con poca luz aún no están lo suficientemente maduras para su despliegue, según el equipo del Laboratorio de Investigación del Ejército. Las primeras pruebas de referencia con el conjunto de datos mostraron que los algoritmos de reconocimiento facial tenían problemas para identificar rasgos faciales clave o identificar caras individuales únicas a partir de imágenes de cámara térmica, especialmente cuando los detalles normales visibles en las caras se reducen a patrones de calor en forma de manchas. El conjunto de datos se describe en un documento (PDF) que se presentó durante la Conferencia de invierno de 2021 IEEE sobre aplicaciones de la visión por computadora del 5 al 9 de enero.
Los algoritmos también lucharon con imágenes «fuera de pose» en las que la cara de la persona está inclinada a 20 grados o más del centro. Y tuvieron problemas para hacer coincidir las imágenes de luz visible de rostros individuales con sus contrapartes de imágenes térmicas cuando la persona usaba anteojos en una de las imágenes.
Los avances en la IA se han extendido al uso en aplicaciones de defensa y, con razón, hay muchas preocupaciones éticas que plantea. Si bien hay muchos documentos detallados disponibles que hablan sobre áreas específicas de preocupación en el uso de IA en aplicaciones de guerra, me gustaría brindar aquí una descripción general de esos problemas y hablar sobre algunas ideas básicas que lo ayudarán a discutir y abordar problemas en el espacio de una manera más informada.
Después de que el gobierno holandés se derrumbara por el escándalo de las prestaciones para niños la semana pasada, la cuestión del control humano significativo sobre los sistemas de inteligencia artificial es ahora más urgente que nunca.
El informático y Master en Ética y Tecnología Scott Robbins (1984) escribió su tesis doctoral sobre aprendizaje automático y contraterrorismo. Concluye que las decisiones que requieren una explicación (por qué dispararon a este hombre, por qué almacenan mis datos, por qué me acusan de fraude) no deben delegarse en máquinas impulsadas por IA. Esta idea fundamental sobre el «control humano significativo» va más allá de la guerra contra el terrorismo.
¿Por qué eligió el contraterrorismo como tema de estudio? “Quería un contexto donde el gol sea bueno. La lucha contra el terrorismo es un objetivo indudablemente bueno. No queremos que los terroristas hagan daño a personas inocentes. Entonces, a partir de este buen objetivo, quería intentar comprender en qué condiciones el estado puede usar la inteligencia artificial para lograr ese objetivo de una manera que sea efectiva y ética ”.
Escribe que el uso del aprendizaje automático en la lucha contra el terrorismo está aumentando. ¿Podría darme algunos ejemplos de lo que estamos hablando? “El ejemplo más destacado son los sistemas de armas autónomos en los que los sistemas de armas pueden disparar a un objetivo o disparar automáticamente a lo que el sistema percibe como un enemigo. Mucho de esto se debe a la inteligencia artificial en segundo plano, como el reconocimiento facial. Un ejemplo más benigno que en realidad se emplea de manera bastante extensa es el de las fronteras o los aeropuertos. Si cruza a un nuevo país oa la Unión Europea, es probable que se le someta a un sistema de reconocimiento facial que lo coteja con la base de datos de terroristas conocidos o sospechosos. Parece ser parte de un sistema más amplio de control fronterizo en el que también es posible que desee verificar si su rostro coincide con la foto de su pasaporte, cosas así. Hay un ejemplo interesante en el que se implementa la IA para detectar a alguien que actúa de manera sospechosa. Lleve las cámaras CCTV a un aeropuerto. Tienen de todo, desde detectar a alguien dejando una bolsa, verse nerviosos o holgazanear en un área en la que tal vez no deberían estar parados. Estos sistemas están emitiendo juicios todo el tiempo «.
Las armas y el equipo militares se benefician en gran medida de los avances tecnológicos. Estos avances han permitido a los combatientes atacar objetivos con mayor precisión y desde más lejos, lo que ha significado una mayor seguridad para las fuerzas militares y civiles y una capacidad mejorada para realizar las tareas asignadas. La última tecnología para mejorar la capacidad de los sistemas militares es la autonomía. Los sistemas militares están adquiriendo una mayor capacidad para realizar las tareas asignadas de forma autónoma, y esta capacidad solo mejorará con el tiempo. La autonomía en los sistemas militares permite a los operadores humanos permanecer fuera de peligro y completar tareas que los sistemas tripulados no pueden (o completar estas tareas de manera más eficiente. Si la capacidad autónoma alcanza el potencial que muchos de sus partidarios creen que puede, esto cambiará radicalmente la forma en que Se llevan a cabo operaciones militares. Debido a que estos cambios pueden ser tan significativos y porque permiten que los sistemas realicen tareas sin estar limitados o guiados por una supervisión humana constante, la tecnología autónoma debe ser examinada desde una perspectiva ética. Esto es especialmente necesario porque la capacidad autónoma puede tienen efectos tanto negativos como positivos en la vida humana. Si bien muchos artículos y capítulos se centran exclusivamente en la implicación negativa o positiva de los sistemas autónomos, este capítulo considera ambos y ofrece recomendaciones para hacer avanzar la política de una manera que tenga en cuenta las consideraciones éticas para el desarrollo y uso de sistemas autónomos.
Se dice de manera rutinaria que los sistemas de inteligencia artificial (IA) operan de manera autónoma, exponiendo brechas en los regímenes regulatorios que asumen la centralidad de los actores humanos. Sin embargo, sorprendentemente se presta poca atención a lo que se entiende por «autonomía» y su relación con esas brechas. Los vehículos sin conductor y los sistemas de armas autónomos son los ejemplos más estudiados, pero surgen problemas relacionados en los algoritmos que asignan recursos o determinan la elegibilidad para programas en el sector público o privado. Este artículo desarrolla una novedosa tipología de autonomía que distingue tres desafíos regulatorios discretos que plantean los sistemas de IA: las dificultades prácticas de gestionar el riesgo asociado con las nuevas tecnologías, la moralidad de que ciertas funciones sean asumidas por las máquinas y la brecha de legitimidad cuando las autoridades públicas delegan sus poderes a los algoritmos.
Actualidad Deep Learning 