El ETSI publica especificaciones que impulsan la automatización fiable de las redes y los servicios de extremo a extremo

https://www.etsi.org/newsroom/press-releases/1968-2021-09-etsi-releases-specifications-boosting-trustful-end-to-end-network-and-service-automation?jjj=1631558313533

El ETSI se complace en anunciar la publicación de tres importantes especificaciones e informes elaborados por su grupo de gestión de redes y servicios «Zero-touch» (ZSM). ETSI GS ZSM 003, define la gestión de extremo a extremo de la red y el proyecto de arquitectura de orquestación y soluciones, y ETSI GS ZSM 009-1 especifica los habilitadores para la automatización de bucle cerrado. Los aspectos generales de seguridad relacionados con el marco y las soluciones de ZSM, así como las posibles opciones de mitigación, se presentan en el ETSI GR ZSM 010.

El grupo ZSM del ETSI se formó con el objetivo de definir un marco, soluciones y tecnologías básicas operativas de extremo a extremo y preparadas para el futuro que permitieran la automatización sin intervención de las redes y los servicios/rebanadas emergentes y futuros. El objetivo final es permitir el funcionamiento autónomo de la red, dirigido por políticas de alto nivel. Las redes autónomas serán capaces de autogestionarse y autoorganizarse (configuración, curación, aseguramiento, optimización, etc.) sin intervención humana más allá de la transmisión inicial de intenciones.

ETSI GS ZSM 003 define un proyecto de arquitectura y soluciones para la gestión y orquestación sin intervención de la fragmentación de la red de extremo a extremo y entre dominios, apoyando los procesos de cumplimiento y aseguramiento. La fragmentación de la red abarca diferentes dominios tecnológicos, desde el equipo de usuario (UE) hasta la aplicación, pasando por la red de acceso, la red de transporte y la red central. La especificación aprovecha las especificaciones existentes en el sector, las une y ofrece una solución federada. La alineación y el aprovechamiento de las sinergias entre ETSI ZSM, 3GPP, O-RAN, IETF, BBF, TMF, GSMA NEST, etc. es esencial para permitir la entrega de un corte de red de extremo a extremo que pueda satisfacer los requisitos de las industrias verticales y las demandas de los operadores de red.

Anuncio publicitario

La ciencia de la inteligencia artificial y sus críticos

https://www.tandfonline.com/doi/full/10.1080/03080188.2020.1840821

No parece que mucha gente entienda lo que es imitar la inteligencia humana con éxito, es decir, sin tener en cuenta estados internos como las intenciones. El éxito de la imitación implicará la integración en las sociedades humanas. Los profesionales de la IA se han preocupado por reproducir algo que pueda imitar un cerebro humano individual, sin darse cuenta de que si ese cerebro va a imitar la inteligencia humana, también tendrá que imitar el proceso de socialización en la sociedad humana, porque las características cruciales de la inteligencia humana se encuentran en las sociedades humanas. Un ejemplo notable de ello es el lenguaje natural, que cambia continuamente y es enormemente flexible de maneras que no pueden ser predichas o controladas por los individuos. El hablante de lenguaje natural fluido se nutre del lenguaje de la sociedad del mismo modo que un termómetro se nutre del líquido en el que está inmerso. La temperatura que registra el termómetro es una propiedad del líquido, no del termómetro, que cambia cuando el líquido se calienta o se enfría. Del mismo modo, el lenguaje que habla un individuo con fluidez es una propiedad de la sociedad en la que está inmerso, no una propiedad del individuo; como el termómetro, cambia cuando la sociedad cambia. Esto significa que un Test de Turing, basado puramente en el rendimiento lingüístico, puede ser una excelente prueba de inteligencia similar a la humana en una máquina. La naturaleza del lenguaje natural explica algunos de los recientes y sorprendentes éxitos del aprendizaje profundo y explica sus fracasos. También intento explicar por qué la ciencia de la IA es tan pobre a la hora de presentar y probar sus afirmaciones. Su objetivo es convencer al mundo exterior de su éxito en lugar de dedicarse al tipo de autocrítica asidua que realizan las ciencias físicas.

Así se arregla la Ley de Inteligencia Artificial de la UE

Here’s how to fix the EU’s Artificial Intelligence Act

Si quieres regular algo, tienes que definirlo adecuadamente; si no, estás creando lagunas problemáticas. Desgraciadamente, las definiciones de reconocimiento de emociones (artículo 3.34) y categorización biométrica (artículo 3.35) del actual proyecto de Ley de Inteligencia Artificial de la UE son técnicamente erróneas.

Ambas definiciones se limitan a las aplicaciones de la IA que utilizan datos biométricos, que se definen en el artículo 3(33) en consonancia con su definición en el Reglamento General de Protección de Datos como datos relativos «a las características físicas, fisiológicas o de comportamiento de una persona física, que permiten o confirman la identificación única de dicha persona física.» La pregunta clave aquí es: ¿todos los datos fisiológicos permiten una identificación única?

Vehículos autónomos, robots sociales y mitigación del riesgoRiesgo: hacia un nuevo enfoque consecuencialista de la seguridad de la IA

Haz clic para acceder a Autonomous-Vehicles-Social-Robots-Consequentialism.pdf

En este artículo, argumentaré, sobre bases consecuencialistas, que la principal preocupación ética

que debería informar y guiar tanto el diseño de los sistemas de IA como la regulación de la sociedad

de la sociedad sobre el tratamiento de los robots sociales es la mitigación del riesgo. Demostraré que el consecuencialismo tradicional

que el consecuencialismo tradicional no puede servir de guía adecuada para la toma de decisiones en estos

de decisiones en estos dos proyectos porque está mal equipado para tratar con escenarios de decisión en los que hay un alto nivel de incertidumbre sobre los posibles resultados.

de incertidumbre sobre los posibles resultados de una o más de las acciones

de las acciones disponibles para el agente, pero en los que hay un alto nivel de certeza de que al menos uno de los

de los posibles resultados implicaría un daño grave.

A estos escenarios de decisión los llamo escenarios de riesgo grave inescrutables. Argumentaré que las situaciones de decisión

de decisión en el diseño de la IA ética y la regulación de los robots sociales son tales

escenarios. Por último, argumentaré que una versión convenientemente modificada del consecuencialismo tradicional, a la que llamo

una versión adecuadamente modificada del consecuencialismo tradicional, a la que llamo consecuencialismo del riesgo, está mejor equipada para tratar estos casos.

de estos casos. Los consecuencialistas del riesgo, cuando se enfrentan a escenarios de riesgo graves e inescrutables

deberían tratar de minimizar el riesgo de que se produzcan los resultados que saben que

causarían un daño grave

Pasar del compromiso al contenido en la IA y la ética de los datos: Justicia y explicabilidad

https://www.atlanticcouncil.org/in-depth-research-reports/report/specifying-normative-content/Los investigadores, las empresas, los responsables políticos y el público en general son conscientes de que el uso de la inteligencia artificial (IA) y de los macrodatos plantea problemas de justicia, privacidad, autonomía, transparencia y responsabilidad. Se espera que las organizaciones aborden cada vez más estas y otras cuestiones éticas. En respuesta, muchas empresas, organizaciones no gubernamentales y entidades gubernamentales han adoptado marcos y principios de ética de la IA o de los datos con el fin de demostrar el compromiso de abordar los retos que plantea la IA y, sobre todo, orientar los esfuerzos de las organizaciones para desarrollar e implementar la IA de forma social y éticamente responsable.
Sin embargo, articular los valores, los conceptos éticos y los principios generales es sólo el primer paso -y en muchos sentidos el más fácil- para abordar los retos de la IA y la ética de los datos. El trabajo más difícil es pasar de los valores, los conceptos y los principios a compromisos sustantivos y prácticos que orienten la acción y sean medibles. Sin esto, la adopción de compromisos y principios amplios equivale a poco más que tópicos y «lavado de ética». El desarrollo y el uso éticamente problemático de la IA y los macrodatos continuará, y los responsables políticos, los empleados, los consumidores, los clientes y el público considerarán que la industria no cumple con sus propios compromisos.
El siguiente paso para pasar de los principios generales a los impactos es articular de forma clara y concreta lo que la justicia, la privacidad, la autonomía, la transparencia y la explicabilidad implican y requieren realmente en contextos particulares. Los principales objetivos de este informe son
Demostrar la importancia y la complejidad de pasar de los conceptos y principios éticos generales al contenido sustantivo que orienta la acción;proporcionar un análisis detallado de dos conceptos éticos fundamentales e interconectados, la justicia y la transparencia; eindicar estrategias para pasar de los conceptos y principios éticos generales a contenidos sustantivos más específicos y, en última instancia, a la puesta en práctica de dichos conceptos.
*** Translated with http://www.DeepL.com/Translator (free version) ***

Reconocimiento

Ver en Medium.com

En los últimos cinco años, el reconocimiento facial se ha convertido en un campo de batalla para el futuro de la Inteligencia Artificial (IA). Esta controvertida tecnología encierra los temores del público sobre la vigilancia ineludible, el sesgo algorítmico y la IA distópica. Ciudades de todo Estados Unidos han prohibido el uso del reconocimiento facial por parte de organismos gubernamentales y destacadas empresas han anunciado moratorias en el desarrollo de esta tecnología.

Pero, ¿qué significa ser reconocido? Numerosos autores han esbozado las implicaciones sociales, políticas y éticas de la tecnología de reconocimiento facial.¹ ² ³ Estas importantes críticas ponen de relieve las consecuencias de las identificaciones falsas positivas, que ya han dado lugar a detenciones injustas de hombres negros,⁴ así como los efectos del reconocimiento facial en la privacidad, las libertades civiles y la libertad de reunión. En este ensayo, sin embargo, examino cómo la tecnología del reconocimiento facial está entrelazada con otros tipos de reconocimiento social y político, y destaco cómo los esfuerzos de los tecnólogos por «diversificar» y «debias» el reconocimiento facial pueden en realidad exacerbar los efectos discriminatorios que pretenden resolver. En el ámbito de la visión por ordenador, el problema del reconocimiento facial sesgado se ha interpretado como un llamamiento a la construcción de conjuntos de datos y modelos más inclusivos. Yo sostengo que, por el contrario, los investigadores deberían interrogarse críticamente sobre lo que no puede o no debe ser reconocido por la visión por ordenador.

El reconocimiento es uno de los problemas más antiguos de la visión por ordenador. Para los investigadores de este campo, el reconocimiento es una cuestión de detección y clasificación. O, como dice un libro de texto, «el problema del reconocimiento de objetos puede definirse como un problema de etiquetado basado en modelos de objetos conocidos»⁵.

Cuando el reconocimiento se aplica a las personas, se trata de utilizar los atributos visuales para determinar qué tipo de persona aparece en una imagen. Esta es la base del reconocimiento facial (FR), que intenta relacionar a una persona con una imagen de su rostro previamente capturada, y del análisis facial (FA), que pretende reconocer atributos como la raza,⁶ el sexo,⁷ la sexualidad,⁹ o las emociones¹⁰ a partir de una imagen de un rostro.

Los recientes avances en la investigación de la IA y el aprendizaje automático (ML) (por ejemplo, las redes neuronales convolucionales y el aprendizaje profundo) han producido enormes ganancias en el rendimiento técnico de los modelos de reconocimiento facial y análisis facial.¹¹ Estas mejoras en el rendimiento han dado paso a una nueva era de reconocimiento facial y a su aplicación generalizada en dominios comerciales e institucionales. Sin embargo, las auditorías algorítmicas han revelado preocupantes disparidades de rendimiento cuando las tareas de reconocimiento y análisis facial se realizan en diferentes grupos demográficos,¹² ¹³ con menor precisión para las mujeres de piel más oscura en particular.

En respuesta a estas auditorías, la comunidad de aprendizaje automático Fairness, Accountability, and Transparency (FAT) se ha movilizado para construir conjuntos de datos más grandes y diversos para el entrenamiento y la evaluación de modelos,¹⁴ ¹⁵ ¹⁶ ¹⁷ algunos de los cuales incluyen rostros sintéticos. ¹⁸ ¹⁹ Estos esfuerzos incluyen el raspado de imágenes de Internet sin el conocimiento de las personas representadas en esas fotos, lo que lleva a algunos a señalar cómo estos proyectos violan las normas éticas sobre la privacidad y el consentimiento. Otros intentos de crear conjuntos de datos diversos han sido aún más preocupantes, por ejemplo, cuando los contratistas de Google solicitaron escaneos faciales a indigentes negros de Los Ángeles y Atlanta, que fueron compensados con tarjetas de regalo de 5 dólares de Starbucks.²² Estos esfuerzos nos recuerdan que la inclusión no siempre implica equidad. También plantean la cuestión de si los investigadores deberían recopilar más datos sobre personas que ya están muy vigiladas²³ con el fin de crear herramientas que puedan utilizarse para vigilarlas aún más.²³ Esto se relaciona con lo que Keeanga-Yamahtta Taylor ha denominado inclusión depredadora, que se refiere a cuando los llamados programas inclusivos crean más daños que beneficios para las personas marginadas, especialmente las comunidades negras.²⁵ ²⁶

Otros trabajos de la comunidad de la equidad, la responsabilidad y la transparencia han intentado resolver el problema del reconocimiento facial sesgado y los conjuntos de datos desequilibrados mediante el diseño de nuevas estrategias de muestreo de datos que sobremuestren a los grupos demográficos minoritarios o submuestren a la mayoría. ²⁷ ²⁸ Otro enfoque ha sido la creación de sistemas «conscientes de los prejuicios» que aprenden atributos como la raza y el sexo para mejorar el rendimiento del modelo.²⁹ ³⁰ ³¹ Estos sistemas comienzan extrayendo características demográficas de una imagen, que luego se utilizan como pistas explícitas para la tarea de reconocimiento facial. En pocas palabras: primero intentan detectar la raza y/o el sexo de una persona y luego utilizan esa información para que el reconocimiento facial funcione mejor. Sin embargo, ninguno de estos métodos cuestiona la premisa subyacente de que categorías sociales como la raza, el género y la sexualidad son atributos fijos que pueden reconocerse basándose únicamente en indicios visuales, o que por qué es necesario el reconocimiento automatizado de estos atributos en nuestra sociedad.

*** Translated with http://www.DeepL.com/Translator (free version) ***

Para crear la AGI, necesitamos una nueva teoría de la inteligencia

https://bdtechtalks.com/2021/08/05/artificial-intelligence-considered-response/amp/

Durante décadas, los científicos han intentado crear imitaciones computacionales del cerebro. Y durante décadas, el santo grial de la inteligencia general artificial, ordenadores que puedan pensar y actuar como los humanos, ha seguido eludiendo a científicos e investigadores.

¿Por qué seguimos replicando algunos aspectos de la inteligencia pero no conseguimos generar sistemas que puedan generalizar sus habilidades como los humanos y los animales? Un informático que lleva tres décadas trabajando en la IA cree que, para superar los obstáculos de la IA estrecha, debemos considerar la inteligencia desde una perspectiva diferente y más fundamental.

En un artículo presentado en el congreso Brain-Inspired Cognitive Architectures for Artificial Intelligence (BICA*AI), Sathyanaraya Raghavachary, profesor asociado de informática de la Universidad del Sur de California, habla de la «respuesta considerada», una teoría que puede generalizarse a todas las formas de vida inteligente que han evolucionado y prosperado en nuestro planeta.

Bajo el título «La inteligencia: ¡considera esto y responde!», el artículo arroja luz sobre las posibles causas de los problemas que han perseguido a la comunidad de la IA durante décadas y extrae importantes conclusiones, entre ellas la consideración de la corporeidad como requisito previo para la AGI.

Estructuras y fenómenos

«Las estructuras, desde el nivel microscópico hasta el humano y el cósmico, orgánicas e inorgánicas, exhiben (‘responden con’) fenómenos a causa de sus disposiciones espaciales y temporales, bajo condiciones externas a las estructuras», escribe Raghavachary en su artículo.

Se trata de una regla general que se aplica a todo tipo de fenómenos que vemos en el mundo, desde las moléculas de hielo que se vuelven líquidas en respuesta al calor, hasta las dunas de arena que se forman en respuesta al viento, pasando por la disposición del sistema solar.

Raghavachary llama a esto «esfenómica», un término que acuñó para diferenciarlo de la fenomenología, la fenomenalidad y el fenomenalismo.

«Todo en el universo, a cualquier escala, desde la subatómica hasta la galáctica, puede verse como estructuras físicas que dan lugar a fenómenos apropiados, es decir, S->P», dijo Raghavachary a TechTalks.

Raghavachary cree que las estructuras biológicas pueden considerarse del mismo modo. En su artículo, señala que el mundo natural comprende una variedad de organismos que responden a su entorno. Estas respuestas pueden verse en cosas sencillas como los mecanismos de supervivencia de las bacterias, así como en fenómenos más complejos como el comportamiento colectivo que muestran las abejas, las hormigas y los peces, así como la inteligencia de los seres humanos.

«Visto así, los procesos vitales, de los que considero la inteligencia biológica -y, en su caso, incluso la conciencia- se producen únicamente como resultado de estructuras físicas subyacentes», dijo Raghavachary. «La vida que interactúa con el entorno (que incluye otra vida, grupos…) también se produce como resultado de estructuras (por ejemplo, cerebros, colmillos de serpiente, polen pegajoso…) que exhiben fenómenos. Los fenómenos son las respuestas de las estructuras».

La inteligencia como respuesta considerada

banco de peces

En los objetos inanimados, las estructuras y los fenómenos no han evolucionado ni se han diseñado explícitamente para apoyar procesos que llamaríamos «vida» (por ejemplo, una cueva que produce ruidos de aullidos cuando pasa el viento). Por el contrario, los procesos vitales se basan en estructuras que consideran y producen fenómenos de respuesta.

*** Translated with http://www.DeepL.com/Translator (free version) ***

El dilema social en el desarrollo de la IA y por qué debemos tenemos que resolverlo

Haz clic para acceder a 2107.12977.pdf

Mientras aumenta la demanda de sistemas éticos de inteligencia artificial (IA), se acelera el número de usos no éticos de la IA, aunque no hay

de directrices éticas. Sostenemos que una de las principales causas subyacentes es

que los desarrolladores de IA se enfrentan a un dilema social en la ética del desarrollo de la IA, lo que impide la

la adaptación generalizada de las mejores prácticas éticas. Definimos el dilema social para

definimos el dilema social del desarrollo de la IA y describimos por qué la crisis actual de la ética del desarrollo de la IA no puede resolverse sin liberar a los desarrolladores de la IA de su dilema social. Argumentamos

que el desarrollo de la IA debe profesionalizarse para superar el dilema social, y

discutimos cómo la medicina puede servir de modelo en este proceso.

El futuro del trabajo: más allá del bossware y de los robots asesinos de empleos

https://hai.stanford.edu/news/future-work-beyond-bossware-and-job-killing-robots

La conversación pública sobre el impacto de la IA en el mercado laboral suele girar en torno a la posibilidad de que las máquinas, cada vez más inteligentes, desplacen o destruyan puestos de trabajo. La expresión económica que se utiliza para referirse a este fenómeno es «desempleo tecnológico». Se presta menos atención a otro problema importante: la deshumanización de la mano de obra por parte de las empresas que utilizan lo que se conoce como «bossware», es decir, plataformas digitales basadas en IA o programas de software que controlan el rendimiento de los empleados y el tiempo que dedican a sus tareas.

Para disuadir a las empresas tanto de la sustitución de puestos de trabajo por máquinas como del despliegue de bossware para supervisar y controlar a los trabajadores, tenemos que cambiar los incentivos en juego, dice Rob Reich, profesor de ciencias políticas en la Facultad de Humanidades y Ciencias de Stanford, director del Centro de la Familia McCoy para la Ética en la Sociedad y director asociado del Instituto de Stanford para la Inteligencia Artificial Centrada en el Ser Humano (HAI).

«Se trata de dirigirnos hacia un futuro en el que la automatización aumente nuestra vida laboral en lugar de sustituir a los seres humanos o transformar el lugar de trabajo en un panóptico de vigilancia», afirma Reich. Reich compartió recientemente sus ideas sobre estos temas en respuesta a un foro en línea de Boston Review organizado por Daron Acemoglu del MIT.

Para promover la automatización que queremos y desalentar la que no deseamos, Reich afirma que tenemos que aumentar la concienciación sobre el bossware, incluir a los trabajadores afectados en el ciclo de vida del desarrollo de productos y garantizar que el diseño de los productos refleje una gama más amplia de valores más allá del deseo comercial de aumentar la eficiencia. Además, debemos ofrecer incentivos económicos para apoyar la mano de obra en lugar del capital e impulsar la inversión federal en la investigación de la IA en las universidades para ayudar a frenar la fuga de cerebros hacia la industria, donde el afán de lucro suele tener consecuencias negativas como el desplazamiento de puestos de trabajo.

«Depende de nosotros crear un mundo en el que la recompensa económica y la estima social recaigan en las empresas que aumentan el trabajo humano en lugar de desplazarlo», afirma Reich. 

Aumentar la concienciación sobre el bossware

Desde las cámaras que rastrean automáticamente la atención de los empleados hasta los programas informáticos que controlan si los empleados no realizan sus tareas, el bossware suele estar instalado antes de que los empleados sean conscientes de ello. Y la pandemia ha empeorado, ya que nos hemos adaptado rápidamente a las herramientas remotas que llevan incorporadas funciones de bossware, sin haber deliberado sobre si queríamos esas funciones en primer lugar, dice Reich.

«La primera clave para abordar el problema del bossware es la concienciación», afirma Reich. «La introducción del bossware debe verse como algo que se hace a través de una práctica consensuada, en lugar de hacerlo sólo a discreción del empleador».

Más allá de la concienciación, los investigadores y los responsables políticos deben conocer las formas en que los empresarios utilizan el bossware para trasladar algunos de sus riesgos empresariales a sus empleados. Por ejemplo, los empleadores han asumido históricamente el riesgo de ineficiencias, como pagar al personal durante los turnos en los que hay pocos clientes. Al utilizar prácticas de programación automatizadas basadas en la IA que asignan los turnos de trabajo en función de la demanda, los empresarios ahorran dinero, pero esencialmente trasladan su riesgo a los trabajadores, que ya no pueden esperar un horario predecible o fiable.

A Reich también le preocupa que el bossware amenace la privacidad y pueda socavar la dignidad humana. «¿Queremos tener un lugar de trabajo en el que los empleadores sepan exactamente cuánto tiempo dejamos nuestros escritorios para ir al baño, o una experiencia de trabajo en la que el envío de un correo electrónico personal en tu ordenador de trabajo se registre y se deduzca de tu salario por hora, o en la que tus evaluaciones de rendimiento dependan de tu tiempo máximo en la tarea sin ningún sentido de confianza o colaboración? «Llega al corazón de lo que significa ser un ser humano en un entorno de trabajo».

*** Translated with http://www.DeepL.com/Translator (free version) ***

La UE regula la IA pero se olvida de proteger nuestra mente

https://europeanlawblog.eu/2021/07/07/the-eu-regulates-ai-but-forgets-to-protect-our-mind/

Tras la publicación de la propuesta de la Comisión Europea de un Reglamento sobre Inteligencia Artificial (Ley de IA, en adelante: AIA), en abril de 2021, varios comentaristas han planteado preocupaciones o dudas sobre dicho proyecto. En particular, el 21 de junio, la Junta Europea de Protección de Datos (JEPD) y el Supervisor Europeo de Protección de Datos (SEPD) publicaron un dictamen conjunto sobre la Ley de Inteligencia Artificial, en el que sugerían numerosos cambios en la propuesta de la Comisión Europea.

Consideramos que la AIA es uno de los intentos más avanzados y completos de regular la IA en el mundo. Sin embargo, coincidimos con la JEPD y el SEPD en que la AIA, en su versión actual, presenta varias deficiencias. Identificamos tres áreas principales en las que es necesario introducir modificaciones: (i) la regulación del reconocimiento de emociones, (ii) la regulación de los sistemas de clasificación biométrica y (iii) la protección contra la manipulación comercial. Basándonos en parte en el reflexivo y exhaustivo dictamen conjunto de las autoridades supervisoras europeas, trataremos de argumentar a favor de una mayor atención normativa al nexo entre la inteligencia artificial y la mente humana.

La propuesta de Ley de IA: un enfoque basado en el riesgo

Antes de abordar esta cuestión con más detalle, aclaremos primero el ámbito de aplicación de la Ley de Inteligencia Artificial. La propuesta pretende definir diferentes ámbitos de intervención para los sistemas de IA en función de su nivel de riesgo: a) aplicaciones prohibidas por causar riesgos insoportables para los derechos y libertades fundamentales; b) aplicaciones de alto riesgo, es decir, aplicaciones no prohibidas pero sujetas a condiciones específicas para gestionar los riesgos; c) aplicaciones de riesgo limitado y otras de riesgo insignificante.

La lista de aplicaciones de IA prohibidas incluye las prácticas manipuladoras en línea que producen daños físicos o psicológicos a las personas o explotan su vulnerabilidad por motivos de edad o discapacidad; los marcadores sociales que producen efectos perjudiciales desproporcionados o descontextualizados; y los sistemas de identificación biométrica utilizados por las autoridades policiales en espacios públicos (cuando su uso no es estrictamente necesario o cuando el riesgo de efectos perjudiciales es demasiado alto). Se trata de la primera vez que los reguladores europeos intentan definir una frontera o límite que no debe cruzarse al desplegar la IA en la sociedad.

A diferencia de los sistemas de IA prohibidos, los sistemas de IA clasificados como «de alto riesgo» no están prohibidos por defecto, sino que están sujetos a varias obligaciones de cumplimiento. Estas obligaciones incluyen un plan de gestión de riesgos, una certificación de conformidad, un plan de gestión de datos, una supervisión humana, etc. La lista de sistemas de IA de alto riesgo de la AIA incluye el reconocimiento facial; la IA utilizada en infraestructuras críticas, en contextos educativos, laborales o de emergencia; en contextos de asilo y fronteras; en la asistencia social o para la puntuación de créditos o para fines policiales o judiciales. La Comisión de la UE tiene derecho a actualizar esta lista en función de la gravedad y la probabilidad de impacto de los sistemas de IA actuales y futuros sobre los derechos fundamentales. 

Por último, una tercera categoría de sistemas de IA se considera de «riesgo limitado». Esta categoría incluye aplicaciones de IA moralmente cuestionables, como los algoritmos de IA que producen deepfakes (vídeos o fotos falsas de gran realismo), así como sistemas de reconocimiento de emociones y categorización biométrica. El uso de estos sistemas fuera del ámbito de la aplicación de la ley no implicaría automáticamente ninguna obligación de cumplimiento específica, sino solo obligaciones de transparencia relativamente vagas: es decir, una mera notificación a los consumidores/ciudadanos de que existe un sistema de IA. Cabe destacar que el nivel de riesgo de un sistema de IA parece ser una conjunción del tipo de sistema de IA, su ámbito de aplicación y su objetivo humano. Esto implica que si un sistema de IA con riesgos limitados se utiliza para prácticas que entran en la lista de riesgos insoportables, entonces estaría prohibido. Por ejemplo, si la IA se utiliza para detectar las emociones de los niños y así manipularlos, entonces estaría prohibida. De forma análoga, si estas aplicaciones de IA de riesgo limitado se utilizan en contextos sensibles que entran en la lista de riesgo alto, entonces se les exigiría que mantuvieran estrictas obligaciones de cumplimiento. Este es el caso, por ejemplo, si los sistemas de IA se utilizan para elaborar perfiles de presuntos delincuentes, trabajadores o estudiantes. 

*** Translated with http://www.DeepL.com/Translator (free version) ***