Las nuevas normas prohíben ciertas aplicaciones de inteligencia artificial que atentan contra los derechos de la ciudadanía, como los sistemas de categorización biométrica basados en características sensibles y la captura indiscriminada de imágenes faciales de internet o grabaciones de cámaras de vigilancia para crear bases de datos de reconocimiento facial.

También se prohibirán el reconocimiento de emociones en el lugar de trabajo y en las escuelas, los sistemas de puntuación ciudadana, la actuación policial predictiva (cuando se base únicamente en el perfil de una persona o en la evaluación de sus características) y la IA que manipule el comportamiento humano o explote las vulnerabilidades de las personas.

El uso de sistemas de identificación biométrica por parte de las fuerzas de seguridad queda prohibido a priori, salvo en situaciones muy concretas y bien definidas. Los sistemas de identificación biométrica «en tiempo real» solo se podrán emplear si se cumplen una serie de salvaguardias estrictas; por ejemplo, su uso se limita a un período y lugar específicos y cuenta con una autorización judicial o administrativa previa. Entre estos casos pueden figurar la búsqueda selectiva de una persona desaparecida o la prevención de un atentado terrorista. Recurrir a estos sistemas a posteriori se considera un uso de alto riesgo, que requiere autorización judicial al estar vinculado a un delito penal.

También se prevén obligaciones claras para otros sistemas de IA de alto riesgo (debido a que pueden ser muy perjudiciales para la salud, la seguridad, los derechos fundamentales, el medio ambiente, la democracia y el Estado de derecho). Algunos ejemplos de usos de alto riesgo de la IA son las infraestructuras críticas, la educación y la formación profesional, el empleo, los servicios públicos y privados esenciales (por ejemplo, la sanidad o la banca), determinados sistemas de las fuerzas de seguridad, la migración y la gestión aduanera, la justicia y los procesos democráticos (como influir en las elecciones). Estos sistemas deben evaluar y reducir los riesgos, mantener registros de uso, ser transparentes y precisos y contar con supervisión humana. Los ciudadanos y ciudadanas tendrán derecho a presentar reclamaciones sobre los sistemas de IA y a recibir explicaciones sobre las decisiones basadas en ellos que afecten a sus derechos.

Requisitos de transparencia

Los sistemas de IA de uso general y los modelos en los que se basan deben cumplir ciertos requisitos de transparencia, respetar la legislación de la UE sobre derechos de autor y publicar resúmenes detallados del contenido usado para entrenar sus modelos. Los modelos más potentes que podrían plantear riesgos sistémicos deberán cumplir requisitos adicionales, como realizar evaluaciones de los modelos, analizar y mitigar los riesgos sistémicos e informar sobre los incidentes.

Además, las imágenes, contenidos de audio o de vídeo artificiales o manipulados («ultrafalsificaciones») deberán etiquetarse claramente como tales.

Medidas de apoyo a la innovación y a las pymes

Habrá que poner a disposición de las pymes y de las empresas emergentes espacios controlados de pruebas y ensayos en condiciones reales a nivel nacional para que puedan desarrollar y entrenar la IA innovadora antes de su comercialización.

europarl.europa.eu

También te puede interesar: Las cinco claves sobre la Ley de la inteligencia artificial de la UE