Acuerdo sobre Reglas para Sistemas de Inteligencia Artificial Confiables Unión Europea
Preparado por Jorge Castaño
En la era digital actual, los sistemas de inteligencia artificial (los “sistemas de IA”) han emergido como una fuerza transformadora que impulsa innovaciones en diversos sectores. Aunque muchos de nosotros hemos escuchado acerca de los riesgos asociados con la inteligencia artificial, pocos han logrado identificar de manera concreta las amenazas subyacentes. La rápida evolución de esta tecnología ha llevado a la preocupación generalizada sobre desplazamiento laboral, sesgos algorítmicos, falta de transparencia y otros desafíos éticos. Sin embargo, recientemente ha surgido una medida significativa para abordar estos problemas: la implementación de regulaciones específicas para la inteligencia artificial por parte del Parlamento Europeo. Estas regulaciones buscan establecer pautas éticas y garantizar un uso responsable de la inteligencia artificial en beneficio de la sociedad.
Por lo tanto, en este documento explicaremos brevemente el acuerdo provisional alcanzado por el Parlamento Europeo y el Consejo, por el que se establecen normas armonizadas en materia de inteligencia artificial (las “Reglas”). Es importante precisar que este documento se limita a enumerar los sistemas de IA que el Parlamento Europeo ha identificado como prohibidos o de alto riesgo. Lo anterior, con el fin de proporcionar a nuestros clientes información de lo que seguramente será un referente para legislaciones alrededor del mundo (con la muy probable excepción de Estados Unidos). Este documento no pretende abordar un análisis exhaustivo de las Reglas, las cuales a propósito, regulan un gran número de aspectos relacionados con el uso de sistemas de IA.
Las Reglas
La inteligencia artificial no se limita simplemente a aspectos comerciales, productivos o de prosperidad económica, sino que también involucra un sistema que se comporta de manera similar a lo humano.
Esta perspectiva destaca la importancia de considerar no solo los beneficios prácticos y económicos de la inteligencia artificial, sino también sus implicaciones en términos de ética, valores humanos y la relación entre la tecnología y la humanidad. La creciente sofisticación de la inteligencia artificial, particularmente en áreas como la interacción social y la toma de decisiones, plantea preguntas fundamentales sobre la naturaleza de la inteligencia y la conciencia, así como sobre la forma en que debemos abordar y regular estas tecnologías emergentes.
Al examinar detenidamente las Reglas, nos encontramos inmersos en un léxico que va más allá de la mera técnica. Palabras como confianza, emociones, valores, respeto a la dignidad humana, libertad, democracia, estado de derecho, derechos fundamentales, no discriminación, protección de datos, privacidad, derechos del niño, comportamiento autónomo de los sistemas de inteligencia artificial, manipulación, explotación y control social, entre otros. Este conjunto de términos no solo refleja la diversidad de aspectos que deben abordarse en el desarrollo y la implementación de la inteligencia artificial, sino que también destaca la profunda interconexión entre la tecnología y los valores fundamentales de la sociedad. Este análisis subraya que, la interacción entre humanos e inteligencia artificial va más allá de la eficiencia y la productividad, incidiendo directamente en cuestiones éticas, emocionales, sociales y culturales que definen nuestra convivencia con la tecnología en la era contemporánea.
Pues bien, en términos simples, lo que buscan las Reglas es identificar los riesgos que la inteligencia artificial conlleva para la especie humana y, a partir de esa concreción, reglamentar su uso. Para el efecto, las Reglas identifican los sistemas de inteligencia artificial prohibidos y los sistemas de alto riesgo. Es por lo anterior que, al inicio de este documento, afirmamos que finalmente existe un documento que pone en blanco y negro los riesgos que representa la inteligencia artificial. Con seguridad existen riesgos que no están contemplados en las Reglas, y que ni nos imaginamos, pero por lo menos son un punto de partida.
¿Qué es un sistema de inteligencia artificial (sistema de IA)?
Lo primero que se de establecer es qué se entiende por sistemas de IA. Las Reglas definen los sistemas de IA como el software que se desarrolla empleando una o varias de las técnicas o estrategias de aprendizaje automático, estrategias basadas en la lógica y estrategias estadísticas y que puede, para un conjunto determinado de objetivos definidos por seres humanos, generar información de salida como contenidos, predicciones, recomendaciones o decisiones que influyen en los entornos con los que interactúan.
Sistemas prohibidos
Las Reglas establecen que los siguientes son sistemas de IA prohibidos:
- Está prohibido el uso de sistemas de inteligencia artificial destinados a alterar la conducta humana y que es probable que provoquen perjuicios físicos o sicológicos. Estos sistemas despliegan componentes subliminales imperceptibles parar el ser humano, o se aprovechan de las vulnerabilidades de los menores y personas por razones de edad o incapacidad física o mental. Lo hacen con la intención de alterar sustancialmente el comportamiento de una persona de un modo que perjudique (o es probable que perjudique) a esa misma persona o a otra.
- Los sistemas que IA que proporcionan calificaciones sociales de personas físicas para su uso con fines generales por parte de las autoridades públicas, o en representación de éstas, pueden tener resultados discriminatorios o abocar a la exclusión a determinados grupos. La calificación social resultante de dichos sistemas de IA puede dar lugar a un trato perjudicial o desfavorable de personas físicas o colectivos enteros. En consecuencia se prohíbe el uso de estos sistemas.
- Se considera, que el uso de sistemas de IA para la identificación biométrica remota “en tiempo real” de personas físicas en espacios de acceso público con fines de aplicación de la ley invade especialmente los derechos y las libertades de las personas afectadas, en la medida que pueda afectar la vida privada de una gran parte de la población, provocar la sensación de estar bajo una vigilancia constante y disuadir indirectamente a los ciudadanos de ejercer su libertad de reunión. En consecuencia se prohíbe el uso de estos sistemas. No obstante, estos sistemas se pueden usar para búsqueda de víctimas de un delito; determinadas amenazas para la vida o la seguridad de las personas físicas o amenazas de atentados terroristas o el enjuiciamiento de autores de ciertos delitos.
Sistemas de alto riesgo
Los sistemas de IA de alto riesgo son los que pueden tener consecuencias importantes para la salud, la seguridad y los derechos fundamentales de las personas de la Unión Europea. Por lo tanto, lo que buscan la Reglas es que se determine claramente qué es un sistema de alto riesgo, regularlos y de esta forma limitar cualquier posible restricción del comercio internacional.
Las Reglas establecen que el uso de sistemas de IA de alto riesgo en la Unión Europea debe supeditarse al cumplimiento de determinados requisitos obligatorios que deben garantizar que estos sistemas alto riesgo no entrañen riesgos inaceptables para los intereses públicos importante de la Unión Europea.
Las Reglas consideran los siguientes sistemas de IA como de alto riesgo:
- Los que funcionan como componentes de productos que están sometidos al procedimiento de evaluación de la conformidad con un organismo de evaluación de la conformidad externo.
- Los sistemas de IA destinados a la identificación biométrica remota “en diferido” de las personas pueden dar lugar a resultados sesgados y tener consecuencias discriminatorias. Por lo tanto, estos sistemas se deben considerar de alto riesgo.
- Son igualmente de alto riesgo los sistemas de IA destinados a ser componentes de seguridad en la gestión y el funcionamiento de tráfico rodado y el suministro de agua, gas, calefacción y electricidad, pues su fallo o defecto pueden poner en peligro la vida y la salud de las personas en gran escala y alterar el desarrollo habitual de actividades humanas.
- Son de alto riesgo los sistemas de IA que se usan para determinar el acceso o distribuyen a las personas entre distintas instituciones educativas. Son de alto riesgo porque pueden decidir la trayectoria formativa y profesional de una persona y afectar su capacidad de subsistir.
- También deben considerar de alto riesgo los sistemas de IA que se utilicen en el empleo, la gestión de trabajadores y el acceso al autoempleo, sobre todo para la contratación y la selección de personal; para la toma de decisiones relativas a la promoción y la terminación de contratos; y para la asignación de tareas y el seguimiento o la evaluación de personas en relaciones contractuales de índole laboral. Son de alto riesgo porque pueden afectar de un modo considerable a las futuras perspectivas laborales y los medios de subsistencia de las personas o ser discriminatorios.
- Deben considerarse de alto riesgo los sistemas de IA usados para evaluar la calificación crediticia o solvencia de las personas físicas, ya que deciden si dichas personas pueden acceder a recursos financieros o servicios esenciales como la vivienda, la electricidad y los servicios de telecomunicaciones. Son de alto riesgo porque pueden discriminar a personas o grupos y perpetuar patrones históricos de discriminación, por ejemplo, por motivos de origen racial o étnico, discapacidad, edad u orientación sexual, o generar nuevas formas de efectos discriminatorios.
- Son de alto riesgo los sistemas de IA que las autoridades encargadas de la aplicación de la ley utilicen para realizar evaluaciones de riesgos individuales, los polígrafos, los que se usen para detectar el estado emocional de una persona física, para detectar ultrafalsicaciones, para evaluar la fiabilidad de las pruebas, riesgos de personalidad, reincidencia y perfilamiento.
- Finalmente, son de alto riesgo, los sistemas de IA para la gestión de migración, asilo, control fronterizo, administración de justicia, procesos democráticos.
Las condiciones previas para el uso de un sistema de IA de alto riesgo incluyen:
- Sistema de gestión de riesgos.
- Calidad de datos y gobernanza de datos.
- Documentación técnica.
- Registros.
- Transparencia y comunicación de información a los usuarios.
- Vigilancia humana.
- Precisión, solidez y ciberseguridad.
¿Qué falta para que esta propuesta se convierta en regulación de la Unión Europea?
Según se indicó, la regulación descrita en este documento es una propuesta que requiere de la adopción formal del Parlamento Europeo y del Consejo para convertirse en una regulación vinculante de la Unión Europea.
No dude en contactar a Jorge Castaño jcastano@brickabogados.com si tienen alguna inquietud o si desean ampliación sobre el tema anteriormente expuesto.
El presente documento ha sido preparado por Brick Abogados especialmente para sus clientes, únicamente con fines informativos, por lo cual no se considera como asistencia o recomendación legal.