Inteligencia Artificial y administración pública (1)

Última edición del post: septiembre 2023

Derechos humanos y derechos digitales en la IA – Contexto legal

Reflexiones desde experiencias concretas ante la inminente aprobación de la legislación europea sobre Inteligencia Artificial (AI Act)

por Simona Levi de Xnet con la colaboración de Miriam Carles
 

Hablar de derechos digitales es algo nuevo en el ámbito institucional. Por el contrario, la sociedad civil que ha impulsado el uso de internet y su defensa desde hace prácticamente medio siglo, ha escrito y trabajado muy intensamente sobre el tema, siendo uno de los pilares de la gobernanza de Internet como lo conocemos.

El digital en lugar de ser un espacio más de la vida donde deberían regir los mismos derechos y libertades fundamentales que en otros, a menudo es castigado por el legislador que le aplica una condición de estado de excepción, en nombre de los «más vulnerables”, de «proteger la seguridad» de bienes y personas o de un solucionismo tecnológico que oculta incapacidades políticas y de gestión.

Institucionalmente se ha ido inculcando en la sociedad una narrativa asimétrica respecto a los riesgos de lo digital en la que las instituciones tienen el rol de salvadores. En realidad, el digital debe y puede permitir una relación adulta entre administraciones, instituciones y ciudadanía. Y esto sobre todo porque, en ese momento, el grueso de abusos de los derechos digitales proviene de las instituciones y de otros actores sistémicos amparados por ellas. Existe una asimetría de poder entre instituciones y población. Por ejemplo, se nos puede vigilar mucho más de lo que nosotros podemos vigilar y obtener rendición de cuentas, aunque las herramientas a disposición sean las mismas. En toda política democrática, el foco debería dirigirse a corregir las asimetrías de poder sistémicas.

El digital y la IA tienen y tendrán implicaciones en prácticamente todos los ámbitos de la vida por lo que afectan a casi toda la gama de derechos existentes y en construcción, desde los más personales de identidad, privacidad o intimidad de nuestras casas, hasta los relacionados con la participación democrática, el mundo laboral y los derechos a la salud ya la educación, entre otros. En este contexto, respecto a la IA en concreto, creemos que el verdadero peligro es la consideración y lugar que le atribuyan nuestras instituciones. Tal y como expresa el filósofo Daniel Dennett «no es que máquinas más inteligentes que nosotros usurpen nuestro rol, sino que sobreestimamos nuestras herramientas, cediéndoles prematuramente autoridad más allá de su competencia». Algo muy tentador para cualquier gestor público, ya que le permitiría tomar decisiones rápidas, e incluso descargar responsabilidades en sus tareas a favor de la herramienta utilizada, permitiendo decisiones opacas al mismo tiempo. También es peligroso el opuesto: caer en una cierta tecnofobia simplista y desinformada que está siendo promovida por algunas corrientes de pensamiento. Creemos que el uso de datos y de la IA es absolutamente útil para el bienestar de la sociedad, pero imperativamente debe ser transparente, auditable, comprensible, veraz, robusto, respetuoso de los derechos humanos, plenamente informado y al servicio de las persones; sus resultados deben estar al servicio de los bienes comunes, tanto para su uso para una mejor administración como para la ciudadanía, la ciencia y el emprendimiento.

En este mismo sentido, punto de partida obligado son los principios de minimización y privacidad desde el diseño y por defecto ya consolidados en el Reglamento General de Protección de Datos y todavía no plena y correctamente implementados, en general, y por las instituciones, en particular(1).

La Declaración Universal de los Derechos Humanos, el Pacto Internacional de Derechos Civiles y Políticos y el Pacto Internacional de Derechos Económicos, Sociales y Culturales, entre otros instrumentos internacionales, contemplan que las personas tienen derecho a obtener de los Estados el respeto, la garantía y la satisfacción de sus derechos políticos, económicos, sociales y culturales, indispensables para su dignidad y libre desarrollo de la personalidad. Como sociedad civil organizada hemos logrado cambios muy importantes en este sentido en el #AiAct, la regulación europea que se aprobará en breve. Lo que tendrá que vigilarse es cómo lo implementen las instituciones.

La IA puede contribuir ampliamente a la mejora de la Administración y de los servicios, reducir la burocracia y los tiempos de gestión y respuesta en la prestación de determinados servicios al conjunto de la ciudadanía, mejorando la eficacia y ahorrando recursos. Estas ventajas en modo alguno deben contradecir derechos fundamentales; no sólo pueden ser, sino que deben ser, perfectamente compatibles. La IA debe venir a resolver problemas y facilitar las tareas, no al revés. No siempre cierta complejidad es necesaria para simplificar prestaciones. Las propuestas que involucren a la IA deben valorar si son compatibles con los derechos fundamentales en cada caso concreto, y si cada aspecto del planteamiento hecho tiene potencial para mejorar la eficiencia y otros aspectos de la vida de las personas con el uso mínimo de datos y de forma no invasiva. En el caso de servicios públicos, las soluciones que involucren a IA deben evaluarse comparándolas con soluciones que no involucren, para no priorizar la IA como un a priori(2).

Los riesgos de vigilancia, elaboración de perfiles y discriminación están interconectados cuando los sistemas de IA se han desarrollado por ejemplo en contextos de asignación de recursos sociales, evaluación de elegibilidad y detección de fraudes. Con mucha frecuencia, los desarrollos que incluyen sistemas de IA han hecho patente que pueden contribuir a magnificar la discriminación ya existente, reproduciendo sesgos en el uso de los parámetros aplicados a los datos, perpetrando situaciones de discriminación sistémica ya existentes en la realidad física, y nada deseables. Muchos son los ejemplos. Desde hace muchos años el gobierno polaco ha utilizado sistemas basados en datos para perfilar a las personas en paro. De forma similar, el gobierno holandés desplegó SyRI, un sistema para “detectar comportamientos fraudulentos” creando perfiles de riesgo de individuos. En 2019, un tribunal holandés dictaminó que este sistema violaba los derechos humanos y la privacidad(3). En otro caso, la Agencia del Trabajo de Austria puso en marcha en 2016 un programa para evaluar las posibilidades de determinados grupos de población en el mercado laboral y tres años más tarde anunció que empezaría a atribuir automáticamente a cada solicitante de trabajo una puntuación en función de varios aspectos para clasificarlos entre tres grupos distintos. Tras analizar uno de los modelos utilizados por el algoritmo (solo dos modelos de los 96 utilizados fueron hechos públicos), se descubrió que las mujeres recibían una puntuación negativa, al igual que los discapacitados y mayores de 30 años. Las mujeres con hijos también recibían una puntuación negativa, pero, «sorprendentemente», los hombres con hijos no. Este sistema fue declarado ilegal por la Autoridad Austriaca de Protección de Datos en 2020, que declaró que debía suspenderse su uso(4).

La existencia de sesgos es notoria. Los sesgos son particularmente graves cuando, por ejemplo, derivan en discriminaciones de un grupo en favor de otro o incrementan las desigualdades. Este problema no es particular de los sistemas de IA, sino es general en cualquier proceso de toma de decisiones, ya sea humano o automático. Pero existe otro tipo de sesgo igualmente preocupante y que es el del sesgo en la interpretación de los resultados de la IA. Este sesgo humano consiste en aceptar, sin espíritu crítico, los resultados de una IA como ciertos e inamovibles, asumiendo un principio de autoridad derivado de las expectativas creadas por estos sistemas.

El uso irreflexivo de la IA en la Administración y en instituciones es problemático en aplicaciones ya existentes como en los casos de vigilancia y el procesamiento biométrico indiscriminados; en el uso de la IA como único elemento para determinar el acceso o prestación de servicios públicos esenciales; en los usos de la IA que pretenden identificar, analizar y evaluar las emociones, el estado de ánimo, el comportamiento y los rasgos de identidad sensibles en la prestación de servicios esenciales; en la policía predictiva; en armas letales autónomas y otros usos que identifiquen objetivos; etc.

Los problemas vinculados a la automatización de los servicios del Estado del bienestar residen en particular en la falta de transparencia, la misma que existe en los procedimientos administrativos, amplificada; la eliminación del factor humano en situaciones en las que no puede darse una respuesta estandarizada; las limitaciones de acceso que supone un proceso digitalizado en situación de brecha digital, ya sean para personas usuarias finales del sistema o trabajadoras que deben utilizarlo para prestar el servicio. 



En relación con estos retos es donde debe darse solución desde el marco normativo. En este sentido, en el ordenamiento jurídico español, la “Ley integral 15/2022, de 12 de julio, para la igualdad de trato y la no discriminación”, prevé expresamente en su artículo 23 el deber de impulsar la puesta en marcha de mecanismos para garantizar que los algoritmos involucrados en la toma de decisiones, que se utilicen en las administraciones públicas, tengan en cuenta criterios de minimización de sesgos, transparencia y rendición de cuentas, «siempre que sea factible técnicamente,» cosa considerada aún insuficiente por los grupos defensores de los derechos digitales y que el #AiAct vendría a paliar.

El planteamiento a nivel europeo, en comparación con otros planteamientos de otras áreas e incluso en comparación con otras políticas propuestas por la Unión Europea, vislumbra unos mejores estándares para la protección de los derechos humanos y libertades fundamentales, siempre y cuando se consiga eliminar la adenda del artículo 6 que transformaría la legislación en una simple recomendación de autocumplimiento y no obligatoria. El UE #AiAct establece la prohibición de ciertos sistemas de IA en atención a los riesgos que se pueden derivar por las personas, sistemas todos ellos que ya estaban siendo implementado al menos en los sueños húmedos de ciertas instituciones como sistemas de perfiles de scoring social, el uso de videovigilancia a tiempo real con identificación biométrica en espacios públicos oa posteriori, el reconocimiento emocional en el sistema de justicia, puestos de trabajo, educación y fronteras, etc.

Adicionalmente, la propuesta de legislación sobre IA incluye una distinción de las distintas categorías de sistemas en función del riesgo que pueden presentar para las personas. En concreto, prevé como sistemas de IA de alto riesgo aquellos sistemas que se utilicen para regular el acceso a servicios públicos y privados esenciales, así como sus beneficios, imponiendo las diferentes obligaciones de este nivel de sistemas (eg supervisión humana, alta calidad de los datos, archivos de registro de actuaciones, disponer de documentación técnica detallada sobre su funcionamiento, proporcionar información clara y adecuada a los usuarios, etc.).

Ahora bien, debemos salvaguardar los derechos fundamentales, pero al mismo tiempo salvaguardar las posibilidades de desarrollo de sistemas de IA en particular como software de código abierto. Los sistemas de IA de código abierto son cruciales como contrapunto a la tendencia de las grandes empresas de tecnología a desarrollar sistemas de IA como cajas negras. Es importante que puedan compensar las faltas de recursos con la agilidad. El nuevo texto añade justas excepciones (Art. 2(5d)) para el desarrollo de IA en investigación y de código abierto, pero insuficientes para que no sea demasiado oneroso cumplirlas para alguien que no sea una Big Tech, al dejar fuera las condiciones de-mundo-real y las condiciones comerciales. Tal como está escrito actualmente, el texto amenaza con crear cargas de requisitos legales imposibles de cumplir por actores más pequeños, justo ahora que han demostrado poder romper el monopolio de las grandes corporaciones tecnológicas.

Como explica Paul Keller desde Open Future(5), es necesaria una distinción de las obligaciones dependiendo de si la IA se implementan a gran escala o simplemente está disponibles en repositorios abiertos. El Considerando 12b abre la puerta a mejorar el redactado: “ni el desarrollo colaborativo de componentes de IA gratuitos y de código abierto ni su disponibilidad en repositorios abiertos debe constituir una puesta en el mercado o una puesta en servicio”.

“Los requisitos básicos deben incluir la transparencia de los datos de capacitación y las características del modelo, la documentación de las estrategias de mitigación de riesgos y los riesgos no mitigables, y la provisión de documentación técnica y guías de usuario”(6).

Por último, dado el objetivo general de aumentar la transparencia en el desarrollo y la implementación de sistemas de IA, una de las mayores omisiones en la ley es la falta de un requisito general de transparencia para los datos de entrenamiento para que se aplique a todos los tipos de sistemas de IA y todo tipo de datos de entrenamiento (no solo datos protegidos por derechos de autor). De hecho, la problemática de los sesgos suele estar causada por las fuentes usadas para el entrenamiento de la IA incluso más que por la programación.

El AI Act es un inicio. A lo que tendremos que prestar esfuerzo y atención será a que las instituciones lo implementen con efectividad y no de la manera agónica con la que están implementando el Reglamento General de Protección de Datos(7).

 

Este texto es la adaptación de una parte de la contribución de Xnet al Proyecto Gavius, para la EU Urban Innovative Actions (marzo 2023).