<\/p>\n
\u00daltima edici\u00f3n del post: septiembre 2023<\/em><\/p>\n Reflexiones desde experiencias concretas ante la inminente aprobaci\u00f3n de la legislaci\u00f3n europea sobre Inteligencia Artificial (AI Act)<\/em><\/strong><\/h4>\n por Simona Levi de Xnet con la colaboraci\u00f3n de Miriam Carles<\/em> Hablar de derechos digitales es algo nuevo en el \u00e1mbito institucional. Por el contrario, la sociedad civil que ha impulsado el uso de internet y su defensa desde hace pr\u00e1cticamente medio siglo, ha escrito y trabajado muy intensamente sobre el tema, siendo uno de los pilares de la gobernanza de Internet como lo conocemos.<\/p>\n El digital en lugar de ser un espacio m\u00e1s de la vida donde deber\u00edan regir los mismos derechos y libertades fundamentales que en otros, a menudo es castigado por el legislador que le aplica una condici\u00f3n de estado de excepci\u00f3n, en nombre de los \u00abm\u00e1s vulnerables\u201d, de \u00abproteger la seguridad\u00bb de bienes y personas o de un solucionismo tecnol\u00f3gico que oculta incapacidades pol\u00edticas y de gesti\u00f3n.<\/p>\n Institucionalmente se ha ido inculcando en la sociedad una narrativa asim\u00e9trica respecto a los riesgos de lo digital en la que las instituciones tienen el rol de salvadores. En realidad, el digital debe y puede permitir una relaci\u00f3n adulta entre administraciones, instituciones y ciudadan\u00eda. Y esto sobre todo porque, en ese momento, el grueso de abusos de los derechos digitales proviene de las instituciones y de otros actores sist\u00e9micos amparados por ellas. Existe una asimetr\u00eda de poder entre instituciones y poblaci\u00f3n. Por ejemplo, se nos puede vigilar mucho m\u00e1s de lo que nosotros podemos vigilar y obtener rendici\u00f3n de cuentas, aunque las herramientas a disposici\u00f3n sean las mismas. En toda pol\u00edtica democr\u00e1tica, el foco deber\u00eda dirigirse a corregir las asimetr\u00edas de poder sist\u00e9micas.<\/p>\n El digital y la IA tienen y tendr\u00e1n implicaciones en pr\u00e1cticamente todos los \u00e1mbitos de la vida por lo que afectan a casi toda la gama de derechos existentes y en construcci\u00f3n, desde los m\u00e1s personales de identidad, privacidad o intimidad de nuestras casas, hasta los relacionados con la participaci\u00f3n democr\u00e1tica, el mundo laboral y los derechos a la salud ya la educaci\u00f3n, entre otros. En este contexto, respecto a la IA en concreto, creemos que el verdadero peligro es la consideraci\u00f3n y lugar que le atribuyan nuestras instituciones. Tal y como expresa el fil\u00f3sofo Daniel Dennett \u00abno es que m\u00e1quinas m\u00e1s inteligentes que nosotros usurpen nuestro rol, sino que sobreestimamos nuestras herramientas, cedi\u00e9ndoles prematuramente autoridad m\u00e1s all\u00e1 de su competencia\u00bb. Algo muy tentador para cualquier gestor p\u00fablico, ya que le permitir\u00eda tomar decisiones r\u00e1pidas, e incluso descargar responsabilidades en sus tareas a favor de la herramienta utilizada, permitiendo decisiones opacas al mismo tiempo. Tambi\u00e9n es peligroso el opuesto: caer en una cierta tecnofobia simplista y desinformada que est\u00e1 siendo promovida por algunas corrientes de pensamiento. Creemos que el uso de datos y de la IA es absolutamente \u00fatil para el bienestar de la sociedad, pero imperativamente debe ser transparente, auditable, comprensible, veraz, robusto, respetuoso de los derechos humanos, plenamente informado y al servicio de las persones; sus resultados deben estar al servicio de los bienes comunes, tanto para su uso para una mejor administraci\u00f3n como para la ciudadan\u00eda, la ciencia y el emprendimiento.<\/p>\n En este mismo sentido, punto de partida obligado son los principios de minimizaci\u00f3n y privacidad desde el dise\u00f1o y por defecto ya consolidados en el Reglamento General de Protecci\u00f3n de Datos y todav\u00eda no plena y correctamente implementados, en general, y por las instituciones, en particular(1)<\/em><\/a>.<\/p>\n La Declaraci\u00f3n Universal de los Derechos Humanos, el Pacto Internacional de Derechos Civiles y Pol\u00edticos y el Pacto Internacional de Derechos Econ\u00f3micos, Sociales y Culturales, entre otros instrumentos internacionales, contemplan que las personas tienen derecho a obtener de los Estados el respeto, la garant\u00eda y la satisfacci\u00f3n de sus derechos pol\u00edticos, econ\u00f3micos, sociales y culturales, indispensables para su dignidad y libre desarrollo de la personalidad. Como sociedad civil organizada hemos logrado cambios muy importantes en este sentido en el #AiAct, la regulaci\u00f3n europea que se aprobar\u00e1 en breve. Lo que tendr\u00e1 que vigilarse es c\u00f3mo lo implementen las instituciones.<\/p>\n La IA puede contribuir ampliamente a la mejora de la Administraci\u00f3n y de los servicios, reducir la burocracia y los tiempos de gesti\u00f3n y respuesta en la prestaci\u00f3n de determinados servicios al conjunto de la ciudadan\u00eda, mejorando la eficacia y ahorrando recursos. Estas ventajas en modo alguno deben contradecir derechos fundamentales; no s\u00f3lo pueden ser, sino que deben ser, perfectamente compatibles. La IA debe venir a resolver problemas y facilitar las tareas, no al rev\u00e9s. No siempre cierta complejidad es necesaria para simplificar prestaciones. Las propuestas que involucren a la IA deben valorar si son compatibles con los derechos fundamentales en cada caso concreto, y si cada aspecto del planteamiento hecho tiene potencial para mejorar la eficiencia y otros aspectos de la vida de las personas con el uso m\u00ednimo de datos y de forma no invasiva. En el caso de servicios p\u00fablicos, las soluciones que involucren a IA deben evaluarse compar\u00e1ndolas con soluciones que no involucren, para no priorizar la IA como un a priori(2)<\/em><\/a>. <\/p>\n Los riesgos de vigilancia, elaboraci\u00f3n de perfiles y discriminaci\u00f3n est\u00e1n interconectados cuando los sistemas de IA se han desarrollado por ejemplo en contextos de asignaci\u00f3n de recursos sociales, evaluaci\u00f3n de elegibilidad y detecci\u00f3n de fraudes. Con mucha frecuencia, los desarrollos que incluyen sistemas de IA han hecho patente que pueden contribuir a magnificar la discriminaci\u00f3n ya existente, reproduciendo sesgos en el uso de los par\u00e1metros aplicados a los datos, perpetrando situaciones de discriminaci\u00f3n sist\u00e9mica ya existentes en la realidad f\u00edsica, y nada deseables. Muchos son los ejemplos. Desde hace muchos a\u00f1os el gobierno polaco ha utilizado sistemas basados en datos para perfilar a las personas en paro. De forma similar, el gobierno holand\u00e9s despleg\u00f3 SyRI, un sistema para \u201cdetectar comportamientos fraudulentos\u201d creando perfiles de riesgo de individuos. En 2019, un tribunal holand\u00e9s dictamin\u00f3 que este sistema violaba los derechos humanos y la privacidad(3)<\/em><\/a>. En otro caso, la Agencia del Trabajo de Austria puso en marcha en 2016 un programa para evaluar las posibilidades de determinados grupos de poblaci\u00f3n en el mercado laboral y tres a\u00f1os m\u00e1s tarde anunci\u00f3 que empezar\u00eda a atribuir autom\u00e1ticamente a cada solicitante de trabajo una puntuaci\u00f3n en funci\u00f3n de varios aspectos para clasificarlos entre tres grupos distintos. Tras analizar uno de los modelos utilizados por el algoritmo (solo dos modelos de los 96 utilizados fueron hechos p\u00fablicos), se descubri\u00f3 que las mujeres recib\u00edan una puntuaci\u00f3n negativa, al igual que los discapacitados y mayores de 30 a\u00f1os. Las mujeres con hijos tambi\u00e9n recib\u00edan una puntuaci\u00f3n negativa, pero, \u00absorprendentemente\u00bb, los hombres con hijos no. Este sistema fue declarado ilegal por la Autoridad Austriaca de Protecci\u00f3n de Datos en 2020, que declar\u00f3 que deb\u00eda suspenderse su uso(4)<\/em><\/a>.<\/p>\n La existencia de sesgos es notoria. Los sesgos son particularmente graves cuando, por ejemplo, derivan en discriminaciones de un grupo en favor de otro o incrementan las desigualdades. Este problema no es particular de los sistemas de IA, sino es general en cualquier proceso de toma de decisiones, ya sea humano o autom\u00e1tico. Pero existe otro tipo de sesgo igualmente preocupante y que es el del sesgo en la interpretaci\u00f3n de los resultados de la IA. Este sesgo humano consiste en aceptar, sin esp\u00edritu cr\u00edtico, los resultados de una IA como ciertos e inamovibles, asumiendo un principio de autoridad derivado de las expectativas creadas por estos sistemas.<\/p>\n El uso irreflexivo de la IA en la Administraci\u00f3n y en instituciones es problem\u00e1tico en aplicaciones ya existentes como en los casos de vigilancia y el procesamiento biom\u00e9trico indiscriminados; en el uso de la IA como \u00fanico elemento para determinar el acceso o prestaci\u00f3n de servicios p\u00fablicos esenciales; en los usos de la IA que pretenden identificar, analizar y evaluar las emociones, el estado de \u00e1nimo, el comportamiento y los rasgos de identidad sensibles en la prestaci\u00f3n de servicios esenciales; en la polic\u00eda predictiva; en armas letales aut\u00f3nomas y otros usos que identifiquen objetivos; etc.<\/p>\n Los problemas vinculados a la automatizaci\u00f3n de los servicios del Estado del bienestar residen en particular en la falta de transparencia, la misma que existe en los procedimientos administrativos, amplificada; la eliminaci\u00f3n del factor humano en situaciones en las que no puede darse una respuesta estandarizada; las limitaciones de acceso que supone un proceso digitalizado en situaci\u00f3n de brecha digital, ya sean para personas usuarias finales del sistema o trabajadoras que deben utilizarlo para prestar el servicio. \u2028\u2028<\/p>\n En relaci\u00f3n con estos retos es donde debe darse soluci\u00f3n desde el marco normativo. En este sentido, en el ordenamiento jur\u00eddico espa\u00f1ol, la \u201cLey integral 15\/2022, de 12 de julio, para la igualdad de trato y la no discriminaci\u00f3n\u201d, prev\u00e9 expresamente en su art\u00edculo 23 el deber de impulsar la puesta en marcha de mecanismos para garantizar que los algoritmos involucrados en la toma de decisiones, que se utilicen en las administraciones p\u00fablicas, tengan en cuenta criterios de minimizaci\u00f3n de sesgos, transparencia y rendici\u00f3n de cuentas, \u00absiempre que sea factible t\u00e9cnicamente,\u00bb cosa considerada a\u00fan insuficiente por los grupos defensores de los derechos digitales y que el #AiAct vendr\u00eda a paliar.<\/p>\n El planteamiento a nivel europeo, en comparaci\u00f3n con otros planteamientos de otras \u00e1reas e incluso en comparaci\u00f3n con otras pol\u00edticas propuestas por la Uni\u00f3n Europea, vislumbra unos mejores est\u00e1ndares para la protecci\u00f3n de los derechos humanos y libertades fundamentales, siempre y cuando se consiga eliminar la adenda del art\u00edculo 6 que transformar\u00eda la legislaci\u00f3n en una simple recomendaci\u00f3n de autocumplimiento y no obligatoria. El UE #AiAct establece la prohibici\u00f3n de ciertos sistemas de IA en atenci\u00f3n a los riesgos que se pueden derivar por las personas, sistemas todos ellos que ya estaban siendo implementado al menos en los sue\u00f1os h\u00famedos de ciertas instituciones como sistemas de perfiles de scoring social, el uso de videovigilancia a tiempo real con identificaci\u00f3n biom\u00e9trica en espacios p\u00fablicos oa posteriori, el reconocimiento emocional en el sistema de justicia, puestos de trabajo, educaci\u00f3n y fronteras, etc.<\/p>\n Adicionalmente, la propuesta de legislaci\u00f3n sobre IA incluye una distinci\u00f3n de las distintas categor\u00edas de sistemas en funci\u00f3n del riesgo que pueden presentar para las personas. En concreto, prev\u00e9 como sistemas de IA de alto riesgo aquellos sistemas que se utilicen para regular el acceso a servicios p\u00fablicos y privados esenciales, as\u00ed como sus beneficios, imponiendo las diferentes obligaciones de este nivel de sistemas (eg supervisi\u00f3n humana, alta calidad de los datos, archivos de registro de actuaciones, disponer de documentaci\u00f3n t\u00e9cnica detallada sobre su funcionamiento, proporcionar informaci\u00f3n clara y adecuada a los usuarios, etc.).<\/p>\n Ahora bien, debemos salvaguardar los derechos fundamentales, pero al mismo tiempo salvaguardar las posibilidades de desarrollo de sistemas de IA en particular como software de c\u00f3digo abierto. Los sistemas de IA de c\u00f3digo abierto son cruciales como contrapunto a la tendencia de las grandes empresas de tecnolog\u00eda a desarrollar sistemas de IA como cajas negras. Es importante que puedan compensar las faltas de recursos con la agilidad. El nuevo texto a\u00f1ade justas excepciones (Art. 2(5d)) para el desarrollo de IA en investigaci\u00f3n y de c\u00f3digo abierto, pero insuficientes para que no sea demasiado oneroso cumplirlas para alguien que no sea una Big Tech, al dejar fuera las condiciones de-mundo-real y las condiciones comerciales. Tal como est\u00e1 escrito actualmente, el texto amenaza con crear cargas de requisitos legales imposibles de cumplir por actores m\u00e1s peque\u00f1os, justo ahora que han demostrado poder romper el monopolio de las grandes corporaciones tecnol\u00f3gicas.<\/p>\n Como explica Paul Keller desde Open Future(5)<\/em><\/a>, es necesaria una distinci\u00f3n de las obligaciones dependiendo de si la IA se implementan a gran escala o simplemente est\u00e1 disponibles en repositorios abiertos. El Considerando 12b abre la puerta a mejorar el redactado: \u201cni el desarrollo colaborativo de componentes de IA gratuitos y de c\u00f3digo abierto ni su disponibilidad en repositorios abiertos debe constituir una puesta en el mercado o una puesta en servicio\u201d. <\/p>\n \u201cLos requisitos b\u00e1sicos deben incluir la transparencia de los datos de capacitaci\u00f3n y las caracter\u00edsticas del modelo, la documentaci\u00f3n de las estrategias de mitigaci\u00f3n de riesgos y los riesgos no mitigables, y la provisi\u00f3n de documentaci\u00f3n t\u00e9cnica y gu\u00edas de usuario\u201d(6)<\/em><\/a>.<\/p>\n Por \u00faltimo, dado el objetivo general de aumentar la transparencia en el desarrollo y la implementaci\u00f3n de sistemas de IA, una de las mayores omisiones en la ley es la falta de un requisito general de transparencia para los datos de entrenamiento para que se aplique a todos los tipos de sistemas de IA y todo tipo de datos de entrenamiento (no solo datos protegidos por derechos de autor). De hecho, la problem\u00e1tica de los sesgos suele estar causada por las fuentes usadas para el entrenamiento de la IA incluso m\u00e1s que por la programaci\u00f3n.<\/p>\n El AI Act es un inicio. A lo que tendremos que prestar esfuerzo y atenci\u00f3n ser\u00e1 a que las instituciones lo implementen con efectividad y no de la manera ag\u00f3nica con la que est\u00e1n implementando el Reglamento General de Protecci\u00f3n de Datos(7)<\/em><\/a>.<\/p>\n Este texto es la traducci\u00f3n del art\u00edculo publicado en el 324: <\/p>\n —– 2<\/a> 3<\/a> 4<\/a> 5<\/a> 6<\/a> 7<\/a> \u00daltima edici\u00f3n del post: septiembre 2023 Derechos humanos y derechos digitales en la IA – Contexto legal Reflexiones desde experiencias concretas ante la inminente aprobaci\u00f3n de la legislaci\u00f3n europea sobre Inteligencia Artificial (AI Act) por Simona Levi de Xnet con la colaboraci\u00f3n de Miriam Carles Hablar de derechos digitales es algo nuevo en el […]<\/p>\n","protected":false},"author":15,"featured_media":25580,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[52],"tags":[],"class_list":["post-25527","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-blog","ejes-neutralidad-de-la-red"],"yoast_head":"\nDerechos humanos y derechos digitales en la IA – Contexto legal<\/p>\n
\n <\/p>\n
\n
\nEste texto es la adaptaci\u00f3n de una parte de la contribuci\u00f3n de Xnet al Proyecto Gavius, para la EU Urban Innovative Actions (marzo 2023).<\/p>\n
\nhttps:\/\/www.ccma.cat\/324\/desenvolupar-la-ia-i-protegir-drets-fonamentals-els-reptes-de-les-institucions\/noticia\/3234287\/<\/a><\/p>\n
\n
\n1<\/a>
\nhttps:\/\/xnet-x.net\/es\/datos-por-liebre-xnet-abusos-reforma-ley-proteccion-datos\/<\/a><\/p>\n
\nhttps:\/\/www.accessnow.org\/cms\/assets\/uploads\/2020\/05\/EU-white-paper-consultation_AccessNow_May2020.pdf<\/a> <\/p>\n
\nLiberty (2019). ‘Policing by machine’ https:\/\/www.libertyhumanrights.org.uk\/issue\/policing-by-machine<\/a><\/p>\n
\nhttps:\/\/algorithmwatch.org\/en\/austrias-employment-agency-ams-rolls-out-discriminatory-algorithm\/<\/a><\/p>\n
\nhttps:\/\/openfuture.eu\/blog\/undermining-the-foundation-of-open-source-ai\/<\/a><\/p>\n
\nhttps:\/\/openfuture.eu\/blog\/undermining-the-foundation-of-open-source-ai\/<\/a><\/p>\n
\nhttps:\/\/xnet-x.net\/es\/datos-por-liebre-xnet-abusos-reforma-ley-proteccion-datos\/<\/a>
\n<\/span>
\n <\/p>","protected":false},"excerpt":{"rendered":"