Intel·ligència Artificial i administració pública (2)

Darrera edició del post: setembre 2023

Alguns conceptes necessaris: usabilitat, traçabilitat, explicabilitat, auditabilitat i transparència informativa

Reflexions des d’experiències concretes davant la imminent aprovació de la legislació europea sobre Intel·ligència Artificial (AI Act)

per Xnet, Simona Levi amb la col·laboració de Miriam Carles

Des del punt de vista dels drets i les llibertats fonamentals, els elements a considerar que entren en joc en els projectes que involucren intel·ligència artificial són :

– L’eficiència: és per se un element positiu per facilitar la vida de les persones tant en l’àmbit propi com en la seva relació amb les institucions. S’ha de promoure, però en nom de l’eficiència no s’han de sacrificar en cap cas drets i llibertats.

– La seguretat: el dret a la seguretat és també un bé del qual han de poder gaudir les persones, però massa sovint es confon la seguretat amb el control de la població. L’escalada en l’àmbit de la identificació de les persones en nom de la seguretat sovint xoca amb el seu dret legítim a no ser perfilades ni vigilades. En propers articles, el reconeixement facial ens servirà com a exemple extrem, ja que el rostre, de totes les dades biomètriques, dades que mai no podrem canviar o esborrar, és l’element personal més exposat i públic.

– La privacitat: és un dret fonamental que s’ha de prioritzar en totes les consideracions respecte l’ús de l’IA i biometria perquè eficiència i seguretat no la perjudiquin.

Per integrar aquesta perspectiva en els aspectes pràctics de la creació d’IA s’han d’aplicar en com es dissenya, pel que parlarem d’usabilitat, i en com s’informa sobre el disseny, pel que parlarem d’auditabilitat. A més, això hauria d’estar implícit en els programes institucionals que usin IA, ja que haurien de buscar la confiança de la i l’usuari, la qual només es pot construir en base a la rendició de comptes(1).

Quan parlem d’usabilitat ens referim a la comprensió de l’acció que s’ha de dur a terme (activa o passiva), facilitat d’ús i navegació per part de les persones usuàries quan interactuen amb aplicacions o programes. Les normes internacionals ISO 9241-11(2) i 25010(3) la defineixen com la capacitat d’un producte per ser entès, après, utilitzat i resultar atractiu perquè els usuaris puguin assolir objectius específics amb efectivitat, eficiència i satisfacció en un context específic.

L’auditabilitat de l’IA es refereix al fet de que sigui pública la “recepta” dels procediments i “ingredients” utilitzats i la possibilitat de sotmetre procediments, models i bases de dades registrades i validades a anàlisi per conèixer el funcionament i verificar que no s’incompleixen ni vulneren acords, drets fonamentals de les persones o altres consideracions ni es produeixen danys a causa de l’aplicació dels sistemes algorísmics. També hauria de significar que aquesta auditoria no s’ha de dur a terme tant sols per part de les institucions involucrades sinó que la informació ha de ser accessible, incloent les dades utilitzades per l’entrenament, informació sobre el seu origen i com s’han recollit(4), els mecanismes (com els mecanismes d’anonimització de les dades personals) i funcions utilitzats, etc. Aquesta informació s’hauria de fer pública de forma pormenoritzada, com es fa per exemple amb els medicaments o, i la obligatorietat de proporcionar-la s’hauria d’establir per llei(5), per tal de garantir que la ciutadania no perd el control sobre l’ús de les seves dades, pugui confiar amb aquells que les utilitzen i perquè l’auditabilitat sigui distribuïda (que la pugui efectuar qualsevol actor extern amb competències que ho desitgi).

Per entendre millor quin tipus d’informació ha de ser pública, traçable, aquestes són les definicions aportades per la Comissió Europea(6):

– La traçabilitat s’ha d’aplicar sobre els mètodes utilitzats per al disseny i el desenvolupament de l’algorisme; el model normatiu en què es basa o el model d’entrenament de l’algorisme, incloent-hi quines dades s’han recollit i seleccionat i com s’ha fet; les metodologies utilitzades per tastar i validar l’algorisme; en cas de sistemes d’IA basats en models normatius, els escenaris o casos utilitzats per provar i validar-los; o en cas de sistemes basats en models d’entrenament, la informació sobre les dades utilitzades per provar i validar el sistema; els resultats del sistema algorítmic; els resultats de les decisions preses per l’algorisme i d’altres decisions potencials en altres situacions.

– L’explicabilitat s’ha d’aplicar sobre l’avaluació de les decisions preses pel sistema d’IA i fins a quin punt es poden entendre; com es pot explicar als usuaris com pren les decisions; grau d’influència de l’algorisme en els procediments de decisió de l’organització; valoració del motiu pel qual s’ha desenvolupat aquest sistema a una àrea específica; avaluació del model de negoci basat en aquest sistema – creeu valor per a l’organització?; disseny de l’IA considerant la seva explicabilitat des del disseny; determinar si s’ha cercat i intentat utilitzar el model més simple i explicable; valoració sobre les dades utilitzades per entrenar i provar el sistema, possible actualització de les dades utilitzades i accés al flux de treball del model.

– La comunicació: informació a les persones usuàries finals que interactuen amb un sistema d’IA i no amb una persona; introducció de mecanismes per informar dels criteris i motius utilitzats per l’IA per decidir; claredat i intel·ligibilitat de la informació; procediments per tenir en compte els comentaris dels usuaris per adaptar el sistema; informació sobre els riscos dels biaixos; informació sobre l’objectiu de l’IA i qui o què es beneficia del producte/servei; la informació sobre tot això ha de ser comprensible, sense risc de confusió i tenint en compte el biaix de comfirmació i la fatiga cognitiva.

El marc és doncs favorable. A allò que haurem de prestar esforç i atenció serà que les institucions ho implementin amb la mirada posada en l’interès comú.
 

Aquest text és l’adaptació d’una part de la contribució d’Xnet al Projecte Gavius, per a la EU Urban Innovative Actions (març 2023)


Traducció de l’article publicat a Infolibre:
https://www.infolibre.es/opinion/plaza-publica/inteligencia-artificial-administracion-publica-entenderla-s-dominarla-s_129_1518557.html
 

—–

1 – Access Now, “An open letter to the leaders of international development banks, the United Nations, international aid organisations, funding agencies, and national governments”
https://www.accessnow.org/whyid/

2 – UNE-EN ISO 9241-11:2018. Ergonomía de la interacción hombre-sistema. Parte 11: Usabilidad. Definiciones y conceptos.

3 – ISO/IEC 25010:2011. Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — System and software quality models.

4 – The Technolawgist. “Los 5 principios básicos de la responsabilidad algorítimica”. Juliol 2019.
https://www.thetechnolawgist.com/2019/07/16/cinco-principios-basicos-responsabilidad-algoritmica/

5 – “Lawmakers in several European countries are passing or considering legislation to keep algorithms in check. How it will be enforced, and by whom, is still unclear”. Algorithm Watch. “The algorithm police is coming. Will it have teeth?”. Febrer 2020.
https://algorithmwatch.org/en/story/algorithm-police/

6 – https://ec.europa.eu/futurium/en/ai-alliance-consultation/guidelines/2