Intel·ligència Artificial i administració pública (3)

Darrera edició del post: setembre 2023

Reconeixement facial com a cas d’estudi

Reflexions des d’experiències concretes davant la imminent aprovació de la legislació europea sobre Intel·ligència Artificial (AI Act)

per Xnet, Simona Levi amb la col·laboració de Miriam Carles i Sanne Stevens

Hi ha multitud d’identificadors biomètrics tant de comportament, com el reconeixement de la signatura, la veu, l’escriptura o la manera de caminar, com a fisiològic, com la petjada dactilar, l’iris o la retina, el reconeixement vascular, facial o de la geometria de la mà. Aquestes últimes s’han convertit en populars com a codi per identificar les persones de manera unívoca, entenent el cos com un recurs d’exactitud i precisió que pot funcionar com a “contrasenya”(1).

En el que respecta a la biometria pel reconeixement personal, qualsevol característica biològica o de comportament és utilitzarble com a identificador biomètric si compleix al menys quatre requisits bàsics: 1) Col·leccionabilitat (l’element es pot capturar); 2) Universalitat (l’element existeix en totes les persones); 3) Unicitat (L’element ha de ser distintiu per cada persona); 4) Permanència (la propietat de l’element resta permanent en el temps)(2).

Les organitzacions internacionals de referència en la defensa dels drets humans en l’àmbit digital coincidim en que “l’accelerat creixement en l’ús de tecnologies biomètriques per la identificació (…) planteja una sèrie de qüestions relatives no només a l’impacte d’aquestes tecnologies sobre la llibertat d’expressió i d’acció en espais públics sinó a l’autonomia i a la identitat de l’individu.(3)”

Les dades biomètriques són vulnerables a atacs, igual que altres mètodes d’autenticació. Tot i això, a diferència d’una contrasenya, els indicadors biomètrics no poden simplement restablir-se o canviar-se segons sigui necessari. Això planteja un major risc de seguretat, ja que es fa cada vegada més difícil reparar el dany causat per fugues o atacs i restaurar el bon funcionament dels sistemes basats en biometria(4) i la integritat física de les persones involucrades(5).

Doncs no són més segurs. Recentment, el risc que comporta l’ús maliciós d’aquesta informació s’ha agreujat amb la suplantació d’identitat i els deepfakes(6) o deepvoices(7) en els que intervé la IA, essent fins i tot possible crear “empremtes mestres” que combinin les característiques comunes de diverses persones permetent la seva identificació amb una sola empremta(8).

Així doncs, l’inconvenient principal de l’ús d’aquestes tecnologies és que una vegada es perd el control, és pràcticament impossible recuperar la privadesa de l’individu ja que no es pot canviar d’identitat ni de cara, una informació permanentment exposada, ni les empremtes dactilars, que malgrat no estar tan exposades, tenen la peculiaritat que poden ser recollides també sense que l’individu se n’adoni, tal com ha emfatitzat inclós Commission Nationale de l’Informatique et des Libertés de França(9).

Res és més personal que la pròpia cara. Reuneix diversos elements que configuren les nostres respectives i úniques identitats. La recollida, anàlisi i emmagatzematge de dades personals innates són altament invasives i fins i tot pot revelar més informació sobre una persona a part de la seva identitat, com podrien ser dades de salut(10), (11), (12).

Els programes de reconeixement facial, inclosos els sistemes de verificació i identificació, creen, recullen, comparen i retenen plantilles facials de les persones. Mentre el reconeixement facial ha eclosionat des de fa temps en l’àmbit de la investigació privada i acadèmica, ha estat només recentment(13) quan les administracions, governs i legisladors li han prestat atenció.

La magnitud dels problemes amb la tecnologia de reconeixement facial ressona clarament per les moltes ciutats que han decidit prohibir-la(14), (15). Tanmateix, altres ciutats i pobles han invertit grans quantitats en aquesta tecnologia i empreses com Clearview AI, TrueFace, AnyVision, Affectiva, Kairos, Accenture, BioID, Leidos, entre altres(16) han fet el seu agost.

En les paraules del Comitè Europeu de Protecció de Dades, “el reconeixement facial pot soscavar el dret al respecte de la vida privada i a la protecció de les dades personals, però també altres drets i llibertats fonamentals (en particular la llibertat d’expressió i informació, la llibertat de reunió i associació i la llibertat de pensament, consciència i religió). A més pot afectar a l’expectativa raonable d’anonimat dels individus en els espais públics i planteja qüestions més àmplies des del punt de vista ètic i social”(17). Finalment, s’han demostrat que la tecnologia té molts problemes de precisió(18), per exemple, que són menys precisos per identificar persones de color(19), amb gran quantitat d’errors i falsos positius(20), confonent les persones.

El processament de dades biomètriques es basa en estimacions estadístiques de la coincidència entre estimacions estadístiques de correspondència entre els elements comparats. Per tant, és intrínsecament fal·lible. La resposta que ofereix un sistema de comparació biomètrica mai és binària (sí o no); sinó que és una probabilitat de coincidència. A més, les plantilles biomètriques calculades són sempre diferents en funció de les condicions en les que es calculen (lluminositat, angle, qualitat de la imatge, resolució de la cara, etc.). Així doncs, qualsevol dispositiu es caracteritza per un rendiment variable en funció, d’una banda, dels objectius que se li assigni i, per altra banda, de les condicions en què es recullen les imatges i es comparen(21). Això vol dir a més que el reconeixement facial té un alt risc d’automatitzar biaixos ja penetrants en les societats.

Alguns exemples:

– Policia de Londres: després d’escanejar les cares de 8600 persones per buscar criminals, de 8 identificacions realitzades, 7 van resultar errònies(22).

– Congressistes d’EEUU: La tecnologia de reconeixement facial d’Amazon va confondre 28 congressistes d’EEUU per criminals condemnats quan la American Civil Liberties Union (ACLU) va creuar una base de dades amb 25000 fotos públiques de criminals amb les fotografies de 535 membres del Congrés(23).

– Registre nacional de detinguts: a Argentina, el sistema de reconeixement facial en viu fa el seguiment de possibles infractors, incloent-hi menors d’edat. Un nen de 4 anys ha estat considerat sospitós d’haver comès “delictes de lesions greus contra les persones”(24).

– Futbol: confusió d’un àrbitre calb amb la pilota(25).

– Estudi sobre la influència de la demografia en el rendiment dels algorismes de reconeixement facial: els resultats demostren que els algorismes són menys acurats en els grups de dones, persones de color i entre les edats de 18 a 30 anys(26).

A més s’ha de considerar la desviació d’ús de dades altament sensibles. L’ampliació gradual de l’ús de dades, d’una tecnologia o sistema més enllà de la finalitat per a la qual estava pensada originalment, és un problema habitual una vegada que es recopilen dades, la qual cosa sovint condueix a una possible invasió de la privadesa i un mal ús de les dades. Aquest risc és encara més gran, ja que sovint hi ha una col·lusió entre registres públics delicats i empreses privades que construeixen aquestes eines i bases de dades. Notoris són els casos recents d’empreses que no compleixen les normes bàsiques de privadesa de dades i que utilitzen imatges sense consentiment per entrenar els seus algorismes(27), (28).

En resum: “el reconeixement facial, com altres tècniques biomètriques, no és mai un tractament completament inofensiu. Fins i tot l’ús molt enquadrat pot, en cas de ciberatac, compromís o error, tenir conseqüències especialment greus”(29).

A la vista del que s’ha exposat, creiem que els sistemes que incloguin reconeixement biomètric i/o facial basats en IA poden suposar un greu greuge pels drets i llibertats fonamentals, tot i complir amb els criteris d’usabilitat, transparència, auditabilitat i rendició de comptes.
En concret, el risc de causar un perjudici discriminatori a conseqüència dels biaixos en l’entrenament algorísmic, a més de la possible intromissió il·legítima en la intimitat de les persones, impliquen que els riscos continuen sent majors que els beneficis obtinguts amb el seu ús.

Creiem que la IA pot millorar la vida de les persones i la organització social. Això ha de succeir no només en base a criteris d’ètica sinó amb els drets humans, el dret d’elecció, la minimització des del disseny i per defecte, la titularitat no monetitzable, entre altres moltes salvaguardes com a base de qualsevol protocol si no volem que l’efecte sigui just el contrari(30).
 

Aquest text és l’adaptació d’una part de la contribució d’Xnet al Projecte Gavius, per a la EU Urban Innovative Actions (març 2023).
És la versió d’un text publicat a Ctxt:
https://ctxt.es/es/20230601/Firmas/43240/xnet-IA-Inteligencia-Artificial-reconocimiento-facial-biometrica.htm
 

—–


1 – Katja Franko Aas, ‘The body does not lie’: Identity, risk and trust in technoculture, 2006.
https://journals.sagepub.com/doi/pdf/10.1177/1741659006065401

2- Emilio Mordini, Sonia Massari. Body, biometrics and identity, 2008. Pg. 2. https://www.academia.edu/2890174/Body_biometrics_and_identity

3 – Marianne Díaz, “El cuerpo como dato”, 2018.
https://www.derechosdigitales.org/wp-content/uploads/cuerpo_DATO.pdf

4 – Access Now, “An open letter to the leaders of international development banks, the United Nations, international aid organisations, funding agencies, and national governments” https://www.accessnow.org/whyid/

5 – Margit Sutrop. Ethical Issues in Governing Biometric Technologies. Pg. 5.
https://www.researchgate.net/publication/225364310_Ethical_Issues_in_Governing_Biometric_Technologies

6 – Cuadernos de Seguridad. ”Las ciberamenazas del 2020: de las deepfakes a las fugas de ADN”.
https://cuadernosdeseguridad.com/2019/12/deepfakes-amenazas-ciberseguridad-2020/

7 – Michael Mcloughlin. “No te fíes ni de una voz familiar: la industria de los “deep fakes” de audio crece en España”
https://www.elconfidencial.com/tecnologia/2020-06-14/deepfakes-audio-bulos-efecto-politica_2637752/

8 – Samuel Rodríguez. “Huellas dactilares creades con Inteligencia Artificial”. https://bigdatamagazine.es/huellas-dactilares-creadas-con-inteligencia-artificial

9 – Informe d’activitats de 2007 de la Comission Nationale de l’Informatique et Libertés.

10 – Margit Sutrop. Ethical Issues in Governing Biometric Technologies. Pg. 6.
https://www.researchgate.net/publication/225364310_Ethical_Issues_in_Governing_Biometric_Technologies

11 – Eubanks, Automating Inequality; RAO, ‘Biometric Marginality’; Lyon, Identifying Citizens; Mordini and Massari, ‘Body, Biometrics and Identity’; Mordini and Tzovaras, Second Generation Biometrics.

12 – Eubanks, Automating Inequality; O’Neil, Weapons of Math Destruction; RAO, ‘Biometric Marginality’
.
13 – The Technolawgist. “Black Lives Matter:
El reconocimiento facial evidencia la necesidad de responsabilidad algorítmica”. https://www.thetechnolawgist.com/2020/06/18/black-lives-matter-el-reconocimiento-facial-evidencia-la-necesidad-de-responsabilidad-algoritmica/

14 – Conger, Fausset, and Kovaleski, ‘San Francisco Bans Facial Recognition Technology’.

15 – Crawford, ‘Facial Recognition Laws Are (Literally) All Over the Map’; Martineau, ‘Cities Examine Proper—and Improper—Uses of Facial Recognition’.

16 – Greig, J. “One year after Amazon, Microsoft and IBM ended facial recognition sales to police, smaller players fill void”, 2021.
https://www.zdnet.com/article/one-year-after-amazon-microsoft-and-ibm-ended-facial-recognition-sales-to-police-smaller-players-fill-void/

17 – European Data Protection Board. Letter to membres pof parliament on facial recognition. 10 june 2020.
https://edpb.europa.eu/sites/edpb/files/files/file1/edpb_letter_out_2020-0052_facialrecognition.pdf

18 – UNHCR (October 2019). Report of the Special rapporteur on extreme poverty and human rights.

19 – Simonite, ‘Microsoft, IBM Facial Analyses Struggle With Race and Gender | WIRED’.

20 – Liberty, ‘Liberty’s Briefing on Police Use of LIve Facial Recognition Technology’; Burgess, ‘The Met Police’s Facial Recognition Tests Are Fatally Flawed’; Gayle, ‘Privacy Campaigners Warn of UK Facial Recognition “Epidemic”’; Fussey and Murray, ‘Independent Report on the London Metropolitan Police Service’s Trial of Live Facial Recognition Technology’.

21 – Commission Nationale de l’Informatique et les Libertés. “Reconnaissance Faciale – Pour un debat à la hauteur des enjeux”. Pg. 8.
https://www.cnil.fr/sites/default/files/atoms/files/reconnaissance_faciale.pdf

22 – Toni Castillo. “La policía londinense escaneó las caras de 8.600 personas en busca de criminales: de 8 identificaciones, 7 fueron erróneas”.
https://www.genbeta.com/seguridad/policia-londinense-escaneo-caras-8-600-personas-busca-criminales-8-identificaciones-7-fueron-erroneas

23 – Beatriz Alcántara. “El reconocimiento facial de Amazon identifica como criminales a 28 congresistas de EEUU”.
https://www.mundodeportivo.com/urbantecno/tecnologia/reconocimiento-facial-amazon-identifica-criminales-congresistas

24 – Karen Hao. “Live facial recognition is tracking kids suspected of being criminals”, https://www.technologyreview.com/2020/10/09/1009992/live-facial-recognition-is-tracking-kids-suspected-of-crime/

25 – Anna Martí. “Cuando una cámara controlada por inteligencia artificial retransmite el fútbol y confunde la cabeza de un árbitro calvo con el balón”.
https://www.xataka.com/robotica-e-ia/camara-controlada-inteligencia-artificial-confunde-cabeza-arbitro-calvo-balon-fastidia-emision-partido?

26 – Klare, Brendan F., Mark J. Burge, Joshua C. Klontz, Richard W. Vorder Bruegge, and Anil K. Jain. ‘Face Recognition Performance: Role of Demographic Information’. IEEE Transactions on Information Forensics and Security 7, no. 6 (December 2012): 1789–1801. https://doi.org/10.1109/TIFS.2012.2214212.

27 – Santi Araújo. “Esta app utilizada por la policía de EEUU y Canadá cuenta con millones de fotos obtenidas de redes sociales para poder identificarte”. https://www.genbeta.com/actualidad/esta-app-utilizada-policia-eeuu-canada-cuenta-millones-fotos-obtenidas-redes-sociales-para-poder-identificarte

28 – Roberts, ‘The Business of Your Face’; Metz, ‘Facial Recognition Tech Is Growing Stronger, Thanks to Your Face’; Solon, ‘Facial Recognition’s “Dirty Little Secret”’; Hill, ‘The Secretive Company That Might End Privacy as We Know It’.

29 – Commission Nationale de l’Informatique et Libertés. “Reconnaissance Faciale – Pour un debat à la hauteur des enjeux”. Pg. 6.
https://www.cnil.fr/sites/default/files/atoms/files/reconnaissance_faciale.pdf

30 – Xnet (2022). Proposal for a sovereign and democratic digitalisation of Europe [Reflection paper]. European Parliament.
https://op.europa.eu/en/publication-detail/-/publication/dae77969-7812-11ec-9136-01aa75ed71a1/language-en