Transparència algorítmica
ÒSCAR CAPDEFERRO
Professor de Dret Administratiu UB
Mitjançant l’ús de sistemes automatitzats, basats en IA, es prenen decisions que poden tenir un gran impacte en la vida de les persones, i que poden afectar-los de manera significativa en els drets. Així, es pot haver valorat de manera automatitzada la idoneïtat de concedir a algú un crèdit, se’n pot haver determinat la posició en la llista d’espera d’un servei d’urgències mèdiques, se li pot haver concedit o denegat un ajut públic, o bé se’l pot haver seleccionat per a una inspecció. Fins i tot, se’l pot haver sancionat de manera plenament automatitzada.
Davant la transcendència dels efectes dels algorismes en la vida de les persones actualment, resulta essencial poder determinar que actuen guiats per criteris conformes a l’ordenament jurídic, i és també essencial poder comprovar que apliquen aquests criteris de manera correcta, sense errors ni interpretacions esbiaixades de les dades. En aquesta tasca de control, la transparència es converteix en un instrument clau, ja que permet conèixer el sistema, i supervisar-ne el disseny i funcionament.
Aquesta transparència algorítmica té, com a mínim, dos nivells. El primer nivell seria informatiu, en el qual es dona a conèixer públicament que una determinada tasca es fa de manera automatitzada o bé semi- automatitzada, és a dir, assistida per un sistema d’IA que, amb els seus resultats, orienta la persona decisora en una tasca o funció concreta. Per complir aquest primer nivell de transparència, actualment ja hi ha en vigor legislació que exigeix publicar la relació dels sistemes automatitzats i d’IA utilitzats per les administracions públiques, com és el cas de la Llei 1/2022, de 13 d’abril, de transparència i bon govern de la Comunitat Valenciana.
El segon nivell de transparència, més intens, es refereix a posar a disposició elements que permetin comprendre el funcionament del sistema d’IA. En aquest tipus de transparència, algunes eines efectives poden ser subministrar informació sobre el sistema i el seu funcionament (de manera comprensible per al públic no especialitzat), o bé permetre l’accés al sistema (al codi) per tal que les persones amb coneixements tècnics suficients puguin validar la correcció del disseny i funcionament d’aquest sistema. En aquesta línia, el Reglament (UE) 2024/1689, d’intel·ligència artificial de la Unió Europea, incorpora obligacions de transparència, que impliquen el deure d’informar de manera clara sobre l’ús d’IA.
"Davant la transcendència
dels efectes dels algorismes
en la vida de les persones actualment, resulta essencial poder determinar que actuen guiats per criteris conformes
a l’ordenament jurídic, i és també essencial poder comprovar que apliquen aquests criteris de manera correcta, sense errors ni interpretacions esbiaixades
de les dades."
En canvi, actualment la tendència és l’oposada, en la qual l’opacitat algorítmica sembla predominar per sobre de la transparència. Així, les persones jurídiques dedicades a desenvolupar sistemes d’IA tendeixen a protegir els seus dissenys, en tant que secrets empresarials o en virtut dels drets de propietat intel·lectual o industrial. I, en el sector públic, no és estranya tampoc la tendència a l’opacitat, amb arguments semblants (propietat intel·lectual o industrial) o d’altres, com ara l’eventual pèrdua d’efectivitat que patirien els sistemes que es fan servir per detectar possibles infraccions en cas de fer-se’n públics els patrons de detecció.
En últim lloc, és important destacar que l’opacitat pot derivar també de causes tècniques, ja que el funcionament complex d’alguns sistemes d’IA pot dificultar l’explicabilitat del seu funcionament i la justificació dels resultats obtinguts. Aquest factor ha portat al fet que, fent al·lusió a l’opacitat generada en el funcionament d’algoritmes, sigui freqüent l’ús del terme «caixa negra» per descriure especialment aquells sistemes d’IA dotats d’una autonomia elevada, i amb capacitat pròpia per fer aprenentatges a partir de les dades.