C’è del marcio nelle AI?
Da un’analisi dello Stanford Internet Observatory è risultato che LAION-5B conteneva 3226 immagini pedopornografiche, le hanno trovate perché LAION è aperto
In questi giorni sta girando la notizia che in LAION 5B, uno dei più importanti dataset forse il più importante, hanno trovato delle immagini pedopornografiche.
È vero, le hanno trovate i ricercatori dallo Stanford Internet Observatory, un programma di ricerca della Stanford University, facendo una ricerca all’interno del dataset (il link allo studio è questo)
Il report è uscito qualche giorno fa e la notizia sta iniziando a girare. Ma quella che sta uscendo è una narrazione parziale, e spesso le cose raccontate a metà distorcono più che raccontare.
Provo a dare i dettagli che mi sembrano utili per inquadrare il problema per quello che riguarda i dataset non le immagini stesse e quello che si portano dietro, non mi sento titolato a farlo ed al massimo potrei fare discorsi da bar (è anche un invito ad evitare di farli qua sotto).
È vero, hanno trovato delle immagini pedopornografiche, per la precisione 3226. Trovate dentro LAION-5B, il dataset più grande al momento con 5 miliardi 850 milioni e spiccioli di immagini. Per capire la portata può essere utile calcolare la percentuale di presenza di queste immagini, che in un certo senso rappresenta anche la probabilità di “incontrare” una di queste immagini. È un calcolo semplice, 3.226 su 5.850.000.000. Per semplificare i calcoli diciamo che quelle trovate sono 3.000 e il dataset ne contiene in tutto 6 miliardi, cioè 3.000/6.000.000.000 che con i calcoli che si insegnano alle elementari diventa 1/2.000.000, in percentuale 0.0000005%.
Come hanno fatto a trovarle? Non certo guardandole una ad una, anche solo pensando di vederne una al secondo una persona impiegherebbe quasi un paio di secoli, 24 ore al giorno tutti i giorni di tutti gli anni. Hanno impiegato di programmi automatici che usano algoritmi matematici in grado di analizzare le immagini e “capire” il contenuto. Sistema in qualche modo obbligatorio usarlo perché è proibito il possesso anche per motivi di studio di immagini di un certo tipo.
Tra l’altro il numero di immagini trovate (lo ripeto ancora una volta, 3226 su 5 milardi 850 milioni e spiccioli) conferma quello che hanno detto i responsabili di LAION, dei filtri sono stati applicati nella fase di selezione delle immagini da inserire, filtri che nella miglior tradizione Open Source sono pubblici e condivisi, come è scritto nel comunicato qua sotto (cliccando sull’immagine si apre il link alla pagina nel sito)
A questo punto si potrebbe chiedere perché mai i dataset di LAION continuano ad essere usati visto che è proibito anche solo detenerle quelle immagini. La risposta è semplice, in realtà non contengono immagini ma contengono i link alle immagini originali più tutta una serie di metadati fatti di descrizioni e di analisi come quelle fatte dallo Stanford Internet Observatory.
E qui arriviamo a quello che secondo me è uno dei punti importanti di questa vicenda ma finora poco evidenziato, i ricercatori dell’università hanno potuto farlo perché i dataset di LAION sono aperti, cioè è possibile scaricarli e vedere cosa c’è dentro. Che questo sia importate e forse pure fondamentale lo dimostra proprio quello che ho raccontato.Per me questa vicenda è la conferma della bontà dei modelli aperti, allo stesso tempo conferma quanto sia rischioso l’approccio chiuso. Ne esistono molti, di qualcuno sappiamo la fonte, ad esempio DALL-E 3 ha usato (anche?) ShutterStock, ma non possiamo vedere le immagini, di altri non sappiamo neppure la fonte (Midjourney ad esempio). Ma pure i social, a cominciare da questo che ci ospita, che di anfratti nascosti ne ospita parecchi.
Al momento LAION ha disattivato i dataset incriminati per sistemarli (sono LAION-5B e LAION-400M, un altro dataset che “contiene” solo 400 milioni di immagini, come per l’altro in realtà i link alle immagini originali), chiedendo ai ricercatori di Stanford di unirsi in questo lavoro.
Il problema è reale e trovare una soluzione non è banale e neppure scontato. Cancellare quelle immagini o tenerle per istruire le AI su cosa non devono generare e magari prima ancora sapere riconoscere quei contenuti?
Questo articolo è una tappa del Percorso Cos’è un dataset e come si forma, che lo unisce ad altri articoli del blog su questo tema.
