Le AI rubano? (II°) Come sono fatti i dataset per il training

Questa analisi è stata pubblicata nel dicembre 2023 e aggiornata nel luglio 2024 con una nota sui dati sintetici. I dataset, le licenze e le piattaforme descritti riflettono la situazione a quelle date. Per gli sviluppi successivi (sentenze Bartz vs Anthropic e Getty vs Stability, evoluzione dei dataset, nuove normative) vedi i link in fondo all’articolo.

Seconda parte di un approfondimento sul tema dell’addestramento delle AI, in relazione alla liceità dell’uso delle fonti, la prima parte è questa. Lo scopo di due articoli,nel loro insieme è capire quanto c’è di vero, o di non vero, nell’accusa che spesso si sente che il materiale per addestrare le AI è stato ottenuto con mezzi poco leciti. Ripeto la premessa fatta nella prima parte, parlo delle Ai che hanno a che fare con le immagini perché sono quelle che conosco. In questo post approfondisco il tema dei dataset, i contenitori* delle immagini poi usate per addestrare le AI. Ho messo un asterisco vicino alla parola contenitori perché è un termine che fa pensare che al loro interno ci siano effettivamente le immagini, non è sempre così.

I dataset non sono quello che pensi

Ma vediamo alcuni casi, partendo da un breve riassunto: nei dataset sono contenute immagini ma si tratta di immagini con una caratteristica, infatti devono essere descritte, devono cioè contenere metodi diversi capaci di raccontare il contenuto delle stesse, In genere si tratta di descrizioni testuali, anche se esistono metodi basati su descrizioni vocali.
Come esempio nell’immagine qua sotto sono stati usati 7 metodi diversi, riassunti dalle etichette visibili nella parte alta.

In questa attività l’apporto umano è fondamentale, infatti i metodi usati possono essere applicati solo da persone oppure da persone che controllano/supervisionano l’analisi delle AI, fase che avviene quando le macchine sono state addestrate abbastanza da iniziare a riconoscere i vari elementi.
Passiamo ora ai dataset

Open Images Dataset V7 (Google)

È il dataset costruito da Google usando 9 milioni di immagini inserite in Flickr con una delle 7 licenze Creative Commons disponibili più la possibilità di rilascio in libero dominio, l’immagine usata sopra con i diversi metodi di descrizione è stata presa da questo.
È rilasciato a sua volta con una licenza Creative Commons che ne permette l’uso anche commerciale, occorre comunque controllare sempre la parte delle licenze. Il sito è questo.

Una cosa molto interessante e credo pure poco considerata è che in realtà questo dataset non contiene realmente immagini ma contiene link alle immagini originali pubblicate in Flickr. Su questi link sono posizionati, come se fossero dei layers sovrapposti, gli elementi delle descrizioni.
La cosa diventa evidente quando per un qualsiasi motivo l’immagine originale viene cancellata, nella visualizzazione viene sostituita dalla scritta This image is no longer available in Flickr, mentre vengono mantenuti gli elementi delle descrizioni.

L’uso dei link alle immagini originali è un metodo usato anche da altri, ad esempio:

Multimedia Commons (Yahoo)

È il dataset di Yahoo, contiene oltre 99 milioni di immagini e quasi un milione di video pubblicati in Flickr con licenze Creative Commons. Anche questo dataset non contiene immagini “This dataset, however, only includes the metadata of the photos and videos (e.g. the photographers that captured them, the cameras that were used, the locations where they were taken if available, etc.) and does not include their actual content (i.e. the image and video files)” e può essere scaricato, vanno sempre controllati i termini della licenza. Il sito è questo.

Il dataset più grande finora disponibile è

LAION-5B: quasi sei miliardi di link, non di immagini

Qui 5B sta per 5 bilions, infatti contiene la bellezza di 5.850.000.000 di immagini e spiccioli, anche qui la parola contiene dovebbe essere scritta con le virgolette perché dentro non c’è davvero quel numero mostruoso di immagini ma contiene i link a quelle originali. Che sono state “raccolte” dalla rete, questo è quello che dicono loro stessi nella sezione FAQ:
LAION datasets are simply indexes to the internet, i.e. lists of URLs to the original images together with the ALT texts found linked to those images. While we downloaded and calculated CLIP embeddings of the pictures to compute similarity scores between pictures and texts, we subsequently discarded all the photos. Any researcher using the datasets must reconstruct the images data by downloading the subset they are interested in.
Il link al sito del progetto è questo.

Anche questo dataset è liberamente scaricabile ed usabile sotto una licenza Creative Commons. Da notare che di fatto non si scaricano le immagini ma si scaricano metadati, cioè i link e le note aggiunte per le descrizioni. È anche possibile entrare e vedere cosa contiene questo dataset, ad esempio è possibile vedere le immagini che hanno a che fare con i dessert, il link è questo.

Come si vede la stragrande maggioranza di queste immagini non ha nulla di creativo, chi ha scattato queste foto non ha idea di cosa sia la composizione e gli altri concetti che servono per una foto creativa. Ecco, la realtà è che nella rete una buona parte delle immagini che si trovano, probabilmente anche la maggioranza, non hanno nulla di artistico ma sono state fatte per fermare un momento, per un ricordo o magari anche solo per dire “io esisto”, le motivazioni per cui si possono pubblicare le foto in rete sono tante, quella del voler condividere arte è quella meno frequente.

Nota 2025: nel dicembre 2023, poco dopo la pubblicazione di questo articolo, il dataset LAION-5B è stato temporaneamente rimosso dopo una segnalazione dello Stanford Internet Observatory sulla presenza di contenuti illegali (CSAM). È stato successivamente ripubblicato in una versione filtrata denominata Re-LAION. La vicenda dimostra che i dataset pubblici sono soggetti a revisione e che i meccanismi di segnalazione funzionano, anche se con tempi non immediati.

Common Crawl: chi ha fatto davvero lo scraping

Un’altra cosa molto interessante, da sapere credo, di questo dataset, è l’origine dei link che usa. La scansione della rete non è stata fatta da LAION ma da un altro ente, per la precisione dal progetto Common Crawl. Di questo aspetto LAION dice Despite the “Crawling at Home” project name, we are not crawling websites to create the datasets. Common Crawl did the crawling part in the past, and they did respect the robots.txt instruction. We only analyse their data and then look at the pictures to assess their value concerning the provided alt text.
Common Crawl usa la tecnica dello scrap, rispettando però le indicazioni inserite dai gestori dei siti con i nofollow e robots.txt.
Il sito è questo.

Common Crawl è stato utilizzato anche da OpenAI per addestrare ChatGPT 3, che per le versioni successive del suo chatbot ha preferito fare tutto in casa sviluppando GPTBot, il proprio web crawler.

COCO (Common Objects in Context)

Proprio l’aspetto citato prima, cioè che in rete esistano soprattutto foto banalmente quotidiane ma proprio per questo molto utili per addestare le intelligenze artificiali, viene utilizzato per creare dataset generici, ad esempio COCO che usando le immagini di Flickr (ancora!) ha costruito un dataset di immagini che permettono di vedere i diversi elementi nei contesti reali. Il link del sito è questo.
La tecnica di analisi è chiamata segmentation, gli elementi vengono evidenziati con una forma geometrica che segue in modo approssimativo il loro profilo. Anche questo dataset è stato rilasciato con una licenza Creative Commons.
Nello screenshot un esempio di immagine analizzata con gli elementi trovati messi come icone sopra, il tasto URL permette di vedere quale è il link all’immagine originale.

Dataset che contengono davvero le immagini

Gli esempi visti finora non devono fare pensare che tutti i dataset siano stati costruiti con con la tecnica dei link alle immagini originali, esistono anche dataset, forse la maggioranza, che le immagini le contengono davvero, però capita quando non sono molte.

Cityscapes: guidare in città

È il caso di questo dataset, preparato da Daimler con due università tedesche, finalizzato all’istruzione dell’AI per l’auto a guida autonoma. A differenza dei precedenti esempi può essere scaricato ed utilizzato solo per scopi accademici. Il sito è questo.
È stato preparato mandano in giro per le città tedesche con delle telecamere sempre attive, dai video sono stati poi estratti dei frame ogni 20 secondi e questi frame sono stati analizzati, 5.000 in modo completo e 20.000 in modo parziale per un totale di 25.000 immagini contenute.
L’analisi è basata anche qui sulla tecnica della segmentation, notare in basso la stella Mercedes, l’azienda fa parte del gruppo Daimler.

Oxford Pet Database: piccolo e specializzato

Un esempio di dataset più piccolo ma più specializzato è quello preparato dal Visual Geometry Group Department of Engineering Science, University of Oxford. Raccoglie solo 7249 immagini di cani e gatti ed è rilasciato con una licenza Creative Commons. Si può vedere qui.

I dataset che esistono ma non si vedono

Di esempi se ne potrebbero fare tantissimi, perché tantissimi sono i dataset. Un esempio, il sito HuggingFace.co, uno dei principali repository del mondo delle AI, ha una delle sue sezioni principali dedicata proprio ai dataset, al momento ne contiene oltre 120.000, divisi fra Multimodal, Computer Vision, Natural Language Processing, Audio e Tabular (il numero si riferisce all’inizio del 2024, alla data di questo aggiornamento il catalogo è cresciuto ulteriormente). Relativi alla parte text-to-image se ne possono trovare oltre 3.500.

Esistono anche dataset che sappiamo come sono stati istruiti anche se non sappiamo bene dove siano, è il caso di quello usato per addestrare DALL-E, che ha utilizzato le immagini di ShutterStock, uno dei principali siti di stock, concesse in licenza. Lo sappiamo per via di un comunicato stampa di ShutterStock, in cui si parla dell’accordo strategico con OpenAI. Nel comunicato viene riportata questa frase “The data we licensed from Shutterstock was critical to the training of DALL-E,” said Sam Altman, OpenAI’s CEO“, il link è questo.

ShutterStock punta sulla versatilità della sua AI, evidenziandone le varie funzionalità (molto interessante quella che chiama assistente alla progettazione). Il link è questo.

Non è l’unico dataset che sappiamo esistere ma non sappiamo dove si trova, ne esistono altri ancora più misteriosi ma anche stavolta sappiamo della loro esistenza per via di un comunicato stampa. Per la precisione quello con cui Getty Images annunciava la causa contro Stability, nello stesso documento si legge infatti Getty Images believes artificial intelligence has the potential to stimulate creative endeavors. Accordingly, Getty Images provided licenses to leading technology innovators for purposes related to training artificial intelligence systems in a manner that respects personal and intellectual property rights.
Il link al documento è questo.

La stessa Getty di recente ha reso disponibile sulla sua piattaforma la sua AI generativa di immagini, Picasso (powered by NVIDIA come dicono loro stessi). Ovviamente sottolineano quanto sia sicuro l’uso della loro soluzione per quanto riguarda possibili problemi relativi alla gestione dei diritti perché allenata con immagini gestite dalla stessa Getty. La pagina è questa.

Un altro gestore di immagini per conto degli autori è Adobe con il suo service Adobe Stock. Anche loro hanno reso disponibile una loro versione di AI generativa di immagini, Firefly, oltre ad avere integrato funzioni AI in PhotoShop. Il link per Firefly è questo.

Ma cosa fa il più grande “gestore di immagini”, Meta? Ha creato EMU, sia nelle versione per immagini che per video. Qui sotto lo screenshot della pagina in cui è possibile provare questo tool, il link è questo .

I casi di ShutterStock, Getty Images, Adobe e Facebook/Meta sono possibili perché quando ci si iscrive a qualche service, tutti, si concedono delle licenze d’uso che di fatto permettono loro di fare quello che desiderano e come si vede lo fanno.

Ovviamente scherzavo parlando di dataset misteriosi, di fatto al momento esistono tantissimi dataset pubblici ma esistono anche tantissimi dataset privati. Infatti è possibile allenare con propri dati una AI, basta immaginare un’azienda che istruisce con i propri documenti riservarti la sua AI installata sui suoi sistemi oppure appoggiandosi ad un service che però garantisce la protezione dei documenti.

La conclusione: l’accusa regge alla verifica?

Conclusione, spero che questa carrellata di esempi vari abbia dimostrato come l’idea che tutti i dataset siano costruiti con materiale preso senza autorizzazione sia quanto meno non corretta.

Aggiornamento luglio 2024: i dati sintetici

Nel mondo delle AI sono arrivate quelle capaci di generare dati sintetici, utili sia per creare dataset di training di altre AI sia per generare dati per simulazioni sociali ed economiche/demografiche.
Un’applicazione di questi tool arriva da Stability e dal rilascio del suo ultimo modello, SD3. Nella pagina specifica su Hugging Face (è questa) nel paragrafo sul dataset utilizzato per il training si può leggere:

We used synthetic data and filtered publicly available data to train our models. The model was pre-trained on 1 billion images. The fine-tuning data includes 30M high-quality aesthetic images focused on specific visual content and style, as well as 3M preference data images.

Questo da un lato permette di svincolarsi dall’uso di immagini prese dalla rete, che anche ottenute legalmente come negli esempi visti sopra potenzialmente possono portare problemi di vario tipo, dall’altro introduce un nuovo livello di complessità in relazione al controllo necessario di questi dati.

Le AI rubano? (II°) Come sono fatti i dataset per il training