Cose che le AI non sanno fare
A volte sembra che le AI generative di immagini non conoscano certi oggetti, eppure sono state istruite con miliardi di immagini. Perché capita?
INTRODUZIONE
Quando chiediamo alle AI di generare immagini di oggetti specifici, spesso riceviamo risultati che somigliano solo lontanamente alla nostra richiesta. Questo comportamento delle AI generative di immagini colpisce particolarmente perché sappiamo che sono state addestrate utilizzando centinaia di milioni di immagini, in alcuni casi addirittura miliardi. Di fronte a questi numeri verrebbe naturale pensare che le AI conoscano ogni cosa, o perlomeno sappiano rappresentare ogni oggetto esistente. Per spiegare perché questo non accade serve una premessa: i modelli di cui parliamo sono i foundation models, modelli base e per questo generalisti, addestrati con i dataset più estesi. Per chiarezza, i dataset sono le raccolte di immagini utilizzate durante l’addestramento dei modelli.
LA COMPLESSITÀ DEL MONDO
La realtà che ci circonda presenta una complessità straordinaria, che si manifesta anche nel numero elevatissimo di oggetti esistenti. Per rendersene conto basta fare una prova: guardandosi attorno mentre si legge questo articolo e provando a elencare gli oggetti visibili, anche solo come categorie (un’auto o 10 auto la categoria è sempre e solo “auto”) se ne contano facilmente decine e decine. Bisogna poi considerare quante varianti possono esistere all’interno di una singola categoria. Riprendendo l’esempio delle auto quanti tipi ce ne sono, e quanti modelli?. Non solo: poiché le immagini sono bidimensionali ma il mondo è tridimensionale, una singola foto o anche poche non bastano, perché ogni oggetto ha molteplici lati e ogni punto di vista necessita di essere documentato. Non è possibile quantificare con precisione quante foto servirebbero per insegnare a una AI come sono fatte le auto, ma sappiamo che occorrerebbero moltissime immagini per mostrare ogni dettaglio da ogni angolazione possibile.
COME DEVONO ESSERE LE IMMAGINI
Questo ragionamento, applicato a ogni oggetto esistente, mostra che per descrivere l’intero mondo materiale servirebbe un numero di immagini davvero enorme. Nel termine “immagini” includiamo anche rappresentazioni non fotografiche presenti nei dataset. La situazione si complica ulteriormente perché non servono immagini qualsiasi: devono essere immagini descritte, vale a dire dotate di un sistema che permetta di identificare gli elementi che le compongono. Questo sistema facilita notevolmente il processo di apprendimento dell’intelligenza artificiale, permettendole di identificare meglio le strutture che si ripetono. Uno dei metodi utilizzati prevede l’associazione di etichette testuali (chiamate label) a rettangoli che identificano gli elementi dell’immagine che si vogliono evidenziare.
da Open Images Dataset V7
L’apprendimento avviene in questo modo: l’AI, osservando numerose immagini contenenti microfoni ed etichettate con la parola “microfono”, impara a riconoscere questo oggetto dalle forme ricorrenti. Dalla descrizione apprende che quella particolare forma si chiama microfono, creando così un’associazione tra parola e oggetto. Ricordiamo che parliamo di AI generative di immagini basate sulla tecnica text-to-image, che genera immagini partendo da richieste testuali. Per questo motivo l’intelligenza artificiale deve imparare sia a riconoscere le forme degli oggetti sia i loro nomi. Questo processo costituisce anche la base del linguaggio che l’AI arriva a conoscere.
La descrizione delle immagini richiede attenzione anche per gli oggetti più comuni. Ciò che appare ovvio in una cultura potrebbe non esserlo in un’altra. Un esempio concreto riguarda gli spaghetti: mentre ogni italiano li riconosce immediatamente, chi è abituato alla cucina orientale potrebbe interpretarli diversamente. Non si tratta di una supposizione: durante la preparazione delle descrizioni delle foto per le AI, diverse persone hanno identificato un piatto di spaghetti come varie pietanze orientali.
da Open Images Dataset V7
Lo stesso accade in senso inverso: per noi italiani risulta difficile identificare correttamente i piatti della cucina cinese.
La situazione diventa ancora più complessa quando consideriamo gli oggetti di nicchia, utilizzati in ambiti tecnologici o specialistici. Pensiamo ai componenti di un’automobile: se la immaginassimo smontata fino all’ultima vite, quanti di noi saprebbero identificare ogni pezzo? O consideriamo quanti elementi diversi servono per costruire una casa.
La complessità aumenta ulteriormente se consideriamo che finora abbiamo parlato solo di oggetti del nostro tempo presente. La storia dell’umanità si estende per un periodo lunghissimo, anche se relativamente breve rispetto alla storia della Terra o dell’Universo. Durante questo tempo abbiamo creato, utilizzato e abbandonato innumerevoli oggetti diversi, molti dei quali sono noti oggi solo agli storici. Le differenze tra un archibugio e una spingarda, ad esempio, sono conosciute da pochi specialisti.
Il discorso si estende ben oltre la storia umana, includendo l’intero mondo naturale. Gli insetti rappresentano un caso esemplare: si contano circa un milione di specie attuali, sono presenti sulla Terra da 300 milioni di anni. Inoltre, superando il sottile strato dell’atmosfera che ci protegge, troviamo l’immensità dell’Universo.
Considerando tutti questi elementi, si comprende perché al momento non esista una AI in grado di generare immagini di qualsiasi cosa.
I DATASET
Il dataset più esteso attualmente esistente, LAION 5B, contiene 5 miliardi e mezzo di immagini di vario tipo, dalle fotografie alle illustrazioni. Nonostante la sua dimensione impressionante, nemmeno questo dataset riesce a rappresentare l’intera complessità del mondo. Il numero di immagini, per quanto elevato, non garantisce una copertura sufficiente per ogni oggetto. La questione della descrizione resta centrale: avere 10.000 immagini di un oggetto non serve se questo non viene identificato con un nome specifico. In assenza di descrizioni, l’AI potrà riconoscere una forma ricorrente ma non saprà associarla al termine corretto nella richiesta testuale.
Riguardo alla costruzione dei dataset, LAION raccoglie immagini dalla rete, mentre altri dataset come COCO (Common Objects In Context) o Open Images Dataset V7 di Google utilizzano immagini con licenze Creative Commons. Esistono anche dataset proprietari, costruiti tramite accordi con gestori di grandi archivi di immagini, di cui spesso non conosciamo né i contenuti né l’esistenza.
Per comprendere meglio la costruzione dei dataset e le questioni legali correlate, esistono due articoli di approfondimento da consultare, tenendo presente che alcune informazioni potrebbero essere cambiate nel tempo:
• I grandi repository di immagini, con un’analisi dei termini di servizio www.ai-know.pro/le-ai-rubano-si-no-boh-1/
• Provo a rispondere alla domanda se le AI sono state addestrate rubando le immagini dalla rete
www.ai-know.pro/le-ai-rubano-si-no-boh-2/
Per chi non ha avuto modo di leggere questi articoli, i dataset più ampi non contengono immagini create appositamente per addestrare le AI. Si sono invece serviti, in modi diversi, di immagini già presenti da anni su vari siti, come le piattaforme di stock photography Shutterstock e Getty Images, siti come Flickr o i social media.
Su queste piattaforme gli utenti caricano immagini seguendo logiche personali, senza pensare a un possibile utilizzo per l’addestramento delle AI. Le motivazioni del caricamento sono principalmente estetiche, per mostrare le proprie capacità fotografiche, o sociali, per condividere momenti di vita quotidiana. Ne consegue una predominanza di soggetti comuni o legati alle dinamiche dei social media.
Oltre alle descrizioni integrate nelle immagini di cui abbiamo parlato, esistono anche descrizioni esterne come didascalie, titoli assegnati dall’autore al momento del caricamento, nome dell’autore e altre informazioni. Queste descrizioni vengono interpretate come riferite all’immagine nel suo complesso, ma se non contengono informazioni rilevanti risultano inutili per l’addestramento.
da Open Images Dataset V7
Ovviamente vengono interpretate come generali dell’immagine nel suo insieme, se però non contengono in origine informazioni sono inutili dal punto di vista del training. Ad esempio una foto di un piatto di spaghetti, se il titolo dato dall’autore è “la mia cena” si tratta di una descrizione che non contiene informazioni e quindi non utile, il risultato sarà che quella foto non aiuta l’AI a definire il concetto di “piatto di spaghetti” e variazioni sul tema.
Considerando tutti questi fattori, un’AI incontrerà difficoltà nel rappresentare oggetti di cui esistono poche immagini o descrizioni inadeguate. Non sorprende che gli oggetti tecnologici o di nicchie particolari siano quelli più frequentemente rappresentati in modo impreciso.
Un esempio concreto è il pignone elicoidale, componente molto utilizzato in meccanica. Le immagini generate da Image Creator di Microsoft e Midjourney mostrano evidenti differenze rispetto a un pignone reale.
Foto di pignone elicoidale
Image Creator
Midjourney
Ovviamente ho fatto più prove ed ho cercato di selezionare il risultato medio per entrambe le AI.
Anche versioni particolari di oggetti relativamente comuni possono risultare problematiche per le AI. Le bisarche, i camion a due piani per il trasporto di automobili, vengono spesso rappresentate in modo impreciso da Midjourney rispetto alle bisarche reali, come quella del 1959 usata come riferimento.
Bisarca (Foto del 1959 da Wikipedia)
Midjourney
Midjourney
Midjourney
CONCLUSIONE
Il mondo presenta una complessità troppo vasta perché le attuali AI generative possano avere informazioni sufficienti per generare immagini corrette di ogni oggetto, sebbene riescano a rispondere adeguatamente alla maggior parte delle richieste. L’incapacità dei foundation models di rappresentare correttamente un pignone elicoidale non significa che sia impossibile farlo con le AI in generale.
Un metodo possibile consiste nell’addestramento di modelli specifici su determinati oggetti, partendo da dataset specializzati.
Esiste anche un’alternativa: l’inserimento dell’oggetto fotografato in una scena costruita con l’AI. Non si tratta di un montaggio tradizionale come in Photoshop, ma di un inserimento rigenerativo che adatta l’oggetto in modo coerente con la scena.
Questo articolo è una tappa del Percorso Cos’è un dataset e come si forma, che lo unisce ad altri articoli del blog su questo tema.
