Come SD crea le immagini

Come fa un’Intelligenza Artificiale come Stable Diffusion a generare le immagini? Ad esempio questa sotto, bella vero? Va bene, ho esagerato, diciamo simpatica dai. L’ho creata usando un modello specializzato che crea mondi fatti a maglia.

Adesso quest’altra, non è bella e non è neppure simpatica, è solo chaos, niente altro che chaos, giusto? Anche se qui ci sono i colori probabilmente a chi ha una certa età ricorda lo schermo delle tv in bianco e nero quando terminavano le trasmissioni, veniva chiamato rumore bianco. E se dicessi che le due immagini in realtà sono la stessa?

È ovvio che non sono la stessa immagine, l’unica cosa che hanno in comune sono le dimensioni. Eppure in un certo senso è vero che le due immagini, così diverse, sono la stessa immagine, perché la seconda è da dove parte SD per creare la prima.
In questo video si vedono tutti i passaggi.

Velocissimo riassunto per dire come funziona: Stable Diffusion genera un’immagine sulla base della richiesta, chiamata prompt, con cui si descrive cosa si vuole. A questa si somma un insieme di parametri vari. In realtà il vero prompt è la somma della richiesta scritta e dei parametri, è questo insieme che porta all’immagine risultante e cambiare un solo elemento porta ad un risultato diverso.
Tornando al processo, l’immagine iniziale caotica è generata mescolando tutti gli elementi con un certo metodo matematico. Banalizzando il processo l’AI li prende, li mescola per bene e crea l’immagine iniziale, si può dire che questa è la rappresentazione grafica del chaos matematico creato con il rimescolamento dei dati iniziali. La cosa interessante è che facendo più prove se tutti gli elementi sono uguali fra una prova e l’altra l’immagine iniziale e finale non cambiano.
Il meccanismo è questo: ad ogni ciclo l’AI è come se grattasse via un po’ di chaos in modo selettivo, un poco di più di un certo tipo in quel posto, un poco di meno di un altro tipo nell’altro posto (se avesse una voce potremmo sentirla dire “tolgo un poco di rosso in quel punto, tolgo tanto verde e un poco di blu in quell’altro”), arrivando al risultato chiesto.
O meglio a quello che l’AI reputa essere più vicino possibile a quella che era la nostra richiesta.
Un altro modo per descrivere il processo, che mi piace molto, è immaginare che l’AI guardando l’immagine caotica abbia un’allucinazione e riesca a vedere l’immagine finale. Una specie di pareidolia dell’intelligenza artificiale! Come sopra, l’allucinazione le fa vedere quello che ritiene sia la rispostra più probabile per la nostra richiesta.

15 febbraio 2023