Diavoli e angeli
Un test, con modelli SDXL e ComfyUI, per ricreare un’immagine generata mesi fa con SD2.1 e A1111. Anche un modo per capire meglio il sistema ed i prompt
Qualche giorno fa nel gruppo Facebook di cui sono co-amministratore nei commenti ad un sondaggio si è parlato dell’uso delle AI per fare brainstorming, il link al post è questo.
Le AI generative possono essere anche ottime suggeritrici, diventando in un certo senso partner, bisogna solo mettersi nella condizione d’animo di farsi sorprendere.
Partendo dall’immagine qua sotto provo a raccontare una prova fatta nei giorni passati.
Ovviamente si tratta di una sintografia, l’avevo generata qualche mese fa nel corso di alcune prove. È un diavolo, riverso sul pavimento ma non perde la sua aria feroce e cattiva. Mi piaceva molto, infatti l’ho salvata, per il senso di tridimensionalità della figura e la gestione di luci ed ombre, oltre al colore dl mantello. Avevo usato AUTOMATIC1111 come interfaccia ed un modello derivato da SD2.1.
M’è capitato di rivederla nei giorni scorsi, ho voluto provare a rifarla con gli strumenti che uso ora, visto che un paio di cose nel frattempo sono cambiate. La prima è che è uscito il modello SDXL, la seconda è che ho iniziato ad usare ComfyUI come interfaccia, con un workflow modello base + refiner.
La prima cosa che ho fatto è stata prendere il vecchio prompt, togliendo i Lora non usabili oggi, per inserirlo nella nuova configurazione con il modello SDXL base. Il risultato è stato questo:
Non si tratta di una singola prova, ho fatto variare il seed ed anche cambiato il modello più volte ma ho sempre ottenuto questo tipo di grafica e soprattutto con anatomie sbagliate. Per questo motivo ho deciso di rifare da capo tutto il prompt, sia il positive che il negative.
Dopo un po’ di lavoro sono arrivato a questo tipo di immagini, mi sono sembrate corrispondenti alla mia intenzione:
Quello che vedo è un essere cattivo e combattivo, con corna e ali tipo pipistrello, un diavolo vero insomma secondo l’iconografia standard.
Continuo a fare le mie prove, cercando di migliorare i risultati, ad un certo punto in mezzo ad immagini come quelle viste sopra iniziano a comparire anche immagini come queste:
Non sono immagini da diavolo, le prime due hanno pose strane. La prima se non ci fossero le ali potrebbe essere una figura di una deposizione o simili, mi sembra qualcuno disperato e/o che prega, entrambe cose poco collegabili al diavolo. La seconda mi ha richiamato, molto, il Cristo morto del Mantegna.
A questo punto mi sono fermato a pensare a queste immagini che ho deciso di prendere come un suggerimento di Stable Diffusion. Preciso subito, conosco il meccanismo usato per generare le immagini e questo non è stato stato un blocco ben definito ma semplicemente sono capitate nell’insieme di immagini create per rispondere alla mia richiesta, perché sia il prompt che l’insieme dei parametri permettevano queste immagini. SD non è cosciente, diciamo che simula bene (battuta, ovvio), però la capacità di dare proposte inaspettate è reale, se le sai cogliere.
Non credo siano immagini assolutamente nuove, tuttavia io non ci stavo pensando quando ho iniziato ad interagire con SD. Diciamo che le ho recepite come suggerimenti perché in quel momento ero “ricettivo agli stimoli”. Se vogliamo è come la mela di Newton, che di oggetti cadenti ne avrà visti altri prima ma quella proprio in quel momento mentre era preso da quei pensieri ha innescato una serie di elaborazioni che hanno portato alla legge di gravitazione universale che porta il suo nome (lo so che è un poco più complessa di così).
Continuo, a questo punto ho iniziato a pensare di sviluppare questo tema, un diavolo ma con caratteristiche da angelo, le ali di piume bianche ad esempio o l’atteggiamento.
Alcune delle immagini che ho generato:
Nel corso di queste prove ho generato alcune centinaia immagini impiegano un tempo che potrebbe essere l’equivalente un giorno lavorativo. Questo anche considerando che stavo utilizzando questo test per capire meglio il sistema SDXL + ComfyUI.
Ho testato alcuni modelli SDXL, da quello originale ad alcuni costruiti sull’originale e di qualità. Nelle le immagini generate una buona percentuale (30-40%) c’erano arti deformati o comunque errori tali da non poterle prendere in considerazione, soprattutto quando la richiesta esplicitamente chiedeva un diavolo disteso. Questo qualunque modello, da questo punto di vista quello che si è comportato meglio è stato l’originale che infatti è quello che alla fine ho usato per la maggior parte delle prove. Non tutte quelle che pubblico qui si possono considerare concluse, qualcuna infatti ha dei difetti che sarebbero da correggere o con un altro workflow oppure con una postproduzione.
Alla fine le mie preferite sono queste:
Non c’è mai il mantello che invece era presente nella prima perché in questo giro non ho lavorato su quel dettaglio. Dal mio punto di vista è stato un test interessante, credo d’avere capito qualcosa in più sulla composizione dei prompt oltre che sulle potenzialità dei modelli usati, infine mi ci sono anche divertito che non è poco.
