Ancora sui bias
Una chiacchierata sulle origini dei bias, che si creano anche durante la preparazione dei dataset, quando le persone non sono preparate
Di bias delle AI se ne parla anche se sembra un poco un argomento per iniziati. Le cause sono note, dipendono dai materiali caricati in rete che per molti motivi tendono ad essere polarizzati nel loro rappresentare il mondo. Giusto per fare un esempio, è certamente molto più presente la parte ricca/benestante del mondo, che quella povera magari con poche infrastrutture che rendono difficile problematico l’accesso alla rete. Avevo già parlato di questo argomento in un precedente articolo, questo.
Ma non si tratta qualcosa dovuto solo alle fonti dei materiali che si trovano nel web, c’è anche un altro meccanismo legato alle modalità di costruzione dei dataset. Infatti c’è sempre un controllo umano in questa fase ed è dove sorge il problema.
Andiamo per passi, questo è il dataset di Google, Open Image Dataset V7, usa le immagini di Flickr rilasciate con le licenze Creative Commons (questa è la pagina che raccoglie le immagini che contengono la tag acoustic guitar).
Se si apre una qualsiasi di delle immagini contenute nel dataset si possono vedere tutte le informazioni collegate appunto con la specifica foto, ad esempio questa
Le tracce grafiche che si possono vedere visualizzano i diversi metodi di analisi (qui sono 7) ed individuazione degli elementi. Questo lavoro permette di arrivare ad avere immagini descritte edi testi visibili sono appunto una parte delle descrizioni. Questa fase può essere fatta completamente da persone oppure può essere fatta in parte dalle AI e dalle persone. Ed è appunto qui che può nascere il problema che voglio raccontare qui.
Nel dataset di Google ci sono anche alcune immagini che contengono la tag nduja, l’insaccato calabrese, sono poche foto e sono tutte visibili in questo screenshot.
Sono così poche e variabili che non bastano per fare capire alla macchina cosa sia la ‘nduja. Oltretutto si vede che alcune immagini sono state descritte in modo sbagliato perché evidentemente non la contengono ma sono relative ad altri cibi.
Si comincia a capire il problema, quanto meno si capisce che c’è qualcosa che non funziona. Per approfondire apriamo la foto con gli spaghetti.
Nella colonna di destra si possono vedere le tag inserite dalle persone, sia positive (cosa secondo loro c’è nell’immagine), sia negative (cosa, sempre secondo loro, non c’è nell’immagine). Una buona parte delle tag positive fa riferimento a cibo orientale, soprattutto noodles. Probabilmente persone che non conoscono gli spaghetti ma direi poco anche la cucina cinese. Ci sono anche alcune risposte fantasiose
Il testo sotto fa una specie di riassunto totale dell’analisi sia da parte umana che dell’AI ed è:
Image has 58 human-verified positive labels, and 69 negative ones.
Machine detected 36 image labels (score and name):
0.984 Al dente, 0.983 Naporitan, 0.980 Food, 0.975 Dish, 0.973 Cuisine, 0.960 Bucatini, 0.957 Spaghetti, 0.948 Bigoli, 0.945 Pasta pomodoro, 0.931 Fra diavolo sauce, 0.931 Noodle, 0.917 Pici, 0.916 Ingredient, 0.915 Capellini, 0.911 Yi mein, 0.883 Spaghetti aglio e olio, 0.864 Chinese noodles, 0.856 Fideo, 0.851 Stringozzi, 0.847 Amatriciana sauce, 0.846 Vodka sauce, 0.837 Spaghetti alla puttanesca, 0.814 Shirataki noodles, 0.774 Instant noodles, 0.771 Chow mein, 0.725 Pancit, 0.701 Mie goreng, 0.691 Arrabbiata sauce, 0.664 Fried noodles, 0.654 Agujjim, 0.648 Hot dry noodles, 0.632 Produce, 0.628 Asian food, 0.594 Hokkien mee, 0.561 Chinese food, 0.559 Yakisoba.
Ecco, l’analisi sbagliata fatta dalle persone ha portato l’AI a ritenere che la descrizione più probabile del piatto sia al 98,4% Al dente.
Che ovviamente non vuole dire nulla, almeno in relazione al soggetto della foto. La seconda opzione data al 98,3 %, Naporitan, è il nome di una ricetta giapponese per gli spaghetti, un condimento a base di ketchup al pomodoro o pomodoro, cipolla, funghi, salsa a base di peperoncini verdi e bacon.
Questo capita quando le analisi e le relative descrizioni, come pure la parte di controllo del lavoro delle AI, vengono fatte da persone che non conoscono la realtà in cui le foto sono state scattate, è insomma un problema culturale. Che non riguarda solo il cibo ma potenzialmente potrebbe andare ad alterare tutte le descrizioni di immagini che hanno a che fare con culture locali, portando a rappresentazioni scorrette che poi vengono adottate dalle intelligenze artificiali.
Per la cronaca, la descrizione originale fatta dall’autore della foto e pure cuoco del piatto è
Per chi volesse andarlo a vedere il post originario il link è questo.
Questo articolo è una tappa del Percorso Cos’è un dataset e come si forma, che lo unisce ad altri articoli del blog su questo tema.
