AI su smartphone, un test

Nel precedente articolo (Installare una AI sul proprio smartphone) ho raccontato di come si installa l’app, ancora sperimentale, AI Edge Gallery di Google. In questo articolo condivido un test che ho fatto utilizzando uno dei modelli della famiglia Gemma 3, una famiglia di modelli sviluppata da Google per l’uso specifico in locale, su desktop, laptop e ultimamente anche smartphone.

Per ora ho scaricato solo il modello più pesante dei tre disponibili di default nell’app, il Gemma-3n-E4B-it, un file di 4,7 GB. Per confronto lo stesso modello versione desktop pesa 7,35 GB. Viste le premesse, sistema e modelli ridotti rispetto ad un desktop o rispetto ad un service, è lecito aspettarsi una qualità delle risposte inferiore rispetto ad esempio a ChatGPT., per questo ho fatto velocemente alcuni test, senza la pretesa di avere testato in modo approfondito l’app riporto qui il workflow ed il risultato.
• Usando il modulo Audio Scribe ho registrato un audio in cui decrivevo velocemente cosa volevo ottere, la durata massima registrabile è di 3′”
• Partendo dall’audio ho chiesto di generare un prompt per ottenere un report sull’uso degli LLM su smartphone
• Ho passato il prompt generato al modulo AI Chat, allego sotto il risultato. Ho fatto generare il report due volte, una usando la CPU ed una usando la GPU, i tempi sono stati circa 4,5 minuti con la GPU, circa 9,5 minuti per la CPU. Le risposte erano ovviamente diverse, ma la lunghezza è risultata più meno simile.

Qualche considerazione, il testo non è perfetto, richiede d’essere controllato e in qualche punto d’essere anche rivisto, ma questo dovrebbe essere fatto sempre con ogni elaborato di un’AI generativa. È però strutturato bene e quasi pronto per una pubblicazione, giusto con il minimo d lavoro di revisione richiesto.
Tempo totale dell’intero workflow, dall’avvio della registrazione per descrivere la richiesta del prompt al testo finale meno d 10 minuti nel test con la GPU.

Considerazioni sull’app, si vede che è una beta, alcune note:
• manca un pulsante per scaricare i risultati delle elaborazioni ma occorre usare il copia-incolla
• non salva le risposte ma solo le richieste
• quando si apre una vecchia richiesta genera una nuova risposta.

A proposito di copia-incolla, la sensibilità al tap sembra diminuita, in modo anche importante, rispetto alle altre app, bisogna provare un po’ di volte.
Una volta selezionato tutto il testo nelle opzioni di condivisione c’è anche l’opzione per salvate su Google Drive, tanto per restare nello stesso ecosistema, così ho fatto.

Questo è il report generato dall’AI sul mio smartphone:

Report sull’Utilizzo degli LLM su Smartphone: Potenziale, Uso Pratico e Differenze Rispetto a Desktop e Servizi Online

Autore: [Il tuo LLM – oppure specifica se vuoi attribuzione]

Indice:

1. Introduzione: La Rivoluzione Mobile degli LLM
2. Cos’è un LLM? Una Breve Introduzione
3. Potenzialità degli LLM su Smartphone
4.Uso Pratico: Casi d’Uso Specifici
5. Differenze rispetto a Desktop e Servizi Online
5.1 Prestazioni e Risorse
5.2 privacy e Sicurezza
5.3 Accessibilità e Convenienza
5.4 Limitazioni e Compensazioni
6. Sfide e Ostacoli:
6.1 Restrizioni Hardware
6.2 Consumo Energetico
6.3 Disponibilità di Modellini Ottimizzati per Smartphone
7. Futuro dell’LLM su Smartphone
8. Conclusioni

1. Introduzione: La Rivoluzione Mobile degli LLM

I modelli linguistici di grandi dimensioni (LLM) hanno rivoluzionato l’elaborazione del linguaggio naturale. In passato, l’utilizzo di questi potenti strumenti era prerogativa di server complessi e dispositivi desktop performanti. Tuttavia, l’avvento di architetture hardware più potenti negli smartphone e lo sviluppo di modelli ottimizzati per ambienti mobili stanno rendendo gli LLM accessibili direttamente sui dispositivi mobili. Questo report esplora il potenziale, l’uso pratico e le differenze chiave nell’utilizzo degli LLM su smartphone, confrontandolo con le esperienze disponibili su desktop e servizi online. La crescente capacità dei processori mobili, combinata con algoritmi innovativi di compressione del modello, apre nuove opportunità per trasformare la fruizione di informazioni e servizi sulla nostra vita quotidiana.

2. Cos’è un LLM? Una Breve Introduzione

Gli LLM sono modelli di apprendimento automatico basati su reti neurali profonde, addestrati su enormi quantità di dati testuali. Grazie a questa addestramento su larga scala, gli LLM sviluppano la capacità di comprendere, prevedere e generare testo. Possono essere utilizzati per compiti quali traduzione linguistica, generazione di contenuti, riassunto di testi, risposta a domande e completamento di frasi. Esempi popolari di LLM includono GPT (Generative Pre-trained Transformer), BERT (Bidirectional Encoder Representations from Transformers) e LaMDA (Language Model for Dialogue Applications). Il funzionamento interno di questi modelli è complesso, ma in linea generale coinvolge la predizione della parola successiva in una sequenza basandosi sul contesto fornito, apprendendo relazioni statistiche tra parole ed espressioni.

3. Potenzialità degli LLM su Smartphone

L’implementazione degli LLM su smartphone offre un’ampia gamma di potenzialità. Tra le più significative troviamo:
• Assistenza Vocale Intelligente: Gli LLM permettono agli assistenti vocali di comprendere meglio il linguaggio naturale, rispondendo in modo più accurato e pertinente alle richieste dell’utente. Consentono conversazioni più naturali e fluide.
• Traduzione Automatica in Tempo Reale: Gli smartphone con LLM possono fornire traduzioni automatiche più precise e fluide in tempo reale, utile per viaggi, conversazioni internazionali e apprendimento linguistico.
• Riassunto Automatica di Testi Lunghi: Risparmio di tempo fornendo riassunti concisi di notizie, documenti e ricerche. Utile per accedere rapidamente alle informazioni chiave.
• Generazione Creativa di Contenuti: Gli smartphone possono scrivere email, storie brevi, poesie, e altro con l’ausilio di LLM. Pensate alla possibilità di scrivere post sui social media direttamente dal vostro smartphone, generando idee, formulando frasi e correggendo grammatica e sintassi.
• Q&A migliorato: Gli LLM trasformano le funzionalità di risposta a domande degli smartphone rendendole più accurate e contestualmente rilevanti.
• Personalizzazione dell’Esperienza Utente: Utilizzo dei dati del dispositivo e delle preferenze dell’utente per offrire suggerimenti e contenuti personalizzati.

4. Uso Pratico: Casi d’Uso Specifici

Ecco alcuni casi d’uso pratici che sfruttano gli LLM su smartphone:
• Scrittura Assistita: Gmail offre già funzionalità di scrittura assistita, ma con gli LLM si può raggiungere un livello più avanzato, con suggerimenti più mirati e personalizzati.
• Assistenza clienti immediata: Chatbot alimentati da LLM possono rispondere a domande semplici dell’assistenza clienti direttamente tramite messaggi di testo o applicazioni dedicate.
• Strumenti di apprendimento: Tutori linguistici personalizzati che si adattano al ritmo di apprendimento dell’utente.
• Traduzione durante le conversazioni: Assistenza alla comunicazione in viaggio in paesi stranieri.
• Analisi di sentiment sui social media: Gli utenti possono capire rapidamente le opinioni espresse nei commenti e nei post.
• Programmazione tramite comando vocale: I programmatori possono scrivere del codice con la voce, assistiti dagli LLM.

5. Differenze rispetto a Desktop e Servizi Online

Sebbene le applicazioni basate su LLM siano presenti sia sui dispositivi mobili che sui desktop e tramite servizi online, le loro caratteristiche e le loro differenze risultano significative:
5.1 Prestazioni e Risorse: Gli LLM su smartphone operano con capacità computazionali limitate rispetto a server potenti o desktop ad alte prestazioni. Questo significa che le prestazioni possono essere inferiori e la generazione di testo più lenta. Inoltre, lo spazio di archiviazione è meno, risultando nella necessità di modellini ottimizzati per l’utilizzo su dispositivi mobili. I modelli utilizzati su desktop spesso richiedono GPU avanzate, assenti negli smartphone.

5.2 Privacy e Sicurezza: Gli LLM sui dispositivi mobili consentono una maggiore privacy rispetto ai servizi online, perché i dati vengono elaborati localmente e non trasmessi a server esterni. Questo può essere un vantaggio significativo per garantire la riservatezza delle informazioni sensibili. I servizi online raccolgono dati sull’utente per personalizzare le esperienze, mentre le applicazioni locali riducono questo rischio. La protezione dei dati e il controllo da parte dell’utente è maggiore.

5.3 Accessibilità e Convenienza: La principale vantaggio è la possibilità di accedere ai servizi LLM ovunque e in qualsiasi momento, senza dipendere da una connessione internet stabile. Questo offre una grande comodità, soprattutto durante i viaggi o in aree con scarsa connettività. Anche gli utenti offline possono beneficiare delle funzionalità offerte.

5.4 Limitazioni e Compensazioni: Le risorse limitate degli smartphone impongono delle limitazioni. I modelli LLM sviluppati per smartphone sono solitamente più piccoli e meno potenti di quelli utilizzati su desktop e servizi online. Questo può influire sulla qualità dell’output e sulla varietà dei modelli disponibili. I produttori ottimizzano i modelli per massimizzare l’efficienza e ridurre l’impatto sull’autonomia della batteria. Queste ottimizzazioni possono sacrificare una certa accuratezza e capacità espressiva.

6. Sfide e Ostacoli

6.1 Restrizioni Hardware: I processori mobili sono significativamente meno potenti dei processori desktop e dei server. Questo limita la dimensione dei modelli LLM che possono essere distribuiti su smartphone. Anche la quantità di memoria (RAM) è più limitata.

6.2 Consumo Energetico: L’utilizzo di LLM può richiedere una quantità significativa di energia. Questa esigenza richiede un’ottimizzazione intelligente per minimizzare l’impatto sulla durata della batteria.

6.3 Disponibilità di Modellini Ottimizzati per Smartphone: La maggior parte degli LLM è progettata per l’esecuzione su hardware desktop o server. La creazione di versioni ottimizzate per smartphone richiede un’attività di sviluppo complessa e impegnativa, nonché l’utilizzo di architetture progettate specificamente per i dispositivi mobili (es: modelli quantized, pruning).

7. Futuro dell’LLM su Smartphone

Il futuro dell’LLM su smartphone è promettente. Si prevede che nuove architetture hardware, modelli più efficienti e tecniche di ottimizzazione avanzate permetteranno di portare LLM sempre più potenti sui dispositivi mobili. Sono possibili lo sviluppo di algoritmi di inferenza più efficienti, il trasferimento di calcoli su cloud quando necessari e il continuo adattamento dei modelli agli ambienti mobili, avvicinando le capacità degli LLM all’esperienza offline degli utenti.

8. Conclusioni

L’utilizzo degli LLM su smartphone è in rapida evoluzione, aprendo nuove opportunità per migliorare la nostra interazione con la tecnologia e accedervi tramite i nostri dispositivi quotidiani. Pur presentando alcune sfide legate alle risorse hardware e al consumo energetico, le potenzialità offerte dall’accesso a potenti strumenti linguistici direttamente sui nostri smartphone sono innegabili. Le applicazioni, dalla scrittura assistita all’assistenza clienti intelligente e alla traduzione in tempo reale, dimostrano che l’integrazione degli LLM nei dispositivi mobili è destinata a diventare sempre più diffusa, trasformando profondamente la nostra vita digitale e sociale. Il continuo sviluppo nel campo dell’ottimizzazione, della compressione dei modelli e delle architetture specifiche per dispositivi mobili sono le chiave per unlocking completamente il potenziale di questa tecnologia rivoluzionaria.

Disclaimer: Questo report fornisce una panoramica generale dell’utilizzo degli LLM su smartphone. Le prestazioni possono variare a seconda del modello di LLM utilizzato e delle specifiche del dispositivo.