Tutte le sigle dell’intelligenza artificiale

Intelligenza artificiale: tante sigle, ma non indicano tutte la stessa cosa. Occorre un po’ di ordine…

LLM, SLM, MoE, BERT, agenti, diffusione: le sigle dell’intelligenza artificiale circolano come figurine da collezione, spesso messe in fila come se fossero tipi diversi della stessa cosa. Non lo sono. Ognuna risponde a una domanda diversa. Ecco come rimetterle al loro posto, con l’aiuto di una cucina.

Dai social network i concetti errati
Chiunque frequenti i social network da qualche mese ha visto passare almeno una volta l’infografica virale: «I 10 tipi di intelligenza artificiale che devi conoscere». In colonna, con le loro icone colorate, compaiono LLM, SLM, MoE, Transformer, agenti, magari anche RAG e modelli multimodali. Tutto sullo stesso piano, come se si trattasse delle specie di un unico genere. L’effetto è rassicurante: dieci caselle, dieci definizioni, missione compiuta.

Una classifica sbagliata
Il problema è che quella classifica, per quanto ordinata, è concettualmente sbagliata. Mescola cose che appartengono a livelli diversi: la struttura interna di un modello, il modo in cui è stato addestrato, la sua grandezza e il lavoro che svolge nel mondo. È un po’ come stilare l’elenco «dei tipi di automobile» mettendo insieme motore diesel, cambio automatico, utilitaria e taxi. Ogni voce è vera, ma nessuna esclude le altre: un taxi può benissimo essere un’utilitaria diesel col cambio automatico.

Sapersi orientare
Per orientarci serve allora un’operazione semplice ma rigorosa: assegnare ogni termine al proprio ambito. E per farlo useremo un’immagine domestica, quella di una cucina. Una cucina ha una pianta e un’organizzazione degli spazi; ha un cuoco che ha imparato il mestiere in un certo modo; ha certe dimensioni e certe risorse; offre infine un servizio a chi si siede a tavola. Quattro domande diverse, quattro famiglie di sigle.

1. Com’è costruita? L’architettura

La prima domanda riguarda la pianta della cucina: dove stanno i fornelli, come si muove il personale, in che ordine passano gli ingredienti. Nel linguaggio dell’AI si parla di architettura, cioè dello schema con cui il modello è organizzato al suo interno. Il nome più famoso è Transformer.

Il Transformer
Proposto nel 2017 da un gruppo di ricercatori di Google in un articolo dal titolo diventato quasi proverbiale, Attention Is All You Need, il Transformer ha introdotto su larga scala un meccanismo chiamato self-attention (auto-attenzione). In parole semplici: invece di leggere una frase parola dopo parola, tenendo faticosamente a mente ciò che è venuto prima, il modello può confrontare ogni elemento con tutti gli altri e stabilire quali contano di più per interpretarlo. Nella frase «Il gatto non è salito sul tavolo perché era troppo alto», è l’attenzione a suggerire che «alto» si riferisce al tavolo e non al gatto. Da allora il Transformer è diventato l’ossatura di moltissimi sistemi: non solo per i testi, ma anche per immagini, audio e codice. La «T» di GPT sta proprio per Transformer.

La sigla MoE
Accanto al Transformer troviamo la sigla MoE, Mixture of Experts, «miscela di esperti». L’idea risale agli anni Novanta, ma è tornata al centro della scena con i grandi modelli recenti. In un modello MoE, alcune parti della rete sono sdoppiate in molti blocchi paralleli, gli «esperti», e un piccolo componente detto router (instradatore) decide, per ciascun token – una piccola unità di contenuto, spesso un frammento di parola – quali esperti attivare.

Il modello francese
Nelle versioni più diffuse se ne attivano solo alcuni: il modello francese Mixtral 8x7B, per esempio, dispone di otto esperti per livello ma ne consulta due per ogni token. Il vantaggio è economico: il modello può avere moltissimi parametri complessivi, ma per ogni passaggio ne usa solo una frazione, risparmiando calcolo.

Il fraintendimento della parola Esperto
Qui si annida uno dei fraintendimenti più tenaci. La parola «esperto» evoca un consiglio di professori: uno di matematica, uno di storia, uno di poesia. Non è così. Gli esperti di un MoE non sono specialisti di materie scolastiche; si specializzano in modo spontaneo durante l’addestramento, spesso su regolarità sintattiche o formali difficili da tradurre in categorie umane. Nella nostra cucina, non c’è il pasticcere e il rosticciere: ci sono più postazioni di lavoro, e un capo-brigata che smista ogni comanda verso le due o tre più adatte in quel momento.

Transformer + MoE
Soprattutto, le due cose non si escludono: una stessa AI può basarsi sul Transformer e utilizzare MoE. Anzi, è proprio ciò che accade in molti modelli di punta, dove i blocchi «esperti» sostituiscono alcune componenti interne del Transformer. Metterli in due caselle diverse della stessa classifica è come chiedere se una casa sia «in muratura» oppure «a due piani».

2. Come ha imparato? L’addestramento

La seconda domanda riguarda il cuoco: ha imparato in una scuola alberghiera, a bottega da uno chef, assaggiando e correggendo per anni? In AI si parla di addestramento, cioè del metodo con cui il modello acquisisce le sue capacità a partire dai dati.

Il “ragionamento” dei Chatbot
Il metodo che ha reso celebri i chatbot è l’addestramento autoregressivo: il modello riceve una sequenza e impara a prevedere l’elemento successivo, per esempio il prossimo frammento di parola. Ripetuto su quantità enormi di testo, questo esercizio apparentemente banale — indovinare come continua una frase — costringe il modello a cogliere grammatica, stile, relazioni tra concetti e perfino rudimenti di ragionamento.

La sigla MLM
Un altro metodo è il Masked Language Modeling (MLM): si nascondono alcune parole di un testo e si chiede al modello di ricostruirle guardando sia ciò che viene prima sia ciò che viene dopo. È un po’ l’esercizio scolastico del «completa gli spazi vuoti». Il modello più noto ad averlo reso popolare è BERT, presentato da Google nel 2018 e ancora oggi molto usato per classificare testi, cercare documenti o estrarre informazioni. Attenzione però alla confusione frequente: BERT è un modello, MLM è un metodo. Dire che sono la stessa cosa equivale a confondere uno chef con la scuola in cui si è diplomato.

La sigla RL
Infine c’è il Reinforcement Learning (RL), l’apprendimento per rinforzo: il modello prova, riceve una ricompensa o una penalità, e aggiusta il proprio comportamento. Nei grandi assistenti conversazionali è stato usato, tra l’altro, nella forma nota come RLHF (Reinforcement Learning from Human Feedback), in cui le valutazioni di persone reali guidano il modello verso risposte più utili e sicure. Più di recente, il rinforzo è stato impiegato anche per allenare i modelli a «ragionare» su problemi con risposte verificabili, come quelli matematici o di programmazione.

I modelli moderni
Anche in questo caso le etichette non sono alternative. Un modello moderno attraversa di solito fasi successive: un pre-addestramento su grandi quantità di dati (spesso autoregressivo), poi un affinamento su esempi selezionati, poi una fase di rinforzo. Lo stesso cuoco può aver frequentato la scuola, lavorato a bottega e, infine, imparato dai commenti dei clienti.

3. Quanto è grande? Le dimensioni

La terza domanda riguarda la scala: una cucina da trattoria o quella di un grande albergo? In AI la grandezza si misura soprattutto in parametri, i valori numerici che il modello regola durante l’addestramento e che ne custodiscono, per così dire, l’esperienza. Si va da qualche centinaio di milioni a molte centinaia di miliardi.

LLM o SLM?
Qui entrano in gioco LLM, Large Language Model, modello linguistico di grandi dimensioni, e SLM, Small Language Model, modello linguistico più piccolo. Vale la pena notare che queste sigle descrivono due cose insieme: il campo (il linguaggio) e la scala (grande o piccolo). Non dicono nulla, invece, dell’architettura o del metodo di addestramento.

Distinzioni di grandezza relative
C’è poi un dettaglio che le infografiche tacciono: non esiste una soglia universale che separi il «grande» dal «piccolo». Ciò che nel 2019 sembrava gigantesco — GPT-2, con circa un miliardo e mezzo di parametri — oggi verrebbe classificato da molti come un modello piccolo. La distinzione è relativa, cambia nel tempo e varia da un’azienda all’altra, che spesso la usa anche come etichetta commerciale.

La riservatezza dei dati e i costi
E un secondo avvertimento, molto pratico: piccolo non significa automaticamente che funzioni sul telefono o senza internet. Un SLM richiede meno risorse, è vero, e alcuni sono effettivamente progettati per girare su un portatile o uno smartphone; ma molti modelli «piccoli» vengono comunque eseguiti su server remoti. Dove un modello venga eseguito — sul dispositivo, in un centro dati aziendale, nel cloud di un fornitore — è un’informazione distinta, da verificare caso per caso. Ed è un’informazione tutt’altro che secondaria, perché da essa dipendono la riservatezza dei dati, i costi e la possibilità di lavorare offline.

MoE e dimensioni
Infine, una nota su MoE e dimensioni: proprio perché attiva solo una parte dei suoi esperti, un modello MoE può avere un numero di parametri totali molto alto e un numero di parametri attivi per token assai più basso. Quando si leggono confronti di grandezza, conviene chiedersi quale dei due numeri sia stato riportato.

4. Che cosa fa? Funzioni e sistemi

La quarta domanda è quella che interessa di più a chi si siede a tavola: che servizio offre questa cucina? Menu alla carta, catering, cibo da asporto? In AI si passa dal modello al sistema, cioè all’applicazione concreta.

Diversi sistemi
Un assistente conversazionale dialoga con noi in linguaggio naturale. Un sistema di raccomandazione suggerisce film, canzoni o prodotti sulla base delle nostre scelte precedenti. Un sistema predittivo stima risultati o rischi: la probabilità che un cliente abbandoni un servizio, che un macchinario si guasti, che una transazione sia una frode. Si noti che molti di questi sistemi esistevano ben prima dei grandi modelli linguistici e possono funzionare con tecniche del tutto diverse.

L’agente AI
Infine l’agente AI, la parola dell’anno in molte conferenze. Un agente è un sistema che usa uno o più modelli, insieme a strumenti esterni – un motore di ricerca, un foglio di calcolo, un calendario, un archivio aziendale – per svolgere una serie di attività orientate a un obiettivo: pianificare i passi, eseguirli, controllare il risultato, correggersi.

Modello e agente
Il punto decisivo è che il modello è una componente dell’agente, non un suo sinonimo. Nella metafora della cucina, il modello è il cuoco; l’agente è l’intero servizio di catering, che oltre al cuoco comprende la lista della spesa, il furgone, il telefono per le ordinazioni e qualcuno che controlla che tutto arrivi a destinazione. Dire che un agente e un LLM sono «due tipi di AI» è dunque fuorviante: l’uno sta tipicamente dentro l’altro.

Il gatto, ovvero tutte e quattro le cose
A tal riguardo il prof. Americo Bazzoffia suggerisce di identificare bene le sigle che spesso circolano, collocandole nella categoria corretta prima di qualsiasi confronto: «Le classifiche virali mescolano mele e pere: “MoE” dice com’è costruita un’AI, “SLM” quanto è grande, “agente” a cosa serve. È come classificare gli animali in mammiferi, carnivori, piccoli e domestici: il gatto è tutte e quattro le cose.»

I criteri della classificazione
L’esempio del gatto funziona perché rende evidente un principio che i logici conoscono bene: una classificazione è utile solo se, a ogni livello, usa un unico criterio. Mammifero riguarda la biologia, carnivoro l’alimentazione, piccolo la taglia, domestico il rapporto con l’uomo. Allo stesso modo, uno stesso modello può essere contemporaneamente linguistico (campo), grande (scala), basato su Transformer e organizzato come MoE (architettura), addestrato in modo autoregressivo e poi con rinforzo (apprendimento) e utilizzato all’interno di un agente (funzione). Nessuna di queste etichette è sbagliata; sbagliato è metterle in competizione.

Una piccola mappa delle sigle

Una mappa di alcuni termini comuni, non una classificazione completa dell’intelligenza artificiale.

Un caso a parte: la diffusione
C’è un termine che sfugge alle quattro caselle e merita una precisazione: la diffusione. Con questo nome si indica una famiglia di modelli generativi che impara a invertire un processo di aggiunta del rumore. In fase di addestramento si prendono, per esempio, delle immagini e le si «sporcano» progressivamente fino a trasformarle in una nebbia di pixel casuali; il modello impara a fare il percorso inverso, ripulendo il rumore passo dopo passo. Al momento dell’uso parte dal rumore puro e, guidato da una descrizione testuale, fa emergere un’immagine nuova, un po’ come una fotografia che affiora nella bacinella dello sviluppo.

Dalle immagini ai modelli linguistici
La diffusione è nota soprattutto per la generazione di immagini, ma non è confinata lì: esistono ormai anche modelli linguistici a diffusione, che invece di scrivere un token alla volta, da sinistra a destra, rifiniscono in parallelo un intero blocco di testo. La diffusione descrive dunque un meccanismo di modellazione e generazione, non una dimensione né un impiego finale. E, ancora una volta, non è alternativa alle altre etichette: molti modelli a diffusione recenti usano proprio un Transformer come «motore» interno.

Perché la confusione non è innocua
Si potrebbe pensare che si tratti di pignolerie da addetti ai lavori. Non è così. Chi deve scegliere una soluzione di AI per un’azienda, una scuola o una pubblica amministrazione prende decisioni concrete sulla base di queste parole. Sentirsi dire che un prodotto «usa un SLM» non dice nulla su dove finiscono i dati; sapere che un sistema «è un agente» non dice quale modello lo alimenti né quanto sia affidabile; leggere che un modello «è MoE» non dice se sia grande o piccolo, né per che cosa sia stato addestrato.

Sigle = Strumenti di precisione
Le sigle, insomma, sono strumenti di precisione solo se usate con precisione. Altrimenti diventano parole d’ordine che danno l’impressione di capire senza aiutare a decidere. E nella stagione in cui l’intelligenza artificiale entra nei processi produttivi, nell’informazione e nella formazione, l’alfabetizzazione passa anche da qui: dal saper distinguere che cosa una parola descrive davvero.

Cinque domande prima di confrontare due sigle

Per chi vuole un vademecum da tenere a portata di mano, ecco le domande da porsi davanti a qualsiasi nuova sigla:

1. Com’è costruito? Il termine descrive l’architettura (Transformer, MoE)?
2. Come ha imparato? Si riferisce al metodo di addestramento (autoregressivo, MLM, RL)?
3. Quanto è grande, e su che cosa lavora? Indica scala e campo (LLM, SLM)? E soprattutto: dove viene eseguito?
4. Come genera? Descrive un meccanismo di produzione dei contenuti (autoregressione, diffusione)?
5. Che cosa fa? Parla di una funzione o di un sistema (assistente, raccomandazione, agente)?

Se due sigle rispondono a domande diverse, confrontarle non ha senso: sarebbe come chiedersi se il gatto sia più «mammifero» o più «domestico». La domanda giusta, prima di ogni confronto, resta una sola: stanno descrivendo la stessa caratteristica?

Editoriale a cura del prof. dott. Americo Bazzoffia, Docente universitario, giornalista, AI Expert.