Transformer, BERT e GPT: perché sono cruciali nell'NLP
L'elaborazione del linguaggio naturale (in inglese Natural Language Processing, NLP) ha conosciuto a partire dal 2017 una trasformazione radicale, paragonabile per portata all'introduzione delle reti neurali profonde. Al centro di questo cambiamento si trova un'unica architettura, il Transformer, e due famiglie di modelli che ne hanno declinato il potenziale in direzioni complementari: BERT e GPT. Comprendere perché siano considerati cruciali significa capire come l'attenzione abbia sostituito la lettura sequenziale del testo, rendendo possibili i sistemi linguistici che nel 2026 sono ormai parte dell'infrastruttura digitale quotidiana.
Il punto di partenza: l'architettura Transformer
Il Transformer è stato presentato nel 2017 dai ricercatori di Google nell'articolo Attention Is All You Need. La sua innovazione decisiva è stata abbandonare la ricorrenza e la convoluzione — i meccanismi su cui si fondavano i modelli precedenti come le reti LSTM — sostituendole interamente con un meccanismo di auto-attenzione (self-attention).
I modelli ricorrenti elaboravano una frase parola dopo parola, in ordine, accumulando una memoria interna. Questo rendeva difficile l'addestramento in parallelo e indeboliva la capacità di collegare parole distanti tra loro all'interno di un testo. L'auto-attenzione, invece, consente al modello di valutare simultaneamente la relazione di ogni parola con tutte le altre della sequenza, assegnando a ciascuna un peso. Due conseguenze rendono questa idea centrale per l'NLP:
- Parallelizzazione: poiché l'intera sequenza viene elaborata in una sola volta, l'addestramento sfrutta in modo efficiente le moderne GPU, permettendo di scalare a modelli enormi e a quantità di dati prima impensabili.
- Contesto a lungo raggio: il modello collega facilmente parole lontane, catturando dipendenze sintattiche e semantiche che i sistemi precedenti perdevano.
L'architettura originale era composta da due blocchi: un encoder, che costruisce una rappresentazione del testo in ingresso, e un decoder, che genera testo in uscita. Da questa biforcazione nascono le due famiglie che hanno dominato l'NLP.
BERT: capire il linguaggio
BERT (acronimo di Bidirectional Encoder Representations from Transformers) è stato introdotto da Google nel 2018 e utilizza soltanto la parte encoder del Transformer. La sua versione base contava circa 110 milioni di parametri e raggiunse risultati allo stato dell'arte su undici diversi benchmark di NLP contemporaneamente.
La caratteristica distintiva di BERT è la bidirezionalità. Mentre i modelli precedenti leggevano il testo da sinistra a destra (o viceversa), BERT considera contemporaneamente le parole che precedono e quelle che seguono ogni termine. Questo gli conferisce una comprensione più profonda del contesto: la parola "calcio", per esempio, assume significati diversi a seconda delle parole che la circondano, e BERT li distingue meglio proprio perché osserva l'intera frase in entrambe le direzioni.
Questa capacità deriva dal modo in cui viene pre-addestrato, attraverso due compiti principali:
- Masked Language Model (MLM): alcune parole della frase vengono mascherate e il modello deve indovinarle a partire dal contesto circostante.
- Next Sentence Prediction (NSP): il modello apprende a riconoscere se due frasi si susseguono logicamente.
Per queste ragioni BERT eccelle nei compiti di comprensione: classificazione del testo, analisi del sentiment, riconoscimento di entità nominate (NER), sistemi di domanda e risposta, ricerca semantica. Non genera testo nuovo in modo nativo, ma estrae rappresentazioni — i cosiddetti embedding — di altissima qualità.
GPT: generare il linguaggio
GPT (Generative Pre-trained Transformer), sviluppato da OpenAI, adotta la strategia opposta: utilizza solo la parte decoder ed è di tipo autoregressivo. Ciò significa che il modello legge il testo da sinistra a destra e viene addestrato a un compito apparentemente semplice — predire la parola successiva — ripetuto su quantità immense di testo.
Da questo obiettivo elementare emergono capacità sorprendenti. Con GPT-3, presentato nel 2020 e scalato fino a 175 miliardi di parametri, è comparso il fenomeno dell'apprendimento few-shot: il modello svolge compiti nuovi a partire da pochi esempi forniti direttamente nel testo, senza bisogno di un riaddestramento specifico. Poiché genera testo coerente parola dopo parola, GPT è ideale per la scrittura, la traduzione, il riassunto, la conversazione e la programmazione assistita.
Perché sono cruciali: il paradigma del pre-addestramento
Il contributo più importante di BERT e GPT non riguarda solo le rispettive architetture, ma il paradigma che hanno consolidato: pre-addestramento su enormi quantità di testo non etichettato, seguito da fine-tuning (o, nel caso di GPT, da semplici istruzioni) su un compito specifico.
Prima del 2018, ogni applicazione di NLP richiedeva un modello costruito quasi da zero, con dati etichettati costosi e specifici. Con BERT e GPT è nato il concetto di modello di base (foundation model): un singolo modello pre-addestrato che fornisce una conoscenza linguistica generale, riutilizzabile per decine di compiti diversi con sforzo minimo. Questo ha abbattuto le barriere d'ingresso e accelerato enormemente la ricerca e le applicazioni industriali.
La situazione nel 2026
Dalla diffusione di ChatGPT alla fine del 2022, i modelli decoder-only di tipo GPT sono diventati dominanti per la maggior parte delle applicazioni generaliste: i grandi modelli linguistici come GPT-4, Claude e Gemini condividono questa impostazione. La generazione è oggi il paradigma prevalente, anche perché un modello generativo sufficientemente potente può svolgere indirettamente molti compiti di comprensione.
Gli encoder di tipo BERT, tuttavia, non sono scomparsi: sono diventati strumenti specializzati ed estremamente efficienti, particolarmente preziosi nei sistemi di ricerca, classificazione e recupero dell'informazione, dove velocità e qualità degli embedding contano più della generazione. In questo ambito il 2025 ha segnato un ritorno di interesse con ModernBERT, pubblicato alla fine del 2024 da Answer.AI, LightOn e NVIDIA: una riprogettazione completa dell'encoder, addestrata su circa 2.000 miliardi di token, che estende il contesto da 512 a 8.192 token e integra tecniche moderne come Flash Attention 2 e gli embedding posizionali rotatori (RoPE). Nel 2026 ModernBERT e i suoi derivati sono considerati la base di riferimento per il recupero di testo, codice e documenti biomedici, in numerose lingue.
BERT e GPT, dunque, non sono in competizione ma rappresentano i due volti complementari della stessa rivoluzione: comprendere e generare il linguaggio. È la loro combinazione, fondata sull'architettura Transformer, a costituire l'ossatura dell'NLP contemporaneo.
Domande frequenti
Qual è la differenza principale tra BERT e GPT?
BERT usa solo l'encoder del Transformer ed è bidirezionale, quindi eccelle nella comprensione del testo (classificazione, ricerca, domande e risposte). GPT usa solo il decoder ed è autoregressivo, quindi è specializzato nella generazione di testo coerente.
Perché il Transformer è stato così importante per l'NLP?
Perché ha sostituito l'elaborazione sequenziale con il meccanismo di auto-attenzione, permettendo addestramenti paralleli su GPU e la cattura di relazioni tra parole distanti. Questo ha reso possibile scalare i modelli a miliardi di parametri.
BERT è ancora usato nel 2026?
Sì, ma come strumento specializzato. Gli encoder di tipo BERT restano fondamentali per ricerca semantica, recupero dell'informazione e classificazione. Versioni moderne come ModernBERT, con contesto fino a 8.192 token, ne hanno rilanciato l'uso.
Cosa significa pre-addestramento e fine-tuning?
Il pre-addestramento consiste nell'addestrare il modello su enormi quantità di testo non etichettato per acquisire una conoscenza linguistica generale. Il fine-tuning lo adatta poi a un compito specifico con pochi dati, riutilizzando quella conoscenza di base.
I modelli generativi come GPT hanno reso BERT obsoleto?
No. I modelli generativi dominano le applicazioni generaliste, ma gli encoder restano più efficienti e accurati per compiti mirati di comprensione e recupero, dove la generazione di testo non è necessaria.