Cos'è Phi-4-mini-instruct
Phi-4-mini-instruct è un piccolo modello di linguaggio (SLM, Small Language Model) sviluppato da Microsoft all'interno della famiglia Phi-4. Con soli 3,8 miliardi di parametri, rappresenta una delle soluzioni più compatte tra i modelli aperti di recente generazione. È rilasciato con licenza MIT, che ne consente l'uso commerciale, la modifica e la redistribuzione con pochi vincoli. La versione "instruct" è stata ottimizzata per seguire istruzioni, rispondere in formato conversazionale e gestire chiamate di funzione.
L'obiettivo di Phi-4-mini è offrire prestazioni tipiche di modelli di taglia superiore mantenendo un'impronta hardware ridotta. Nei benchmark pubblicati da Microsoft sul repository ufficiale, il modello ottiene risultati paragonabili a sistemi con circa il doppio dei parametri su compiti di ragionamento, matematica e programmazione. Questo lo rende interessante per chi deve integrare l'intelligenza artificiale in applicazioni reali senza affidarsi esclusivamente a grandi API cloud.
Come funziona
Il cuore di Phi-4-mini-instruct è un transformer decoder-only denso. Rispetto alla generazione precedente Phi-3.5-mini, introduce tre cambiamenti architetturali principali: un vocabolario ampliato a circa 200.000 token, l'attenzione grouped-query (GQA) per ridurre l'occupazione di memoria durante l'inferenza e l'embedding condiviso tra input e output. Il contesto massimo è di 128.000 token, una cifra elevata per un modello di queste dimensioni e utile per analizzare documenti lunghi, riassumere testi estesi o mantenere conversazioni con molti turni.
L'addestramento è avvenuto su circa 5 trilioni di token, combinando documenti pubblici filtrati per qualità, dati sintetici di tipo didattico e conversazioni in formato chat. Microsoft ha impiegato 512 GPU NVIDIA A100-80G per circa 21 giorni. Dopo il pre-training, il modello è stato sottoposto a supervised fine-tuning (SFT) e direct preference optimization (DPO) per migliorare il rispetto delle istruzioni, la veridicità delle risposte e l'helpfulness. Il cutoff dei dati pubblici è giugno 2024.