> ## Content Index > Fetch the complete content index at: https://www.alessiopomaro.it/llms.txt > Use this file to discover other available public pages before exploring further. # Decision model o piccolo modello addestrato in locale? Il mio paper - URL: https://www.alessiopomaro.it/decision-model-modello-locale-paper/ - Published: 2026-10-27T06:27:00.000Z - Updated: 2026-10-27T06:26:59.000Z - Description: Ho confrontato OpenAI Decisions, Elephant-1 e Mammoth-1 con sei famiglie di modelli compatti, su tre dataset e con codice pubblico. Con pochi esempi i decision model vincono nettamente; con migliaia il distacco si riduce molto, e il risultato dipende da come si addestra il modello piccolo. - Author: Alessio Pomaro - Tags: AI, Novità e Riflessioni ### **Cos'è un decision model?** > È un modello di **intelligenza artificiale** pensato per scegliere, non per scrivere. Riceve un testo (per esempio il messaggio di un cliente) e un elenco di opzioni (per esempio le categorie di assistenza) e restituisce, per ciascuna opzione, la probabilità che sia quella giusta. Non produce una risposta in linguaggio naturale da interpretare: fornisce direttamente una scelta e quanto è sicuro di quella scelta. Serve per smistare ticket, riconoscere l'intento di una richiesta, decidere se un caso va passato a una persona. Esempi: Jev, OpenAI Decisions, Elephant-1 e Mammoth-1 di Base Labs. --- Negli ultimi mesi si parla moltissimo di [**Jev**](https://typesafe.ai/blog/introducing-system-one-models-and-jev?ref=alessiopomaro.it), il servizio di TypeSafe AI che ha reso popolare questa idea: smettere di pagare un grande modello linguistico per *generare testo* quando, in realtà, serve solo *un'etichetta*. Da lì è partita un'ondata di modelli dello stesso tipo: **OpenAI** ha lanciato [**Decisions**](https://developers.openai.com/api/docs/guides/decisions?ref=alessiopomaro.it), **Base Labs** ha presentato [**Elephant-1** e **Mammoth-1**](https://labs.baseten.co/articles/mammoth-1-and-elephant-1-frontier-decision-models?ref=alessiopomaro.it). La domanda che mi sono fatto è quella che si fa chiunque abbia già addestrato un classificatore: > **servono davvero? O un modello piccolo addestrato sui propri esempi, magari in locale, farebbe lo stesso lavoro?** --- ## **Il paper** Per rispondere ho condotto uno studio indipendente, pubblicato come preprint su **Zenodo**: **"When Are Decision Models Worth It? An Empirical Comparison with Small Task-Specific Classifiers".** **DOI:** [**10.5281/zenodo.23652645**](https://doi.org/10.5281/zenodo.23652645?ref=alessiopomaro.it) [![When Are Decision Models Worth It? An Empirical Comparison with Small Task-Specific Classifiers - Paper - Alessio Pomaro](https://storage.ghost.io/c/d7/3a/d73a3886-5e95-4e08-9255-a08eb51bb37b/content/images/2026/10/alessio-pomaro-paper-decision-model.webp)](https://zenodo.org/records/23652645?ref=alessiopomaro.it) ### In breve: - confronta **tre decision model** (*OpenAI Decisions, Elephant-1, Mammoth-1*) con **sei famiglie di modelli compatti**, dalle tecniche classiche (*TF-IDF*) a **SetFit**, **mmBERT** e piccoli modelli linguistici **Qwen3** da 0,6 a 8 miliardi di parametri; - usa **tre dataset**: Banking77 (*richieste a una banca, in inglese*), MASSIVE in italiano (*comandi a un assistente vocale*) e Ottavo Store, un servizio clienti italiano creato appositamente per lo studio, con una serie di messaggi "*trappola*"; - segue un **protocollo fissato in anticipo**, ripete ogni addestramento tre volte e confronta i sistemi sugli stessi messaggi, con intervalli di confidenza; - rende pubblici **codice, dati sintetici e tutte le singole predizioni** ([*GitHub*](https://github.com/alepom/decision-models-study?ref=alessiopomaro.it)*,* [*Zenodo*](https://doi.org/10.5281/zenodo.23652764?ref=alessiopomaro.it)), così chiunque può ricalcolare ogni valore. È un preprint: non è passato dalla revisione di una rivista. Quello che segue è una **descrizione semplificata** dei test e dei risultati; per i dettagli, i numeri completi e i limiti rimando al paper. ## **Come ho fatto il confronto** Ho messo uno di fronte all'altro un **"*esperto esterno*"** e un **"*apprendista interno*"**. - L'esperto esterno è il **decision model**: riceve solo l'elenco delle categorie (*il nome, oppure il nome con una breve descrizione*) e non vede nessun esempio del compito. - L'apprendista interno è un **modello compatto** che impara dagli esempi già smistati: addestrato con 5 esempi per categoria, con 20, oppure con tutti quelli disponibili (*da circa 70 a 190 per categoria*). Ho aggiunto anche due modelli "*generalisti*" usati senza addestramento, tra cui Qwen3.5-9B, il modello da cui è stato costruito Elephant-1\. Tutto l'addestramento è avvenuto su un laptop con una GPU da 6 GB e su una GPU gratuita di Google Colab; la spesa per le API è stata di circa 8 dollari. ![Come ho fatto il confronto](https://storage.ghost.io/c/d7/3a/d73a3886-5e95-4e08-9255-a08eb51bb37b/content/images/2026/10/paper-alessio-pomaro-studio.webp) ## Cosa è emerso **1\. Con pochi esempi non c'è partita.** Anche dando al decision model solo i nomi delle categorie, cioè senza nessun esempio etichettato, con 5 esempi per categoria il miglior modello compatto resta indietro di 21–24 punti di macro-F1 (*la misura di qualità usata, da 0 a 1*). Con 20 esempi il distacco è ancora di 7–17 punti. Se non possediamo un archivio di messaggi già classificati, il decision model è la scelta naturale. **2\. Con migliaia di esempi il modello compatto si avvicina molto.** Su Banking77 un Qwen3 da 0,6 miliardi di parametri addestrato su tutti i dati arriva a 0,910, contro 0,934 di Mammoth-1 con i soli nomi delle categorie. Su Ottavo un **Qwen3 da 8 miliardi arriva a 0,975**, lo stesso valore di Mammoth-1\. Sull'italiano reale di MASSIVE, invece, il miglior modello compatto resta 5,5 punti sotto. ![Qualità al variare degli esempi disponibili](https://storage.ghost.io/c/d7/3a/d73a3886-5e95-4e08-9255-a08eb51bb37b/content/images/2026/10/paper-alessio-pomaro-esempi.webp) **3\. Una conclusione iniziale, smentita due volte.** In una prova esplorativa, con una sola esecuzione, il Qwen3 da 0,6 miliardi sembrava battere Mammoth-1 su Banking77 (0,940). Con il protocollo fissato in anticipo il punteggio era sceso a 0,910 e il sorpasso sembrava un'illusione. Rifacendo l'addestramento con la ricetta originale e quattro ripetizioni, lo 0,940 si è riprodotto (0,936 in media): il modello compatto non vince, e il test non riesce a dire quale dei due sia migliore. Morale: una sola esecuzione può ingannare, e anche un protocollo rigoroso può usare una ricetta peggiore. Con molti dati, il risultato dipende da come si addestra il modello compatto. ![Banking77: la stessa domanda, tre risposte diverse](https://storage.ghost.io/c/d7/3a/d73a3886-5e95-4e08-9255-a08eb51bb37b/content/images/2026/10/paper-alessio-pomaro-ricetta.webp) **4\. Molto dipende dal modello di partenza.** Elephant-1 è costruito su Qwen3.5-9B. Usando quel modello di base "*così com'è*", con le stesse descrizioni e senza addestramento sul compito, sui messaggi normali di Ottavo si ottiene 0,974 contro 0,987 di Elephant-1; un generalista più vecchio, Qwen3-8B, si ferma a 0,942\. Rispetto al suo modello di partenza, Elephant-1 guadagna poco sui messaggi normali e circa 3 punti su quelli trappola. I due modelli differiscono anche per altri aspetti tecnici, quindi non si può attribuire tutto all'addestramento sulle decisioni. ![Molto dipende dal modello di partenza](https://storage.ghost.io/c/d7/3a/d73a3886-5e95-4e08-9255-a08eb51bb37b/content/images/2026/10/paper-alessio-pomaro-modello-base.webp) **5\. Le descrizioni delle categorie non aiutano tutti.** Aggiungere una frase di spiegazione per categoria migliora molto OpenAI Decisions su Banking77 (*+7 punti*) e tutti i modelli su Ottavo; altrove l'effetto è piccolo e cambia da modello a modello. C'è anche un dettaglio importante, che una revisione esterna mi ha fatto notare: per i dataset pubblici le descrizioni erano state scritte leggendo esempi già etichettati, quindi non sono "*gratis*". Per questo il confronto principale usa i soli nomi delle categorie. **6\. Sapere quando non si è sicuri.** In un servizio reale spesso si vuole accettare in automatico le risposte sicure e passare le altre a una persona. Elephant-1 e Mammoth-1 danno la stessa risposta qualunque sia l'ordine delle opzioni e hanno probabilità affidabili: fissando la soglia per un errore del 2%, Mammoth-1 gestisce da solo l'84% dei messaggi di Banking77, con un errore osservato del 2,4% (*l'obiettivo serve a scegliere la soglia, non è una garanzia*). OpenAI Decisions cambia talvolta risposta se si cambia l'ordine delle opzioni e restituisce probabilità "*a gradini*": allo stesso obiettivo non può accettarne in automatico nessuno. Un modello compatto ben addestrato, qui, regge il confronto (*80–89%*). ![Sapere quando non si è sicuri](https://storage.ghost.io/c/d7/3a/d73a3886-5e95-4e08-9255-a08eb51bb37b/content/images/2026/10/paper-alessio-pomaro-revisione-umana.webp) ## **Allora, conviene?** Una regola pratica, valida per compiti simili a quelli provati: - **pochi o nessun esempio etichettato** → decision model (*o un buon modello generalista recente, ben istruito*); - **migliaia di esempi, categorie stabili, molto volume o vincoli sui dati** → un classificatore compatto ben addestrato, anche in locale, può avvicinarsi molto, fino a non essere distinguibile, e costa meno a regime; ma la ricetta di addestramento va curata, e il costo di etichettare e quello di mantenere il modello vanno messi sul piatto; - **con 5–20 esempi**, se si vuole comunque un modello proprio, SetFit è stata la tecnica compatta migliore fra quelle provate. ## **Cosa questo studio non dice** Non ho usato messaggi reali di clienti né etichette fatte da persone: Ottavo è sintetico e i suoi punteggi vicini a 0,99 vanno letti come un limite superiore. Non posso escludere che i decision model abbiano visto Banking77 o MASSIVE durante l'addestramento. Jev non era accessibile (lista d'attesa). Le API cambiano nel tempo: i risultati descrivono il loro stato a ottobre 2026\. Il prossimo passo naturale è ripetere il confronto su messaggi reali, annotati da persone. --- ## **I riferimenti** ### **Paper** "*When Are Decision Models Worth It? An Empirical Comparison with Small Task-Specific Classifiers*" [When Are Decision Models Worth It? An Empirical Comparison with Small Task-Specific ClassifiersPreprint, not peer reviewed. Decision models such as OpenAI Decisions and Base Labs' Elephant-1 and Mammoth-1 return a probability for each option of a closed question and need no task-specific training. This independent study asks when they are worth using instead of small classifiers trained on the task. We compare them with TF-IDF, SetFit, mmBERT and Qwen3 classifiers (0.6B, 1.7B, 8B parameters) on Banking77 (English), MASSIVE it-IT (Italian) and a synthetic Italian customer-service task, varying the label budget (5 and 20 examples per class, full training set) and the category descriptions, and testing a lexical stress set and a phenomenon-level robustness set. With few labelled examples the decision models are far ahead, even when given label names only; with the full training sets and the protocol recipes the gap is 2.4 points on Banking77, 5.5 on Italian MASSIVE and not resolved on the synthetic task, and on Banking77 a different fine-tuning recipe leaves no resolved difference, so in this regime the outcome depends on the training recipe. The effect of category descriptions varies with model and dataset, and Elephant-1 is much closer to its own base model, Qwen3.5-9B, than to an older generalist. The study uses a frozen protocol, paired bootstrap intervals and three seeds; code, per-example predictions and synthetic data are released. Limitations: no real customer messages or human annotations, synthetic data written by language models, possible contamination of public benchmarks, endpoints evaluated in October 2026\. The author set the research question and the requirements of the study; an AI coding agent (Claude Code) proposed the detailed protocol, wrote the code, ran the experiments and drafted the manuscript under the author's direction. See the "AI assistance and authorship" section of the paper.![](https://storage.ghost.io/c/d7/3a/d73a3886-5e95-4e08-9255-a08eb51bb37b/content/images/icon/favicon-036eef2f-7248-4a5a-adbd-0d85af17893a.png)ZenodoPomaro, Alessio![](https://doi.org/static/images/orcid.svg)](https://doi.org/10.5281/zenodo.23652645?ref=alessiopomaro.it) [Vai al paper](https://doi.org/10.5281/zenodo.23652645?ref=alessiopomaro.it) ### **Codice e dati** [GitHub - alepom/decision-models-study: Independent study: zero-shot decision models vs task-adapted compact classifiers (code, protocol, predictions)Independent study: zero-shot decision models vs task-adapted compact classifiers (code, protocol, predictions) - alepom/decision-models-study![](https://storage.ghost.io/c/d7/3a/d73a3886-5e95-4e08-9255-a08eb51bb37b/content/images/icon/favicon-6bd37652-3834-4774-8215-0a85a5834b5a.png)GitHub![](https://storage.ghost.io/c/d7/3a/d73a3886-5e95-4e08-9255-a08eb51bb37b/content/images/thumbnail/decision-models-study-3cab0214-c858-4290-83ff-f5b3aa53bf60.png)](https://github.com/alepom/decision-models-study?ref=alessiopomaro.it) [dmstudy: code, protocol and per-example predictions for "When Are Decision Models Worth It?"Code, frozen protocol, split manifests, category descriptions, synthetic datasets (Ottavo Store, its lexical stress set and the Ottavo-R robustness set) and per-example predictions for every run of the study "When Are Decision Models Worth It? An Empirical Comparison with Small Task-Specific Classifiers". All tables and figures of the paper can be regenerated from the saved predictions without a GPU or API keys (python -m dmstudy.analysis, python -m dmstudy.robustness, python -m dmstudy.extras). Raw API request/response caches and model weights are not included (weights are downloaded from Hugging Face at run time). The code is released under the MIT licence; documentation, synthetic data and predictions under CC BY 4.0 (see LICENSES.md). This archive corresponds to the GitHub release v1.0.0; please cite the paper for the scientific results.![](https://storage.ghost.io/c/d7/3a/d73a3886-5e95-4e08-9255-a08eb51bb37b/content/images/icon/favicon-28209e48-0738-4b0d-975f-8ccc0df0cb8f.png)ZenodoPomaro, Alessio![](https://doi.org/static/images/orcid.svg)](https://doi.org/10.5281/zenodo.23652764?ref=alessiopomaro.it) --- ## Scegli questo sito web come fonte preferita Ricevi più facilmente questi contenuti tra i risultati di Google. *Potrai modificare questa preferenza in qualsiasi momento dalle impostazioni di Google.* --- ## \- GRAZIE - Se hai apprezzato il contenuto, puoi contribuire al progetto con una [****donazione**](https://www.alessiopomaro.it/#/portal/support) 🙂 ## Iscriviti alla Newsletter Un appuntamento periodico dedicato all'aggiornamento e alla riflessione su tematiche relative all'intelligenza artificiale. Iscriviti alla Newsletter Email sent! Check your inbox to complete your signup. Gratuita. No Spam. Puoi disiscriverti quando vuoi. Consulta la [privacy policy](https://www.alessiopomaro.it/privacy-policy/).