Guida pratica per generare e valutare dati sintetici.

Come stimare quanti dati servono, quali forme usare per fine-tuning e RL, come metterli insieme in una pipeline reale e come bilanciare mix e reward."

Un ciclo completo, passo passo e con il codice: valutare un modello di matematica, classificare e raggruppare i suoi errori, selezionare dati di training mirati, fare fine-tuning con LoRA e verificare con la statistica se il miglioramento è reale. Con un notebook eseguibile e una scheda operativa per riprodurre il ciclo su altri problemi.

Dalla teoria degli eval al lavoro di tutti i giorni: come leggere gli errori di un modello, raggrupparli con embedding, k-means e LLM, scegliere la correzione giusta per fine-tuning e RL, e costruire passo passo eval piccoli, rappresentativi, azionabili e affidabili.

Quando un test set non basta: come si costruisce un ambiente di test per il RL, cosa monitorare durante l'addestramento, perché il reward hacking è così difficile da eliminare e come si cerca di rompere un modello prima che lo facciano gli utenti.

Perché nel post-training gli eval guidano l'addestramento invece di chiuderlo, come si costruiscono i test set e quali metriche usare: preferenze, pass@k, calibrazione, astensione, efficienza, fino a HELM e GDPval.

Come PPO e GRPO calcolano l'advantage e tengono stabile il training, perché GRPO risparmia un modello intero e come si progetta una funzione di reward che lo faccia funzionare.

Da dove arriva il reward nel reinforcement learning, come si addestra un reward model con le preferenze, come il reward diventa un obiettivo di training e perché l'RL richiede così tanta memoria.

Come si calcola la loss sulle risposte, come gli iperparametri rendono stabile il training e come LoRA riduce la memoria necessaria per il fine-tuning.

Quali dati servono per fine-tuning e RL, come dividerli senza contaminazioni e come il testo diventa token che il modello può leggere e scrivere.