Fine Tuning

Page 1 of 2

Innovazioni in AudioVAE, condizionamento full-history e post-training autocorrettivo per prestazioni all'avanguardia nella generazione vocale multilingue.

dots.tts: Un Modello Fondamentale di Sintesi Vocale Autoregressivo Continuo da 2 Miliardi di Parametri

Presentiamo dots.tts, un modello fondamentale di sintesi vocale autoregressivo continuo da 2B-parametri. Con innovazioni in AudioVAE, condizionamento full-history e post-training autocorrettivo, raggiunge prestazioni medie eccellenti su Seed-TTS-Eval e offre stabilità, clonazione vocale ed espressività emotiva. Include anche distillazione MeanFlow per inferenza a bassa latenza.

Un approccio innovativo per ottimizzare l'uso della computazione nella fase di pre-addestramento, superando i limiti dei dati e migliorando l'efficienza.

q0: Primitivi per il Pre-Addestramento Iper-Epoca nei Modelli Linguistici

Introduzione a q0, un nuovo metodo di pre-addestramento iper-epoca che sfrutta popolazioni di modelli per ottenere una minore perdita di validazione con meno epoche. Migliora l'efficienza dei dati fino a 12.9x e offre ricette per l'allocazione del budget computazionale.

Esplorazione dell'adattamento efficiente di modelli linguistici di grandi dimensioni per una personalizzazione su vasta scala

Scalabilità di PEFT: Verso Milioni di Modelli Personali con Trillioni di Parametri

Il documento "On the Scaling of PEFT: Towards Million Personal Models of Trillion Parameters" esamina le tecniche di Parameter-Efficient Fine-Tuning (PEFT) nel contesto della scalabilità. L'obiettivo è abilitare la creazione di milioni di modelli personalizzati basati su architetture con trillioni di parametri, evidenziando le sfide e le opportunità nell'adattamento di modelli linguistici di grandi dimensioni.

Scopri il modello ibrido ottimizzato per prestazioni e throughput in applicazioni reali, con supporto day-one per le principali piattaforme di inferenza.

Come LFM2.5-8B-A1B Rivoluziona gli Assistenti Personali On-Device

LFM2.5-8B-A1B è un nuovo modello ibrido da 8.3B parametri, progettato per il deployment on-device. Offre prestazioni competitive e throughput impareggiabile per assistenti personali, supportando tool calls e istruzioni complesse. Ottimizzato per CPU/GPU con compatibilità nativa per llama.cpp, MLX, vLLM e SGLang.

Un gruppo ha de-censurato 168 modelli con uno script da $20, esponendo la fragilità dei guardrail di sicurezza basati su RLHF e DPO.

L'Allineamento degli LLM Costa Milioni, Svanisce per Venti Dollari

Meta ha emesso un ordine di cessazione e desistenza contro Heretic, un gruppo che ha rimosso gli strati di sicurezza dagli LLM a pesi aperti spendendo solo 20 dollari in elettricità. Questo articolo esplora come la "chirurgia dei pesi" automatizzata di Heretic mini l'economia dell'allineamento, trasformando milioni di dollari di investimenti in una spesa irrisoria per l'attaccante.

Scopri come il framework BES supera i limiti del campionamento tradizionale negli LLM, combinando ricerca evolutiva e scomposizione degli obiettivi per soluzioni innovative.

Come la Ricerca Evolutiva Bidirezionale Migliora l'Auto-Miglioramento degli LLM

Questo articolo esplora la Ricerca Evolutiva Bidirezionale (BES), un nuovo framework che affronta i colli di bottiglia del campionamento negli LLM. Impara come gli operatori evolutivi e il feedback denso della scomposizione degli obiettivi permettono a BES di scoprire soluzioni complesse, migliorando l'auto-miglioramento dei modelli linguistici.

Scopri le caratteristiche, le varianti e la rivoluzionaria modalità "Think/No Think" di MiniCPM5-1B per prestazioni AI all'avanguardia su dispositivi con risorse limitate.

MiniCPM5-1B: Un Modello AI On-Device da 1B Parametri con Ragionamento Duale

Esplora MiniCPM5-1B, il modello linguistico causale denso da 1B parametri ottimizzato per l'esecuzione on-device. Approfondisci la sua architettura LlamaForCausalLM, la finestra di contesto di 131.072 token e le varianti disponibili (BF16, SFT, GGUF, MLX). Impara come la modalità di chat "Think/No Think" abilita ragionamento complesso e risposte rapide con un unico checkpoint.

Un nuovo approccio per adattare i LLM a nuovi domini tramite documenti di competenze addestrabili, anche per modelli closed-source.

SkillOpt: Ottimizzazione di Competenze per Modelli Linguistici

SkillOpt introduce un framework per l'ottimizzazione iterativa di "documenti di competenze" in linguaggio naturale. Questo sistema permette ai modelli linguistici di acquisire nuove procedure operative attraverso un processo di apprendimento controllato, senza modificare i pesi del modello. Ideale per l'adattamento di LLM chiusi e congelati.

Macaron-A2UI introduce un protocollo dichiarativo per interfacce utente interattive, migliorando l'efficienza degli agenti basati su IA e riducendo il carico cognitivo.

Generative UI: Superare i Limiti delle Chat Text-Only con A2UI

Questo articolo esplora Macaron-A2UI, un modello innovativo che permette agli agenti IA di generare risposte testuali e UI interattive. Viene descritta la costruzione di un corpus di dialogo eterogeneo, un benchmark per la valutazione strutturata (A2UI-Bench) e una ricetta di addestramento a due fasi per modelli come Qwen3 e GLM. L'obiettivo è superare le limitazioni delle interfacce puramente testuali.

Scopri come i modelli linguistici senza censura offrono libertà creativa e controllo, esplorando l'architettura di Qwen3.5-35B-A3B-Heretic-V2 e le sue innovazioni tecniche.

Cosa sono i Modelli Linguistici "Uncensored" e Qwen3.5-35B-A3B-Heretic-V2?

Approfondisci il mondo dei modelli linguistici non censurati e l'impatto di Qwen3.5-35B-A3B-Heretic-V2. Comprendi i vantaggi per ricercatori e sviluppatori, l'architettura Mixture-of-Experts, la Predizione Multi-Token Nativa e i vari formati di distribuzione.

xAI annuncia la conclusione dell'addestramento del modello fondazionale da 1,5 trilioni di parametri, triplicando le dimensioni del predecessore e migliorando la programmazione.

Grok V9-Medium Completa Addestramento, Rilascio Previsto a Giugno

xAI ha completato l'addestramento di Grok V9-Medium, un modello AI da 1,5 trilioni di parametri, con rilascio pubblico atteso a giugno 2026. Il nuovo sistema migliora significativamente le capacità di programmazione e risolve le criticità del predecessore v8-small, puntando a una maggiore completezza e qualità dei dati.

La ricerca dimostra che la conoscenza procedurale può essere interiorizzata nei pesi, eliminando l'orchestratore esterno e abbattendo i costi operativi.

Come compilare flussi di lavoro complessi in piccoli modelli linguistici

Un team di Melbourne ha messo a punto un metodo per incorporare interi flussi di lavoro in un piccolo LLM, ottenendo prestazioni pari o superiori a modelli 70× più grandi nei task di prenotazione, supporto tecnico e assicurazioni.