llm-d 1.0 mette ordine nelle code dei modelli condivisi

Un agente può lanciare una raffica di richieste mentre un’altra persona aspetta una risposta interattiva. Se usano lo stesso modello, la coda diventa parte dell’esperienza. llm-d 1.0, rilasciato il 20 ottobre, affronta questa convivenza nello stack aperto per distribuire l’inferenza.

llm-d coordina motori come vLLM e SGLang e l’hardware che li esegue. Il nuovo controllo del traffico separa richieste e priorità, distribuendo le risorse fra i clienti e trattenendo il lavoro nel router quando i server sono già saturi. Le politiche vanno attivate: la configurazione predefinita mantiene il comportamento in ordine di arrivo.

La 1.0 stabilizza l’API di configurazione e introduce meccanismi per aggiornare i componenti mantenendo il servizio attivo. Il routing può anche rimandare i turni di una conversazione alla replica che conserva già il suo contesto. Le tecniche per accelerare l’inferenza c’erano già; questa versione si concentra su come farle convivere in un servizio condiviso.