Hugging Face dà un’interfaccia comune ai modelli che decidono
Transformers aggiunge strumenti per modelli che restituiscono scelte, punteggi e probabilità. Il vantaggio è integrare e cambiare questi modelli senza riscrivere ogni volta il formato delle richieste.
Che succede
Per smistare una richiesta fra assistenza, vendite e fatturazione, un programma ha bisogno di una scelta. Far scrivere a un chatbot un oggetto JSON è un modo per ottenerla; i modelli decisionali possono invece valutare direttamente le risposte ammesse e restituire i loro punteggi.
Hugging Face presenta un’interfaccia comune per usarli in Transformers: si forniscono il contesto, le domande e le opzioni, ottenendo scelte, valutazioni su una scala o risposte sì/no con probabilità. Sono previsti sia l’uso da codice sia un server locale. Si ritrova l’approccio di cui avevamo parlato con Jev; la novità qui è organizzare questi modelli attorno a un’interfaccia condivisa.
L’applicazione può così interrogare modelli diversi senza adottare per ciascuno un formato particolare. Questo facilita le prove e il cambio del modello, compreso uno ospitato sui propri server.
PostHog offre un caso concreto: controlla i riepiloghi delle sessioni con due domande sui dati personali e chiama Gemini per riscriverli soltanto se superano la soglia. L’azienda riferisce che il 98,7% evita quel passaggio generativo. La soglia conta quanto il formato: PostHog racconta di averla dovuta rivedere cambiando modello, perché lo stesso numero non conservava lo stesso significato.
Perché conta
Per PostHog il modello più utile è spesso quello che evita di chiamarne un altro: controlla prima se la riscrittura serve. Un’interfaccia condivisa rende questo filtro un pezzo sostituibile del software, invece di legarlo al formato di una singola API.
Vuoi sapere di più su pillole come questa?