Gli serviva un modello più piccolo. Se l’è fatto con 16 dollari di calcolo

Per riscrivere la richiesta di un’immagine, il modello ufficiale usava circa 20 GB di memoria. Un po’ impegnativo, se vuoi soltanto preparare il prompt. Yuvraj Sharma racconta su Hugging Face come ne abbia ottenuto una versione molto più piccola affidando il progetto a ML Intern, l’agente disponibile in HuggingChat.

Il modello originale, da 9 miliardi di parametri, ha prodotto esempi con cui addestrare versioni da 0,8 e 2 miliardi. Il più piccolo è disponibile anche come file da 812 MB per l’esecuzione su CPU. Il costo dichiarato del calcolo dell’intero progetto è circa 16 dollari; il lavoro ha richiesto circa undici ore.

Il 99,7% dei risultati del modello piccolo rispetta il formato JSON richiesto nella valutazione pubblicata. È un dato sulla forma dell’output, non sulla qualità delle immagini: il modello prepara descrizioni e proporzioni, non genera le immagini stesse. La licenza consente ricerca e valutazione, mentre l’uso commerciale richiede un accordo separato.

L’autore pubblica modelli, dati, valutazioni e istruzioni date all’agente. Chiede un confronto con il modello di partenza, una prova breve prima dell’addestramento completo e un tetto di spesa. È la parte più utile da copiare: dare all’agente un compito verificabile, non soltanto un desiderio.