Tokenizer Mono imita un tokenizer con le regole del font

George Mandis ha costruito un font che evidenzia confini approssimati dei token mentre si scrive, senza uno script che suddivida il testo e aggiunga riquadri alla pagina. Tokenizer Mono sfrutta il motore tipografico del browser: il colore viene disegnato insieme alle lettere. Il progetto, presentato il 4 novembre, è scaricabile e ha una demo.

I token sono i pezzi in cui un modello linguistico divide il testo: possono essere parole, frammenti, spazi o punteggiatura. La stessa frase viene divisa diversamente a seconda del vocabolario usato. Il font offre 28 varianti associate ad altrettanti tokenizer, così si può cambiare visualizzazione scegliendo un’altra variante.

Il trucco usa le sostituzioni contestuali di OpenType, le regole che cambiano i glifi, cioè le forme disegnate delle lettere, in base ai caratteri vicini. Mandis le ha generate dai vocabolari dei tokenizer: le sequenze riconosciute diventano varianti grafiche di inizio, centro e fine token. Le tabelle dei font a colori aggiungono lo sfondo, alternando cinque tinte. Il testo sottostante rimane quello digitato e modificabile.

Cercare per prime le sequenze più lunghe non riproduce tutte le decisioni dei tokenizer originali; il font aggiunge anche regole per parole comuni già suddivise in anticipo. Nei test dell’autore, su un corpus soprattutto di inglese e codice, molte varianti raggiungono circa il 97–99% di precisione sui confini disegnati. Il valore dipende dal testo e dall’algoritmo imitato; gli a capo possono introdurre altre differenze.

È parente di Furifont, che aggiunge le letture ai kanji: due modi ingegnosi di far lavorare il font sul testo, oltre a disegnarne le lettere.