Una ventina di giorni fa si è creato un interessante thread di discussione su NewtonTalk, la mailing list della comunità internazionale del Newton, l’ormai storico PDA prodotto da Apple dal 1993 al 1998. Si è cominciato a parlare della tecnologia di riconoscimento della scrittura del Newton, che è stata poi introdotta (senza troppa fanfara, va detto) in Mac OS X (dalla versione 10.2). A dare un importante contributo al dibattito è stato Larry Yaeger: ai tempi, in Apple, lavorava all’interno dell’Advanced Technology Group ed era Technical Lead (ruolo che si potrebbe tradurre grosso modo “direttore tecnico”) dello sviluppo del sistema di riconoscimento della scrittura basato sulle reti neurali; il primo sistema usabile che appunto fu introdotto nel Newton prima e in Mac OS X poi.

Ho isolato i suoi interventi più interessanti e mi sono preso la briga di tradurli e di pubblicarli qui; se non altro perché contengono qualche informazione non banale che non fa male sapere.

Larry Yaeger:

Sul sistema di riconoscimento impiegato nel Newton e in Mac OS X — Il sistema di riconoscimento per il cursive [la scrittura corsiva ‘legata’] si chiamava ParaGraph. Il sistema di riconoscimento per il printing [la scrittura corsiva ‘disgiunta’] si chiamava Mondello (già Rosetta) ed era sviluppata internamente in Apple.

Il sistema di riconoscimento (printing) in Inkwell è Mondello, con alcuni lievi miglioramenti per quanto concerne la precisione in generale e una gestione decisamente migliore degli URL.

Se il sistema di riconoscimento di Inkwell sembra meno preciso di quello del Newton, ciò probabilmente è dovuto a 1) la risoluzione della tavoletta grafica oppure 2) alla scrittura indiretta. Le tavolette grafiche di alta qualità non dovrebbero presentare alcun problema per il sistema di riconoscimento, ma alcune fra le più piccole ed economiche hanno una bassa risoluzione, e il riconoscimento della scrittura ne soffre di conseguenza. Anche per chi è abituato, scrivere in un posto [la tavoletta] mentre si guarda altrove [lo schermo] non è così efficace ed efficiente come lo scrivere direttamente dove si guarda. Un altro fattore da considerare può essere la superficie di molte tavolette grafiche, che è piuttosto liscia, mentre la superficie dello schermo del Newton è stata resa intenzionalmente più ruvida per offrire un miglior feedback tattile durante la scrittura.

Le differenze di accuratezza che possono essere percepite fra la finestra Ink di Inkwell (InkPad) e la sua finestra di input per scrivere ovunque (“write-anywhere”) sono assolutamente soggettive e dipendono dalle abitudini dell’utente, poiché utilizzano entrambe lo stesso identico codice. Immagino che chi sostenga di trovarsi più a suo agio con il sistema write-anywhere è perché sta scrivendo più in grande e in maniera più fluida rispetto ai tentativi di scrivere seguendo le righe abbastanza fitte di InkPad; di qui la percezione di un miglior riconoscimento della scrittura. Non vi sono differenze a livello prestazionale sul cursive, punto. Il cursive (nient’altro che una gestione migliore di caratteri che vengono occasionalmente legati) fu quasi del tutto completato internamente, ma non si riuscì a terminarne lo sviluppo.

* * *

Su Tablet PC e Apple Inkwell — Basandomi su alcune prove effettuate personalmente, ritengo che il riconoscimento della scrittura di Tablet PC sia alla pari con Inkwell per quanto riguarda il riconoscimento printing puro. Ma i Tablet PC gestiscono i caratteri legati in maniera decisamente migliore rispetto a Inkwell. E gestiscono la scrittura corsiva sorprendentemente bene, mentre Inkwell non la gestisce affatto.

Per quanto riguarda gli alfabeti latini non credo vi siano altri al livello di Microsoft (tecnologia Tablet PC) e Apple (Inkwell), anche se è passato del tempo da quando mi occupavo assiduamente di questo ambito.

Il riconoscimento della scrittura Tablet PC è una fusione della tecnologia ParaGraph migliorata del Newton OS 2.x (il riconoscimento cursive) e di un sistema di riconoscimento sviluppato internamente in Microsoft. E devo dire che Microsoft li ha uniti in modo brillante e accorto, proprio un bel lavoro.

(Anche se la tecnologia di riconoscimento scrittura migliorò un poco in Inkwell rispetto al Newton, la maggior parte del tempo e delle risorse ingegneristiche spesi in quella transizione vennero impiegati per integrare Mondello prima in Mac OS 9 — che fu poi abbandonato quando la sezione Marketing di Apple dichiarò “nessuna nuova feature in Mac OS 9″ — e poi dentro Mac OS X. Non è che la transizione fu affrontata con scarso impegno, solo che gli sforzi vennero soprattutto concentrati su cose diverse dalla tecnologia di riconoscimento della scrittura. Poi, con il sistema operativo che veniva aggiornato a cadenza annuale, il passaggio da PowerPC a Intel, le questioni legate alla risoluzione dello schermo e alla sicurezza, tutte le risorse ingegneristiche a disposizione furono utilizzate per stare al passo con tutto quel che stava accadendo in Apple. Che è una delle ragioni principali della mia fuoriuscita. Quella e il marcato disinteresse, ai livelli più alti, verso un ‘Tablet Mac’ o un nuovo PDA in stile Newton.

* * *

Sul sistema di riconoscimento e l’apprendimento — Il sistema di riconoscimento printing non impara. Quel che fa è regolare le proprie aspettative sull’altezza dei caratteri, pertanto se nel corso del tempo si scrive in forma omogenea e costante, può ‘migliorare’ nella disambiguazione fra lettere minuscole e maiuscole. Ma a parte questo, non fu mai implementata una versione del sistema che ‘imparasse’ davvero. (Si basa su una rete neurale, per cui potrebbe imparare certamente, e in effetti apprende il comportamento [di scrittura] indipendente dall’utente prima di essere messo in commercio; solo che quella tecnologia non fu mai incorporata nel prodotto da commercializzare).

Se ricordo bene, il sistema di riconoscimento cursive può apprendere, ma mi pare che bisogni utilizzare il software con gli esercizi di apprendimento. So che era così con le prime versioni [del Newton OS], ma è possibile che lo avessero impostato in modo che apprendesse al momento.

In molti casi, è quell’organo di apprendimento estremamente potente che abbiamo nel cranio a imparare e ad adattarsi. È l’utente che adatta il proprio stile di scrittura di quel poco che basta a ottenere un’accuratezza sempre più alta. Dato che in qualsiasi momento durante la scrittura si ottiene un feedback, l’apprendimento è in effetti piuttosto rapido, senza che il tutto sia troppo difficile o intrusivo. Esiste inoltre una curva di apprendimento naturale associata alla scrittura effettuata con una penna dalla forma e dal materiale insolito su una superficie di scrittura egualmente insolita. Questi dettagli fanno davvero la differenza. (Per esempio, siamo stati in grado di misurare un netto miglioramento nella precisione di scrittura semplicemente utilizzando un display ‘ruvido’, con una texture, di contro a un display totalmente liscio: l’attrito causava un feedback tattile mentre l’utente scriveva).