Appunti sul riconoscimento della scrittura nel Newton e in Inkwell

Mele e appunti

Una ventina di giorni fa si è creato un interessante thread di discussione su NewtonTalk, la mailing list della comunità internazionale del Newton, l’ormai storico PDA prodotto da Apple dal 1993 al 1998. Si è cominciato a parlare della tecnologia di riconoscimento della scrittura del Newton, che è stata poi introdotta (senza troppa fanfara, va detto) in Mac OS X (dalla versione 10.2). A dare un importante contributo al dibattito è stato Larry Yaeger: ai tempi, in Apple, lavorava all’interno dell’Advanced Technology Group ed era Technical Lead (ruolo che si potrebbe tradurre grosso modo “direttore tecnico”) dello sviluppo del sistema di riconoscimento della scrittura basato sulle reti neurali; il primo sistema usabile che appunto fu introdotto nel Newton prima e in Mac OS X poi.

Ho isolato i suoi interventi più interessanti e mi sono preso la briga di tradurli e di pubblicarli qui; se non altro perché contengono qualche informazione non banale che non fa male sapere.

Larry Yaeger:

Sul sistema di riconoscimento impiegato nel Newton e in Mac OS X — Il sistema di riconoscimento per il cursive [la scrittura corsiva ‘legata’] si chiamava ParaGraph. Il sistema di riconoscimento per il printing [la scrittura corsiva ‘disgiunta’] si chiamava Mondello (già Rosetta) ed era sviluppata internamente in Apple.

Il sistema di riconoscimento (printing) in Inkwell è Mondello, con alcuni lievi miglioramenti per quanto concerne la precisione in generale e una gestione decisamente migliore degli URL.

Se il sistema di riconoscimento di Inkwell sembra meno preciso di quello del Newton, ciò probabilmente è dovuto a 1) la risoluzione della tavoletta grafica oppure 2) alla scrittura indiretta. Le tavolette grafiche di alta qualità non dovrebbero presentare alcun problema per il sistema di riconoscimento, ma alcune fra le più piccole ed economiche hanno una bassa risoluzione, e il riconoscimento della scrittura ne soffre di conseguenza. Anche per chi è abituato, scrivere in un posto [la tavoletta] mentre si guarda altrove [lo schermo] non è così efficace ed efficiente come lo scrivere direttamente dove si guarda. Un altro fattore da considerare può essere la superficie di molte tavolette grafiche, che è piuttosto liscia, mentre la superficie dello schermo del Newton è stata resa intenzionalmente più ruvida per offrire un miglior feedback tattile durante la scrittura.

Le differenze di accuratezza che possono essere percepite fra la finestra Ink di Inkwell (InkPad) e la sua finestra di input per scrivere ovunque (“write-anywhere”) sono assolutamente soggettive e dipendono dalle abitudini dell’utente, poiché utilizzano entrambe lo stesso identico codice. Immagino che chi sostenga di trovarsi più a suo agio con il sistema write-anywhere è perché sta scrivendo più in grande e in maniera più fluida rispetto ai tentativi di scrivere seguendo le righe abbastanza fitte di InkPad; di qui la percezione di un miglior riconoscimento della scrittura. Non vi sono differenze a livello prestazionale sul cursive, punto. Il cursive (nient’altro che una gestione migliore di caratteri che vengono occasionalmente legati) fu quasi del tutto completato internamente, ma non si riuscì a terminarne lo sviluppo.

* * *

Su Tablet PC e Apple Inkwell — Basandomi su alcune prove effettuate personalmente, ritengo che il riconoscimento della scrittura di Tablet PC sia alla pari con Inkwell per quanto riguarda il riconoscimento printing puro. Ma i Tablet PC gestiscono i caratteri legati in maniera decisamente migliore rispetto a Inkwell. E gestiscono la scrittura corsiva sorprendentemente bene, mentre Inkwell non la gestisce affatto.

Per quanto riguarda gli alfabeti latini non credo vi siano altri al livello di Microsoft (tecnologia Tablet PC) e Apple (Inkwell), anche se è passato del tempo da quando mi occupavo assiduamente di questo ambito.

Il riconoscimento della scrittura Tablet PC è una fusione della tecnologia ParaGraph migliorata del Newton OS 2.x (il riconoscimento cursive) e di un sistema di riconoscimento sviluppato internamente in Microsoft. E devo dire che Microsoft li ha uniti in modo brillante e accorto, proprio un bel lavoro.

(Anche se la tecnologia di riconoscimento scrittura migliorò un poco in Inkwell rispetto al Newton, la maggior parte del tempo e delle risorse ingegneristiche spesi in quella transizione vennero impiegati per integrare Mondello prima in Mac OS 9 — che fu poi abbandonato quando la sezione Marketing di Apple dichiarò “nessuna nuova feature in Mac OS 9″ — e poi dentro Mac OS X. Non è che la transizione fu affrontata con scarso impegno, solo che gli sforzi vennero soprattutto concentrati su cose diverse dalla tecnologia di riconoscimento della scrittura. Poi, con il sistema operativo che veniva aggiornato a cadenza annuale, il passaggio da PowerPC a Intel, le questioni legate alla risoluzione dello schermo e alla sicurezza, tutte le risorse ingegneristiche a disposizione furono utilizzate per stare al passo con tutto quel che stava accadendo in Apple. Che è una delle ragioni principali della mia fuoriuscita. Quella e il marcato disinteresse, ai livelli più alti, verso un ‘Tablet Mac’ o un nuovo PDA in stile Newton.

* * *

Sul sistema di riconoscimento e l’apprendimento — Il sistema di riconoscimento printing non impara. Quel che fa è regolare le proprie aspettative sull’altezza dei caratteri, pertanto se nel corso del tempo si scrive in forma omogenea e costante, può ‘migliorare’ nella disambiguazione fra lettere minuscole e maiuscole. Ma a parte questo, non fu mai implementata una versione del sistema che ‘imparasse’ davvero. (Si basa su una rete neurale, per cui potrebbe imparare certamente, e in effetti apprende il comportamento [di scrittura] indipendente dall’utente prima di essere messo in commercio; solo che quella tecnologia non fu mai incorporata nel prodotto da commercializzare).

Se ricordo bene, il sistema di riconoscimento cursive può apprendere, ma mi pare che bisogni utilizzare il software con gli esercizi di apprendimento. So che era così con le prime versioni [del Newton OS], ma è possibile che lo avessero impostato in modo che apprendesse al momento.

In molti casi, è quell’organo di apprendimento estremamente potente che abbiamo nel cranio a imparare e ad adattarsi. È l’utente che adatta il proprio stile di scrittura di quel poco che basta a ottenere un’accuratezza sempre più alta. Dato che in qualsiasi momento durante la scrittura si ottiene un feedback, l’apprendimento è in effetti piuttosto rapido, senza che il tutto sia troppo difficile o intrusivo. Esiste inoltre una curva di apprendimento naturale associata alla scrittura effettuata con una penna dalla forma e dal materiale insolito su una superficie di scrittura egualmente insolita. Questi dettagli fanno davvero la differenza. (Per esempio, siamo stati in grado di misurare un netto miglioramento nella precisione di scrittura semplicemente utilizzando un display ‘ruvido’, con una texture, di contro a un display totalmente liscio: l’attrito causava un feedback tattile mentre l’utente scriveva).

The Author

Writer. Translator. Mac consultant. Enthusiast photographer. • If you like what I write, please consider supporting my writing by purchasing my short stories, Minigrooves or by making a donation. Thank you!

5 Comments

  1. il marcato disinteresse, ai livelli più alti, verso un ‘Tablet Mac’ o un nuovo PDA in stile Newton.”

    il che dovrebbe zittire ogni rumors circa il presunto iTablet come “one more thing” per il 9 giugno!

    certo che se inkwell riconoscesse l’italiano…

  2. Il disinteresse verso un nuovo dispositivo in stile Newton di cui parla Yaeger era ancora presente nel periodo in cui lui lasciò Apple, ossia nel 2006. Non so se dopo che iPhone e iPod touch sono diventati realtà sia cambiata la tendenza in quel senso.

    Di certo la piattaforma touch è promettente. Yaeger, in una breve email che non ho tradotto, si dice sconcertato del fatto che non sia stata introdotta la tecnologia Inkwell in iPhone — e questo non tanto perché iPhone non ha una penna, perché il riconoscimento della scrittura potrebbe accettare anche il dito come strumento di input.

    Non è peregrino ipotizzare un prossimo dispositivo multi-touch con uno schermo più grande di iPhone, che faccia ancora più cose di iPhone ma meno di un Mac; ma deve essere qualcosa di innovativo per forza, e appunto un ‘iTablet’ è un concetto già vecchio. E non credo che si tratterà di un PDA, semplicemente perché ormai ci sono già iPod touch e iPhone, i quali, specie iPhone, sono da considerarsi PDA.

    Tale dispositivo potrebbe essere una sorta di evoluzione della linea iPod, un qualcosa che porti la multimedialità da tasca a un livello ancora più alto. Ma chissà, son tutte ipotesi. Io aspetto con impazienza il 9 giugno, sperando che venga dato il via a iPhone qui in Spagna. Sono stufo di aspettare :)

    Ciao!
    Riccardo

  3. Sono stufo di aspettare” io non ce l’ho fatta più e me lo son fatto portare da un amico da San Francisco.

    E’ incredibile.

    Per ink nell’iPhone, pare che sarà integrato per quanto riguarda il riconoscimento della scrittura cinese (forse anche giapponese). http://www.theapplelounge.com/hardware/iphone/iphone-riconoscimento-scrittura-cinese/

    invece per ora pare niente dal punto di vista della scrittura occidentale.

    sarebbe bello che il multi-touch venisse portato sugli schermi dei Mac… pensa usare un iMac con le dita direttamente a schermo… anche perché ci sono già molti prodotti che ne fanno largo uso, da Surface di Microsoft (e pare che Windows 7 ne farà uso), a progetti più interessanti come Perceptive Pixel di Jeff Han, oltre a innumerevoli progetti opensource ed addirittura casalinghi!

  4. Eh, io aspetto perché voglio fare le cose in regola. Ho visto di persona che cosa può fare e quanto si può caricare su un iPhone jailbroken, e malgrado la mia curiosità intellettuale, non ho intenzione di sbloccare l’iPhone che mi comprerò.

    Per quanto riguarda l’interfaccia multi-touch implementata sui Mac, sono tuttora scettico su un suo impiego ‘a tutto schermo’ e ‘a tutto campo’, per così dire.

    La tecnologia multi-touch presuppone uno schermo sensibile al tocco. Se si ricerca la precisione, occorre una risoluzione adeguata. E un conto è lo schermo di iPhone/iPod touch, un conto è avere un iMac con uno schermo sensibile al tocco da 20 e da 24 pollici. Sembra paradossale, ma i gesti permessi dal multi-touch su un’area ristretta come lo schermo di iPhone offrono un feedback e un livello di precisione che su uno schermo da 20/24 pollici, ora, non c’è. Semplicemente perché estendere il gesto (per esempio) di ‘sfogliare’ le copertine degli album sullo schermo di un computer risulta più faticoso, meno ‘economico’ e il feedback che dà un monitor posizionato a una certa distanza, a un’angolazione non piana, è totalmente diverso.

    Apple mi sembra procedere con cautela con il multi-touch applicato ai computer: è probabile che lo sviluppo di questa tecnologia, prima di approdare agli schermi (e avrà più senso, in quel caso, iniziare con gli schermi dei portatili, non dei desktop), verrà applicato al trackpad. Il trackpad di MacBook Air è l’inizio. Mi è facile immaginare un trackpad ancora più grande e con nuove gestualità implementate, così che si aggiungano come alternative di input e vadano ad arricchire in maniera utile l’interfaccia utente. Certo, è una metodologia di input meno immediata del multi-touch su iPhone, ma immagino che alla lunga stanchi meno rispetto ad alzare in continuazione le braccia verso il monitor di un iMac :)

    Naturalmente sono mie elucubrazioni e posso prendere le mie brave cantonate. Sono molto curioso di vedere i prossimi passi di Apple in questo senso…

    Ciao e grazie dei tuoi interventi,
    Riccardo

  5. ti dicevo della probabile impossibilità che venga presentato un tablet…

    e poi, nuovi indizi mi portano in direzione contraria…

    i nuovi processori atom di intel, il rumoreggiare su os x 10.6 Snow Leopard, M$ che presenta windows 7 farcito di multi-touch…

    qui un’analisi più approfondita: http://www.theapplelounge.com/hardware/iphone/multi-touch-106-ed-litablet/
    domani scopriremo alla wwdc se e quali mirabolanti prodotti verranno presentati…

Comments are closed.