Diane Gromala
»Living Book of the Senses«

Die User können ihre physische Umgebung sehen und sich gleichzeitig auf dynamische Weise auf die dreidimensionalen gemischten Realitäten einlassen, die auf ihren Headsets erscheinen. Die User können auf dynamische Weise mit dem Buch interagieren. Sie können dem Buch (mittels eines Spracherkennungssystems) Fragen stellen und das Buch mittels ihres sensorischen (Bio-)Feedbacks beeinflussen. Die Benutzer tragen ein Headset-/Head-Tracker-/Farbkamera-System, das es ihnen ermöglicht, die durch ein VR-Overlay gesteigerte physische Realität zu sehen. Die Kamera speist Bilder/Muster ein und koppelt sie an die ARToolkit Software zurück, die digitale Informationen präsentiert, welche mit den physischen Markierungen auf dem Headset verbunden sind. Das ARToolkit kann in Echtzeit die Kameraposition und –orientierung im Verhältnis zu den physischen Markierungen für die videovermittelte Realität berechnen.
Jeder Leser kann AR-Szenen aus seiner/ihrer jeweiligen Perspektive betrachten. User können in die immersive Welt fliegen und sich gegenseitig in derselben virtuellen Szene als Avatare sehen. Leser, die in der AR-Szene bleiben, nehmen andere Leser in der durch ihr Headset präsentierten virtuellen Szene aus der Vogelperspektive als Mini-Avantare wahr. Ein von den Nutzern kontrollierter Dialog mit dem Buch entlockt diesem Reaktionen und Antworten (die als digitale Daten erfolgen, d.h. visuell, textuell und akustisch). Wenn die User im physischen und virtuellen Bereich gleichzeitig mit dem Buch interagieren, reagiert das Buch (mittels Biofeedback) auf individuelle und multiple physische Zustände, indem es die hieraus resultierenden Veränderungen erzählerisch zum Ausdruck bringt. Die Erzählung ist ein Kulturgeschichte der Sinne.

Quelle: Auszüge aus: http://www.lcc.gatech.edu/~gromala/livingbook/

Yvonne Volkart