Holoseum

Bachelor of Multimedia Production - University of Applied Sciences Kiel Keywords & Skills: AR, UX, Unity, C#, Team: Colin Kavanagh, Benedikt Breitkopf 2021

interaktiver Holografischer-Guide für das Computermuseum Kiel
studienprojekt
2019

zuständig für konzeption & Programmierung

wie funktioniert das holoseum?

setzt man die ar-brille hololens von microsoft auf und geht ins computermuseum kiel, so wird man von z-03 (gesprochen zoe) begrüßt, dem kleinen energischen roboter. zoe führt die besucher*innen durch die drei stockwerke des museums. im ersten stockwerk stellt zoe sich vor, begleitet die nutzer*innen und erzählt interessante zusatzinformationen zu den gegenständen. zu beginn des zweiten stockwerks passiert ein unfall: zoe kann sich nur noch mit einsen und nullen ausdrücken und ist nicht mehr zu verstehen. um zoe wieder zu reparieren, können die besucher*innen herausforderungen und rätsel meistern. für die rätsel brauchen die nutzer*innen das wissen von den bereits existierenden texttafeln und informationen, die die ausstellung hergibt. so soll das bestehende nicht ersetzt werden, sondern durch eine narrative ebene ergänzt werden. der gewünschte effekt ist, dass bei den nutzer*innen emotionen geweckt und eine größere motivation mit der auseinandersetzung der inhalte des museum ausgelöst wird.

wie wurde es produziert?

zusammen mit meinem kommilitonen benedikt breitkopf ist der erste prototyp im labor für immersive forschung der fh kiel (kurz LINK) entstanden. diese stellte die entwicklungsumgebung und damit auch hololens zur verfügung, sodass das erarbeitete konzept mit ersten benutzer*innen im labor getestet werden konnte. in der zweiten projektphase, die gerade von benedikt umgesetzt wird, ist die programmierung des ersten stockwerkes im computermuseum vorhergesehen.

idee

Die Anwendung geht mit dem Partizipierenden auf eine Reise, diese äußert sich in drei Kapiteln.

1. LERNE Z-03 KENNEN

Der Besucher lernt im ersten Stockwerk Z-03, genannt Zoe, den kleinen energischen Roboter kennen. Der Roboter schwebt selbständig zufällig durch den Raum und erklärt dem Besucher Ausstellungsstücke, die er sich mit ihm anschaut. Außerdem werden die Grundfunktionen der Applikation erklärt.

2. OH NEIN, Z-03

Zu Beginn des zweiten Stockwerkes passiert ein Unglück, Z-03 zerbricht in tausend Einzelteile. Z-03 ist nun auf dem Stand der Computer der damaligen Zeit. Mithilfe der gefundenen Einzelteile, die überall im Museum verteilt sind, kann Z-03 Stück für Stück repariert werden. Außerdem müssen Rätsel gelöst werden oder Z-03 bestimmte Sachen der Computergeschichte beigebracht werden.

3. Z-03, BIST DU ES?

Im dritten Stockwerk steht die Vollendung der Reparatur im Mittelpunkt. Z-03 erlangt Stück für Stück seine modernen Funktionen wieder und kann dann, rechtzeitig zu den Spielkonsolenklassikern, vielleicht sogar ein Spiel mit dem Besucher spielen.

Ziel

Mithilfe des interaktiven Storytellings sollen die interessanten Aspekte der Ausstellungsstücke Teil einer größeren umfassenden Geschichte werden, die man nur im Computermuseum an der Fachhochschule Kiel erfahren kann. So wird eine große umfassende Geschichte erlebt, um die vielen kleinen Geschichten hinter den Ausstellungsstücken zu erzählen.

prozessdokumentation

Holoseum UI

3D Scann des Raumes

Paper Prototype

design

Durch die gewählte Mixed Reality Umgebung ergeben sich zwangsläufig Designentscheidungen, die auf bekannte Design Prinzipien für Applikationen der Medien PC oder Smartphone aufbauen, jedoch gleichzeitig die neuartigen Interaktionsmuster der Technologie berücksichtigen müssen. So dokumentiert M. Pell: „And that is our biggest challenge in a nutshell – designing and developing holographic experiences is such a different paradigm than all the other forms of computing that have come before it, we don’t know what we don’t know.”(M. Pike, 2017, "Envisioning Holograms"). Er fordert er ein Umdenken für holografisches Design. So sollen losgelöst von vergangenen Design Grundsätzen Entscheidungen getroffen werden. Der Designer müsse basierend auf den Herausforderungen der räumlichen Umgebung und der natürlichen Inputs neue Richtlinien erschaffen.

Um einen Rahmen für neue Design Richtlinien bezogen auf unseren Anwendungsfall zu finden, soll sich für das Projekt an der Definition für Ubiquitäre Augmented Reality von MacWilliams orientiert werden. So soll die reale physikalische Umgebung mit virtueller Information erweitert werden. Sie soll interaktiv in Echtzeit sein, sowie im Raum registriert sein. Sie soll in einer großen physikalischen Umgebung sein und immersive Interaktion ermöglichen, sowie auch als dezente Assistenz fungieren. Ebenso liefern grundlegende Design Prinzipien einer Spielerfahrung in einer 360°- Umgebung von Jason Jerald eine Hilfe. Angewendet auf die Museumsumgebung, ergeben sich folgende Grundsätze an denen sich ausgerichtet werden soll:

Erstens soll, angelehnt an Jason Jerald, die Erfahrung wichtiger sein, als die Technologie. Die Museumsumgebung soll in ihrer Erfahrung erweitert, nicht ersetzt werden. Bestehende Ausstellungsstücke und kinematografische Inhalte, wie etwa Texttafeln, sollen in Ihrer Funktion für die Anwendung genutzt werden. Die HoloLens soll als individuelles Medium begriffen werden. So soll die Anwendung Medien, die schon im Museum existieren, nicht reproduzieren, sondern Inhalte erschaffen, die nur dieses Medium ermöglichen kann, wie etwa interaktive Rätsel. Dies gilt ebenso bei der Konzipierung der narrativen Ebene, die erschaffen und auf die Ausstellungsstücke gelegt werden soll. Angelehnt an MacWilliams, soll der Rezipient das Gefühl haben, dass die Projektionen und Objekte, die ihm eine Geschichte erzählen, ein natürlicher Teil des Raumes sind. Der Computer soll nicht mehr als solches wahrgenommen werden, sondern sich in die Welt integrieren. Der Mensch schaut nun nichtmehr wie bei einem Handy auf eine zweidimensionale Fläche, die Aufnahmen einer Kamera zeigt, sondern er selbst verkörpert die Kamera. Microsoft weißt dies ebenfalls als eine elementare Design Grundlinie auf: „Point the way towards a new, more human way of computing“.

Zweitens soll sich die Geschichte auf ihre Schlüsselpunkte konzentrieren. Das interaktive Storytelling ist einer der wichtigsten Faktoren in der Kreation von Emotionen beim Rezipienten. Dabei ist die Umgebung und das Level Design ein großer Teil der Narration. Auch wenn interaktives Storytelling sich in vielen Ansätzen mit passiven Storytelling ähnelt. Es gilt die bestehende reelle Welt zu nutzen und diese mit Hologrammen an ausgewählten Orten zu erweitern. Das Level Konstrukt sollte hierbei nicht zu komplex sein, um die Zielgruppe nicht zu verfehlen. Die Erfahrung sollte sich merklich in drei verschiedene Level einteilen lassen, die verschiedene Schwerpunkte in der Geschichte setzen: Das erste Stockwerk sollte die Begrüßung sowie die Funktionalität der Anwendung thematisieren. Das zweite

Stockwerk sollte die Reparatur von Z-03 mittels interaktiver Rätsel in den Mittelpunkt stellen. Das dritte Stockwerk soll dann die Reparatur Vollenden lassen und den Besucher mit einer Belohnung abschließen lassen, so dass er mit einem guten Gefühl aus dem Museum geht. Ebenfalls ist es wichtig, dass Z-03 eigene Charaktermerkmale besitzt, um interessanter und vielschichtiger für den Nutzer zu wirken. Gute Beispiele wie Roboter menschlich wirken, aber gleichzeitig ihren Computercharakter repräsentieren sind Glados von der Portal-Reihe oder Astro Bot aus Astro Bot Rescue Mission. So ist Glados eine künstliche Intelligenz, die rational boshaft und skrupellos ist, gleichzeitig aber auch menschliche Züge hat und so witzig oder nachtragend sein kann. Astro Bot ist ein freundlicher Helfer, der durch seine Bewegungen und Mimik einen Charme erhält, der an EVE aus WALL-E erinnert.

Drittens soll der Spieler bei Interaktion Feedback erhalten. Durch audiovisuelles Feedback soll der Nutzer stehts wissen ob seine Eingabe angenommen wurde und wie sie interpretiert wird. So soll der Rezipient wissen, ob er auf dem richtigen Weg ist oder nicht. Visuell kann dies mit verschiedenen Größen und Materialien erreicht werden, die in der Anwendung durchgehend einen bestimmten Status beschreiben. Beispielsweise könnten alle Objekte die bewegbar sind gelb markiert sein, sodass der Nutzer sobald er dieses Interaktionsmuster kennt, sofort weiß wozu diese genutzt werden können. Über Audio kann das Spiel mittels räumlichen Klanges mit dem Spieler kommunizieren. Durch den räumlichen Klang verschmilzt die Anwendung zum einen stärker mit der Umgebung, zum anderen kann er die Aufmerksamkeit des Spielers lenken und Point-of-Interests setzen. So kann die Anwendung beispielsweise dem Rezipienten kommunizieren, dass hinter ihm ein Objekt herunterfällt, ohne dass es ihm explizit gesagt oder gezeigt wird. Ein weiterer wichtiger Punkt ist das Bewusstsein zu haben, dass der Nutzer das Interface und der Controller zugleich ist. So soll die Steuerung die Gesten (Gaze, Tap, Voice) der HoloLens nutzen um die Interaktionsmuster so intuitiv wie möglich zu gestalten.

Viertens soll die Gestalt minimalistisch, funktional und natürlich sein. Wichtig ist hierbei das technologische Gerät, die HoloLens, zu verstehen. Zwar können Hologramme überall im Raum frei skalierbar platziert werden, das Sichtfeld der HoloLens schränkt die Betrachtung jedoch immer ein. So müssen Inhalte möglichst passend in den Holografischen Rahmen passen, um gut wahrgenommen zu werden. Hierbei spielt auch der „Vergence-accommodation Conflict“ eine Rolle, so sollten Objekte nicht zu nah am User sein, um scharf wahrgenommen zu werden. Microsoft sieht hierfür den optimalen Abstand von Objekten zu Nutzern zwischen 1,25m und 5m. Ebenso sollten Objekte in ihrer Höhe so platziert sein, sodass sie angenehm wahrzunehmen sind mit der HoloLens. Die Objekte selbst sollen funktional sein, so soll Z-03 beispielsweise keine Füße besitzen, da dies Schwierigkeiten in ihrer Bewegung fördern würde. Auch darf ihr Mesh nicht zu komplex sein, da dies die Framerate schwächen kann, die auf 60 fps laufen sollte, um eine gute User Experience zu garantieren. Außerdem sollen sie kontrastreich sein, so dass der Nutzer sie gut unterscheiden kann.

kontext

Als Semesterprojekt für das Modul VR-Anwendungen sollte der Prototyp einer VR- oder AR-Anwendung mit einem kulturellen Hintergrund erstellt werden. Mögliche Aufraggeber zum Bereitstellen dieses Hintergrundes waren das Computermuseum der Fachhochschule Kiel, Der Verein Kulturerben e.V. sowie die Campus Kunst der Fachhochschule Kiel. Dabei sollte vor allem die interaktive Narration im Vordergrund stehen.

Dies sollte im Kontext der kultursphäre.sh geschehen. Die kultursphäre.sh ist ein Projekt der Fachhochschule Kiel. Sie hat zum Ziel, die Kultur im Raum Schleswig- Holstein mit dem digitalen Wandel der Gesellschaft in Einklang zu bringen, sowie die Möglichkeiten, die sich im Bereich Kultur durch die Digitalisierung ergeben, nutzbar zu machen.

Bei dem zu Nutzenden Medium konnte zwischen den Virtual Reality Brillen „HTC Vive“ und „Oculus Rift“, sowie den Mixed Reality Brillen „Microsoft HoloLens“ und „Meta 2“ gewählt werden.

Es wurde sich für das Computermuseum als Auftraggeber entschieden, da in der Verknüpfung der Ursprünge der Digitalen Technologie mit den modernen VR- oder AR-Devices ein hohes Potential gesehen wurde. Die Herausforderung war es, eine Verbindung aus der historischen ausgestellten Technologie des 20. Jahrhunderts und der modernen VR/AR Technik des 21. Jahrhunderts zu erstellen. Durch die Kombination soll ein neues Erlebnis entstehen, das die Inhalte des Computermuseums aus einer neuen Perspektive vermittelt. Um einen fundierten Ansatz zu finden, sollte der Ist-Zustand des Computermuseums analysiert werden und eine Problematik herausgearbeitet werden. Des Weiteren mussten die zur Verfügung stehenden Technologien, mit Bezug auf das Anwendungsfeld, geprüft werden. Dies sollte helfen eine Idee zu formulieren, die einen Lösungsansatz für die zu ermittelnde Problematik liefern sollte.

problemstellung und ideenfindung

Das Computermuseum wurde als Erstsemester Veranstaltung erlebt, sowie als Teil einer Führung am 06.10.18 durch einen Mitarbeiter des Fördervereins. Dabei wurden folgende Beobachtungen erfasst:

Das Computermuseum überzeugt durch beeindruckende Computer, die die faszinierende Verwandlung von großen schweren Rechenzentren hin zum modernen schmalen Smartphone in der Hosentasche abbilden. Die Ausstellung ist gut dokumentiert und besteht aus vielen Computern aus den jeweiligen Jahrzehnten. Die Aufmachung bzw. Kinematografie ist ebenfalls gut gelungen, mit vielen Texttafeln und Probier-Tischen, die sich mit einem durchgehenden Design durch das Museum ziehen.

Allerdings wird die Ausstellung nach anfänglicher Euphorie immer weniger spannend, da immer wieder die gleiche Reaktion, ein Erstaunen über die alten großen Rechner, aufgerufen wird. Es fehlt der affektive Bezug zu den Inhalten. Die Ebene hinter der Begeisterung für das alte Design bleibt all denjenigen verschlossen, die damals nicht persönliche Erfahrungen mit den Geräten hatten. Das zeigten auch die Besucher, die an der Führung teilnahmen. Die Besucher, die älter als 50 Jahre waren oder sich speziell mit der Fachbranche auskannten, empfanden besondere Begeisterung bei der Besichtigung von den alten Inhalten. Das jüngere Publikum, in diesem Fall Studenten, schien von Stockwerk zu Stockwerk immer gelangweilter, da keine neue emotionale Reaktion durch die ausgestellten Inhalte hervorgerufen wurde.

Ein deutliches Indiz dafür war der Moment, in dem die Gruppe in das letzte Stockwerk mit den ausgestellten Computerspielkonsolen gelangte. Noch während der Gästeführer technische Details zu einem elektronischen Verbindungsstück erklärte, lief ein junger Teilnehmer direkt zum Spielautomaten. Außer wenigen Interessierten Teilnehmern standen alle anderen zwar noch beim Gästeführer, schauten jedoch dabei zu, wie der junge Erwachsene Teilnehmer versuchte die Spielkonsole zu bedienen. Die Teilnehmer waren schlicht von weiteren technischen Details gelangweilt, so war es selbst spannender eine andere Person dabei zuzuschauen, wie sie vergeblich versucht ein Spiel zu starten.

Welche Probleme konnten ausgemacht werden?

Es fehlte die affektive Ebene zu den Inhalten. Es fehlt eine Geschichte hinter den Inhalten, durch die eine Emotion geweckt werden kann. Ebenfalls zeigt die Beobachtung, dass die die Abwechslung fehlt bei der Besichtigung der drei Stockwerke.

Wie lösen andere Museen dieses Problem?

Die Problematik „Wie mache ich Geschichte interessant“ beschäftigt die Museen im Allgemeinen. Dabei verfolgenden sie verschiedene Wege der Problemlösung.

Als Beispiel hat das Auswanderermuseum in Bremerhaven eine personalisierte Reise gestaltet. Am Anfang bekommt jeder Besucher eine ID-Karte einer fiktiven damaligen Person, die von Bremerhaven nach Amerika ausgewandert ist. Bei den Ausstellungsstücken bekommt man Sprachnachrichten von der jeweiligen Person zu hören, die man für diese Reise verkörpert. So hat ein Besucher zum Beispiel einen reichen Banker, der auf den Oberdecks wohnt und in der Bar gerne abends trinken geht. Ein anderer Besucher hat eine Person, die arm ist und sich heimlich an Board geschlichen hat und sich, getrieben vom amerikanischen Traum, ein besseres Leben auf dem amerikanischen Kontinent erhofft. Diese Person erzählt aus ihrer Perspektive von Krankheiten und den lebensgefährlichen Umständen auf den Unterdecks. Am Ende der Reise hat so jeder Besucher eine affektive Nähe zu seiner jeweiligen fiktiven Person aufgebaut und kann von seinen eigenen Erfahrungen erzählen.

Einen technologisch modernen Ansatz diese Problematik anzugehen zeigen nun Museen, die versuchen Augmented Reality Anwendungen zu kreieren. So werden in dem „American Museum of Natural History“ Ausstellungsstücke zum Leben erweckt oder in der „Museum and Art Gallery“ in Bristol, Großbritannien, komplett neue Elemente der Ausstellung erschaffen. In den genannten Beispielen werden meist Smartphones, Tablets oder Bildschirme als Medien genutzt, sodass eine Oberfläche auf die existente Welt projektziert wird. Dieser Ansatz der Augmented Reality weicht insofern von dem Ansatz der Mixed Reality ab, als dass sie die Umgebung ergänzt, jedoch nicht ein interaktiver Teil der Umgebung wird. Hierbei ist dies auf die genutzten Technologien zurückzuführen. Ein Grund dafür kann sein, dass die genutzten Smartphones in den Beispielen über keine Tiefenfeldkameras verfügen. So richtet sich die Projektion ausschließlich an einem Marker aus und nicht an den Koordinaten des Raumes. Ob jedoch ein Smartphone mit Tiefenfeldkamera einen deutlichen Unterschied in der Erfahrung bieten kann, ist noch anzuzweifeln. So kommt Malin Lohrer zu dem Ergebnis, dass Smartphones mit der Google Tango Tiefenfeldkamera-Technologie im Vergleich zu markerbasierten Anwendungen keinen Mehrwert bezüglich der perspektivischen Darstellung virtueller Objekte besitzen. Dafür haben Tango-Applikationen einen Vorteil bei interaktiven physischen Objekten, da sie eine Interaktion mit dem Raum ermöglichen. Perspektivisch betrachtet ist festzuhalten, dass sich mit den beiden Projekten

ARCore von Google und ARKit von Apple die Nutzungserfahrung von Augmented Reality auf einem Smartphone beträchtlich ändern kann. Es ist zu beobachten, dass die genannten Grenzen in der Definition zwischen Augmented Reality und Mixed Reality zusehends miteinander verschwimmen, je natürlicher die Abbildungen der Projektionen Teil des Raumes werden und mit ihm interagieren können. Dies kann zu neuen Interaktionsmustern mit einer Museumsumgebung führen. Die, im Kontext des Projektes, zur Verfügung stehende HoloLens nutzt Tiefenfeldkameras, um den Raum in drei Dimensionen zu scannen und zu tracken. Eine Nutzung der markerbasierten Technologie ist mit der Vuforia Engine für die HoloLens ebenfalls möglich. Außerdem kann per Gesten-Steuerung mit den Projektionen interagiert werden. Eine Anwendung für die HoloLens ermöglicht also eine komplexere Interaktion mit dem Raum und eine differenziertere grafische Darstellung in dem Raum, als es bei den oben genannten Beispielen der Fall ist.

Mit Virtual-Reality Brillen ist es möglich ganze Museums Touren virtuell zu erleben. Darüber hinaus gibt es Anwendungen, in denen historische Umgebungen nachgebaut wurden. Durch die modernen technologischen Möglichkeiten gelingt die Immersion in VR-Brillen wie der HTC-Vive immer leichter. Hierbei wird die Qualität der einzelnen Einflussfaktoren gesteigert. So wird beispielsweise die „Vividness“ gesteigert, in dem die Auflösung und die Qualität des Renderings so hochauflösend ist, sodass das menschliche Auge immer schlechter einen Unterschied zur reellen Welt bilden kann. Zum anderen können moderne Trackingtechnologien wie das „Lighthouse“-System Bewegungen und Rotationen auf Vergleicht man beide Technologien hinsichtlich der vier Typen des Präsenzerlebens so lassen sich grundsätzliche Unterschiede erkennen. Die Mixed Reality besitzt deutliche Vorteile in ihrer physischen, räumlichen, sozialen und selbstwahrnehmenden Präsenz, da sie den Rezipienten nicht komplett von der Welt isoliert. In der virtuellen Realität gibt es meist abstrahierende Faktoren wie etwa die Bewegung, die wie etwa bei den genannten Beispielen durch einen Controller und nicht durch den eigenen Körper durchgeführt wird, was die physische und räumliche Präsenz stören kann. Ebenso sind VR-Anwendungen noch meist Einzelspieler Applikationen, wodurch die soziale Präsenz gestört werden kann. Darüber hinaus wird der eigene Körper als Avatar in einer anderen Welt abstrahiert, welches die Selbstpräsenz stören kann, da die VR-Brille nicht alle Sinne abbilden kann. Doch trotz dieser Faktoren, die von ihrer Immersion beeinflusst werden, kann ein Präsenzerlebnis erzeugt werden, welches den Nutzer in eine komplett neuartige Umgebung transportiert. Der Nutzer braucht nicht immer den realistischsten Körper, um ihn als seinen eigenen zu erleben.

Lösungsvorschlag

Anhand der analysierten Vor- und Nachteile der zur Verfügung stehenden Technologien in Anbetracht das Anwendungsfeldes sowie ihrer Problematik, wurde sich für die Microsoft HoloLens entschieden.

Durch die Nutzung dieser Mixed Reality Brille wird ermöglicht, eine neue narrative Ebene zu eröffnen, die es Besuchern aller Altersgruppen ermöglicht eine spannende emotionale Reise durch das Computermuseum zu erleben.

Die Vorteile der Brille sind, dass man durch sie die reellen Ausstellungsstücke sehen kann und sich durch Holografische Einblendungen zusätzlich eine neue digitale Ebene abbilden lässt. Des Weiteren ist sie im Gegensatz zur Meta 2 kabellos und kann den Raum in Echtzeit scannen. Darüber hinaus besitzt sie räumliche Lautsprecher, mit dem in der Anwendung mit dem Besucher kommuniziert werden kann.

Nachteile der HoloLens sind das kleine Sichtfeld und die teuren Anschaffungskosten. So können nur wenige Besucher vom Genuss der virtuellen Tour kommen.