3D interaktives Baukastensystem unter Verwendung von Augmented Reality Techniken

Abbildung 1: Augmented Reality Enlarge image
Abbildung 2: ARToolKid Enlarge image
Abbildung 3: Benutzer mit Augmented Reality Ausrüstung (Videobrille mit Kamera) bei der Interaktion mit dem Baukastensystem. Enlarge image
Abbildung 4: Sicht des Benutzers auf die Arbeitsplatte. Enlarge image
Abbildung 5: 3D Maus mit lokalem Optionsmenü. Enlarge image

Studienarbeit von Björn Schwerdtfeger

Einführung:

Erfahrungen mit Virtual Reality Benutzerschnittstellen haben heutzutage die meisten schon einmal gemacht. Der Benutzer wird dabei weitgehend von seiner natürlichen Umgebung isoliert, um in eine künstliche Welt einzutauchen. Je wirklicher ihm diese erscheint, desto besser. Im Gegensatz dazu versucht Augmented Reality den Benutzer nicht aus seiner Umgebung zu entführen, sondern ihn dort zu belassen. Sein Umfeld wird lediglich durch virtuelle Elemente ergänzt. Ihm soll der Eindruck vermittelt werden, als befänden sich die virtuellen Objekte tatsächlich in seiner realen Umgebung. Technisch kann dieses durch eine Videomischung geschehen. Dabei wird ein Video des realen Blickfelds mit virtuellen Elementen überlagert.

Das ARToolKit ermöglicht die Erstellung solcher Augmented Reality Benutzerschnittstellen. Eine Kombination mit der Szenegraph Bibliothek OpenSG fand im Rahmen dieser Studienarbeit statt. Mit dem so entstandenen leistungsfähigen Augmented Reality Framework wurde ein 3D interaktives Augmented Reality Baukastensystem entwickelt. Ausgestattet mit einer Augmented Reality Ausrüstung kann ein Benutzer mit virtuellen Bauklötzen in der realen Welt "spielen".

Augmented Reality

Die Augmented Reality (= Erweiterte Realität) versucht die Sicht des Benutzers auf die reale Welt um virtuelle Element zu erweitern. Eine weit verbreitete Technik dieses zu realisieren ist es, den Benutzer seine Umgebung durch eine Videobrille wahrnehmen zu lassen. Er sieht dann eine Kombination aus dem Videobild seiner Umgebung mit einer 3 dimensionalen Computergraphik. Für die Erstellung dieses Augmented Reality Videos sind folgende Schritte notwendig:

  • Aufnahme eines Videobildes der realen Umgebung
  • Ermittlung der relativen Transformation zwischen der realen Kamera und einem realen Ort (hier Tischplatte) im Raum (=>ARToolKit)
  • Anwendung der realen Transformation auf das virtuelle Objekt (hier Teekanne)
  • Berechnung des virtuellen Objekts mit der Perspektive der realen Kamera
  • Überlagerung des Umgebungsvideos mit dem virtuellen Objekt zu einem Augmented Reality Video

ARToolKit

Das ARToolKit ermöglicht die Erkennung von visuellen Markern aus einem Videobild. Mit dem Wissen über Größe, Form und Symbolik des Markers kann das ARToolKit die relative Transformation zwischen Kamera und Marker ermitteln. Mit diesen Informationen kann dann die Augmented Reality Anwendung erstellt werden.

OpenSG

OpenSG ist ein portables Szenengraphsystem zur Erstellung von Echtzeit-Graphikprogrammen.

  • Open Source (LGPL), verschiedenen Plattformen, basiert auf OpenGL
  • High Level Graphik API, aktive  Weiterentwicklung gefördert vom Bundesministerium für Bildung und Forschung

Kombination

Um eine leistungsfähigen Augmented Reality Framework zu gestallten, wurde das ARToolKit mit dem OpenSG Szenengraphsystem kombiniert:

  • Initialisierung der Kamera: Die wesentlichen Parameter (Brennweite,..) der Videokamera werden an die Projektionsmatrix der virtuellen Kamera (OpenSG) übergeben.
  • Transformation des virtuellen Objektes: Die Transformationsmatrix (vom ARToolKit geliefert), die die Distanz und Orientierung zwischen Kamera und Marker beschreibt, muss auf das virtuelle Objekt angewandt werden.
  • Anzeigen des Videos: Das ursprüngliche Videobild der Umgebung wird als Hintergrund der erzeugten Szene benutzt

3D interaktives Baukastensystem

Mit dem 3D interaktive Baukasten kann der Benutzer in seiner realen Welt mit virtuellen Bausteinen Konstruktionen erstellen. Die Benutzerschnittstelle ermöglicht dabei ein Spielen, so wie es aus der "Jugend" bekannt ist. Bausteine können durch die Interaktion im realen Raum versetzt werden und für verschiedene Ansichten kann einfach um die Spielfläche herumgegangen werden. Erweitert wird das System durch irreale Eingaben, wie zum Beispiel eine beliebige Erzeugung der Bauklötze in Form und Farbe oder einen Farbinsel, der auch gelegte Steine noch modifizieren lässt.

Links

ARToolKit Homepage
OpenSG Homepage

Für weitere Informationen bitte E-Mail an strauss@uni-paderborn.de.