Markerlose Initialisierung und markerloses Tracking für industrielle Augmented Reality Anwendungen
Diplomarbeit von Björn Schwerdtfeger
Motivation
Heutige Industrieprodukte sind durch eine zunehmende Komplexität und Vielfalt gekennzeichnet. Einem Mechaniker, der Wartungs- und Instandsetzungsarbeiten an solchen Produkten durchführt, wird ein immer umfassenderes Wissen abverlangt. Langfristig wird dieses Wissen zu umfangreich für ihn sein. Um auch zukünftig eine hohe Qualität und zeitliche Effizienz der Serviceleistungen zu garantieren, sind innovative Technologien zu entwickeln, die den Mechaniker bei seiner Aufgabe unterstützen. Solche Technologien stellen idealerweise eine Benutzerschnittstelle zur Verfügung, die den Mechaniker am Serviceobjekt agieren und gleichzeitig mit der informationsdarstellenden Technik interagieren lassen. Augmented Reality Techniken stellen eine Methode dar, den Mechaniker bei solchen Aufgaben zu unterstützen. Sie ermöglichen es dem Benutzer die Arbeitsanweisungen direkt in seine Arbeitsumgebung zu projizieren. Bis heute existiert jedoch kein Augmented Reality System welches industriellen Ansprüchen genügt. In dieser Arbeit werden verschiedene Verfahren evaluiert und letztendlich eine Lösung für ein industrietaugliches System entwickelt. Die Arbeit wurde zu Teilen im Rahmen des ARTESAS Projektes und in vollständiger Kooperation mit der EADS Deutschland GmbH realisiert.
Augmented Reality in Serviceanwendungen
Bei der Entwicklung von Benutzerschnittstellen für die Interaktion zwischen Mensch und Maschine gilt es, die Technik den Bedürfnissen des Menschen anzupassen und nicht umgekehrt. Die Qualität der Benutzerschnittstelle ist mitentscheidend für den effizienten und korrekten Einsatz der Technik und damit für dessen Akzeptanz und kommerziellen Erfolg. Eine neue Methode, eine Benutzerschnittstelle zu realisieren, ist es, sie direkt in die Umgebung des Benutzers zu integrieren. Eine solche Benutzerschnittstelle eignet sich für Szenarien, in denen der Benutzer Aufgaben in der realen Welt erledigt und dabei von der Technik unterstützt werden soll, also insbesondere für Wartungs- und Instandsetzungsarbeiten an komplexen technischen Produkten.
Die Integration der Benutzerschnittstelle in die reale Welt kann durch Augmented Reality realisiert werden. Zu diesem Zweck werden virtuelle Elemente in die reale Umgebung des Benutzers projiziert. Diese Projektion erfolgt in der Art und Weise, dass die virtuellen Elemente lagerichtig in die reale Umgebung platziert wirken. Dies kann durch die Überlagerung eines Videos oder des Blickfeldes mit einer Computergraphik geschehen. Um diese Projektion zu bestimmen, ist es notwendig, Informationen über die Pose (Lage und Ausrichtung) von Elementen in der realen Welt zu erhalten. Der Computer muss sozusagen sehen können. Der Einsatz solcher Augmented Reality-Techniken erlaubt es, das Wartungshandbuch direkt auf das Serviceobjekt zu projizieren und dem Mechaniker die jeweiligen Anweisungen am Objekt zu präsentieren.
Tracking
Die Bestimmung der Pose ist die kritische Komponente von Augmented Reality Anwendungen. Diese Arbeit evaluiert Tracking-Verfahren, das heißt Techniken zur kontinuierlichen Bestimmung der Pose. Konkret heißt dieses, dass die Rotation und Translation zwischen Benutzer-/Sensorkoordinatensystem und Weltkoordinatensystem ermittelt werden müssen. Auf Basis dieser Pose kann dann die Augmentierung (Hier der Pfeil mit dem Text "1. Step. Remove Proximity Sensor") lagerichtig eingeblendet werden.
In dieser Arbeit wurden die gängigen Verfahren zur Pose-Bestimmung anhand zuvor definierter Kriterien evaluiert und somit deren Einsatzfähigkeit in industriellen Szenarien bewertet. Hierfür wurde eine Klassifizierung in optisch und nicht-optisch beziehungsweise absolute und relative Verfahren durchgeführt. Das Ergebnis dieser Evaluation ist die Zielkonfiguration eines geeigneten Tracking-Systems für den Einsatz in industriellen Umgebungen:
- Das Tracking-System kombiniert die Informationen mehrer einzelner Tracking-Verfahren (Sensorfusion). Diese sind zum einen ein optisches Tracking und zum anderen eine relatives Inertialsensor-Tracking
- optisches Tracking: gut zur präzisen Bestimmung der Pose, schlecht bei schnellen Bewegungen des Benutzers
- Inertialsensor-Tracking: gut zur Bestimmung schneller Bewegungen, nur Bestimmung der Pose-Änderung
Zudem muss das (optische) Tracking ohne eine Instrumentierung der Umgebung auskommen. Dieses wird als ein markerloses optisches Tracking bezeichnet. Solche markerlosen optischen Verfahren haben ein bisher ungelöstes Problem, sie funktionieren nur, wenn die ungefähre Pose bereits bekannt ist. Dieses Problem wird auch als Initialisierungsproblem bezeichnet. In dieser Arbeit wurde eine Lösung dieses Problems entwickelt.
Der neue markerlose Initialisierer
Zur Lösung des Initialisierungsproblems wurde ein EADS-Verfahren aus der Bilderkennung modifiziert. Diese Verfahren wurde ursprünglich zur Fahrzeug-/Gebäudeerkennung in Luftbildern entwickelt. Die Technologie basiert auf Neuronalen- Netzen. Vor der eigentlichen Laufzeit des Systems müssen die zu erkennenden Objekte dem System angelernt werden. Dieses geschieht durch Trainingsbilder in denen das Objekt aus verschiedenen Ansichten zu sehen ist.
Als Objekte werden in diesem Anwendungsfall einzelne markante Gegenstände wie Schrauben oder Schellen an dem zu erkennenden Modell gewählt. Jedem Objekt wird seine 3D Position im Weltkoordinatensystem (X Welt) zugewiesen. Das Verfahren ermöglicht zunächst die Bildkoordinaten (X Bild) der einzelnen Objekte in einem Kamerabild zu bestimmen.
Um aus den Informationen einer Menge von Bildpunkten (X Bild) und Objektkoordinaten (X Welt) die Pose zu berechnen muss das Abbildungsmodell einer Kamera betrachtet werden (siehe Abbildung): Die Aufnahme eines Kamerabildes ist nichts anderes als die Projektion einer dreidimensionalen Umgebung auf eine Bildebene, welche sich in Brennweite zum Kamerazentrum befindet. Diese Projektion mehrere Objekte kann somit durch ein Gleichungssystem beschrieben werden. Durch das Einsetzen der Informationen über die Bildpunkten (X Bild) und Objektkoordinaten (X Welt) in das Gleichungssystem kann dieses gelöst werden. Die Lösung des Gleichungssystems ist die Pose.
Das so entwickelte System ist in der Lage auch unter schlechten Bedingungen (wie stark schwankende Lichtbedingungen) eine Schätzung der Pose durchzuführen.
Das neue markerlose Tracking-System
Der in dieser Arbeit entwickelte Initialisierer ermöglicht die Entwicklung eines markerlosen Trackingsystems, das völlig ohne externe Initialisierung auskommt und zudem die Anforderungen bezüglich des robusten Einsatzes in einem industriellen Szenario erfüllt. Das entwicklete System besteht aus der gewichteten Fusion der Pose-Bestimmungen von drei verschiedenen Sensoren:
- der neue markerlose Initialisierer: wird zur Initialisierung der anderen beiden Verfahren benutzt
- markerloser optischer Tracker (modellbasiert): liefert die genaue, absolute Pose zur Laufzeit und benötigt als Eingabe eine rudimentäre Poseschätzung durch den Initialisierer - wird in der aktuellen Implementierung nur simuliert und kann später durch eine bereits verfügbare Implementierung ersetzt werden
- Inertialsensor-Tracking: liefert Informationen über die schnellen Rotationsänderungen des Benutzerkopfes
Der entwickelte Prototyp dieser Arbeit ist eines der ersten Tracking-Systeme welches unter verschiedensten Umweltbedingungen robust eingesetzt werden kann.
Links
ARTESAS Projekt
EADS Deutschland GmbH
Für weitere Informationen bitte E-Mail an Bjoern.Schwerdtfeger@gmx.de