Interaktive Visualisierung zeitveränderlicher Volumendaten
Diplomarbeit von Marvin Lindner
Motivation
Die Darstellung volumetrischer Daten gewinnt in vielen Bereichen der Medizin, der Biotechnologie aber auch der Ingenieurswissenschaft zunehmend an Bedeutung. Fehlende Interaktivität auf Grund rechenintensiver Methoden war dabei lange Zeit der Grund dafür, dass die Darstellung volumetrischer Daten trotz populären Forschungsinteresses kaum Verbreitung fand.
Erst durch die fortschreitende Entwicklung aktueller Grafikkarten ist die Möglichkeit zur interaktiven Analyse und Interpretation von Volumendaten mittels programmierbarer Hardware immer mehr und mehr gegeben. Die dabei ver-wendeten Methoden stehen den softwarebasierten Algorithmen in ihrer Qualität in nichts nach.
Dennoch werden in der Praxis weiterhin Volumendaten, wie die in diesem Rahmen untersuchten CT- und PET-Auf-nahmen des Herz- und Diabeteszentrums Nordrhein-Westfalens, überwiegend durch sequentielle, zweidimensionale Schichtaufnahmen oder statische 3D Modelle dargestellt, welche nur beschränkte Möglichkeiten zur Analyse bieten. Eine Animation zeitvarianter Daten entfällt in diesen Fällen meistens ganz.
Um diese Beschränkungen zu umgehen und Betrachtern dabei eine durchaus realistischere Möglichkeit zur Analyse zu bieten, sollte daher ein Visualisierungs-Tool entwickelt, welches eine zeitdynamische Darstellung und Klassifizierung solcher Volumendaten erlaubt.
Aufgabenstellung
Im Rahmen der Diplomarbeit sollen die beiden gängigsten Darstellungs-Verfahren zur direkten Volumen-Visualisierung (Texture Slicing und Ray Casting) daraufhin untersucht werden, inwiefern diese ebenfalls für eine interaktive Analyse zeitveränderlicher Volumendaten geeignet sind.
Ziel ist hierbei die Umsetzung eines entsprechenden Visualisierungs-Tools zur interaktive Analyse zeitdynamischer Volumendaten des Herz- und Diabeteszentrums Nordrhein-Westfalens.
Um dabei zusätzlich die unterschiedlichen Ergebnisse der einzelnen Aufnahmeverfahren in Relation setzen zu können und dadurch die Möglichkeit einer weitaus detaillierte Analyse zu bieten, sollte das umgesetze Visualisierungs-Tool neben der Möglichkeit zur gleichzeitigen Darstellung mehrerer Datensätze, ebenfalls unterschiedliche Transfer-funktionen sowie Transformationen zur nachträglichen Anpassung für die einzelnen Volumen unterstützen.
Als Grundlage der eigentlichen Implementierung sollen die bereits vorhandene Module zur statischen Volumen-Visualisierung des OpenSG Szengraphen-Systems verwendet werden, welche im Verlauf der Arbeit um zeitliche Faktoren sowie Möglichkeiten des Ray CastingVerfahrens erweitert werden sollen.
Ziel der Arbeit
Ziel der Arbeit ist die Erweiterung medizinischer Analyse-Verfahren zur Auswertung dreidimensionaler Aufnahmen-Verfahren wie CT, MRT oder PET um Methoden der interaktiven, dreidimensionalen Darstellung zeitveränderlicher Datensätze.
Hierdurch sollen Beschränkungen gängiger, meist zweidimensionaler Analyse-Verfahren aufgehoben und dem Betrachter eine weitaus realistische Möglichkeit zur Auswertung solcher (sehr komplexen) Daten auf handelsüblichen Computern gegeben werden.
Realisierung
Im Laufe der Diplomarbeit wurden zwei Direct Volume Rendering-Verfahren unter Verwendung moderner Grafikhardware zur Darstellung regulärer kubischer Volumendaten umgesetzt:
Das Ray Casting gehört dabei zu den elementarsten Techniken der Volumen-Visualisierung und erzielt mit einem einfachen und dennoch optisch korrekten Algorithmus eine sehr hohe Bildqualität. Grundlegend wird dabei angenommen, dass an jeder Stelle des Volumens sowohl Licht ausgestrahlt, als auch entlang der Strecke zum Projektionszentrum wieder abgeschwächt wird.
Entsprechend werden simulierte Strahlen vom Projektionszentrum durch die einzelnen Pixel der Bildebene verfolgt und die Licht- sowie Abschwächungskoeffizienten im gleichmäßigem Abstand entlang der einzelnen Strahlen betrachtet.
Beim Texture Slicing wird das Volumen hingegen mittels einfacher Trägerpolygone geschnitten, welche anschließen mit entsprechenden Informationen des Datensatzes textuiert und in die Bildebene projiziert werden.
Auf Grund der geringen Hardwareanforderungen ist diese Art der Darstellung entgegen dem Ray Casting ebenfalls auf älteren Grafikkarten mit fehlender Shader-Unterstützung umsetzbar und gehört daher mit zu den wohl noch gängigsten Visualisierungs-Verfahren zur Darstellung volumetrischer Daten.
Beide Verfahren berechnen die gleiche Darstellung der Volumendaten und unterscheiden sich lediglich in ihrer Darstellungsqualität und Geschwindigkeit (wobei beide durchaus interaktiv nutzbar sind).
Neben den eigentlich Verfahren zur Darstellung volumetrischer Daten wurde ebenfalls eine Klassifikation der Daten mit Hilfe eines interaktiven Widgets umgesetzt.
Dieses erlaubt eine stückweise lineare Definition einer Transferfunktion pro Volumen zur Abbildung physikalischen Eigenschaften wie Materialdichte, Beschaffenheit oder Temperatur auf optische Eigenschaften wie Farbe, Absorptions-Eigenschaften und Opazität und überführt die einzelnen skalaren Abtastwerte in entgültige RGBA-Werte.
Hierzu wird intern eine eindimensionale Texture analog zu der im Widget definierten Transferfunktion berechnet, welche anschließend als Eingabe für ein entsprechendes Shader-Programm dient.Darüberhinaus besteht die Möglichkeit, die einzelnen Volumendaten mit Beleuchtungs-Algortihmen wie dem Blinn-Phong-Shading zu schattieren, um so die räumliche Darstellung zusätzlich zu verbessern. Als Approximation der fehlenden Oberflächennormalen dient hierbei meist der Gradienten-Vektor des Skalarfelds, welcher die Richtung der größten Änderung angibt und stets senkrecht auf den Isoflächen des Skalarfeld steht
Ergebnis
Mit Hilfe des umgesetzten Visualisierungs-Tools lässt eine kombinierte Anzeige aus zuvor aufgenommen zeitvarianten CT- und PET-Datensätzen interaktiv, d.h. mit einer Bildwiederholrate von im Durchschnitt 15 Bildern pro Sekunde, darstellt.
Hierbei ist es möglich die Transferfunktionen, mit denen die Darstellung der einzelnen Volumendaten verändert werden kann, zeitnah anzupassen. Durch eine Schattierung und lineare Interpolation zwischen den vorhandenen Zeitschritten ist es möglich die Qualität der Visualisierung darüber hinaus zusätzlich zu verbessern.
Unter Verwendung der zeitvarianten Visualisierung kann so u.a. der Blutfluss einer PET-Aufnahme in Echtzeit animiert, interpoliert und direkt manipulierbar dargestellt werden. Dieses war mit bisherigen Softwarelösungen nicht möglich.
Das Verfahren erlaubt dem Anwender dabei eine direkte Navigation in der multidimensionalen Volumen-Visualisierung, bei einer gleichzeitig sehr hohen Darstellungs-Qualität. Hierdurch ist eine eine schnelle bzw. direkte Einsicht in die Daten und dadurch eine effiziente Arbeit mit ausdrucksstarken Informationen möglich.
Durch die Verwendung von 3D-Visualisierungs-Verfahren ist (im Vergleich zu 2D-Repräsentationen) eine realitätsnähere Untersuchung der aufgenommen Datensätze möglich. Ob dadurch zukünftig bessere Analysen erfolgen können, werden Ergebnisse weiterführendre Arbeiten zeigen.
Links
Herz- und Diabeteszentrum Nordrhein-Westfalen
OpenSG Website
Für weitere Informationen bitte E-Mail an upb@mervyn.net