Non-photorealistic Rendering in der medizinischen Visualisierung zur verbesserten Kontrastierung von CT/PET-Darstellungen

Abbildung 1: Die Oberfläche des Programms Bild vergrößern
Abbildung 2: (v.l.) Ansicht des CT-Volumendatensatzes eines Brustkorbs mit sichtbaren Lungengefäßen; Gleiche Ansicht wie zuvor mit zuzätzlich dargestellten Konturlinien; Zusätzliche tiefenabhänige Einfärbung der Konturlinien. Bild vergrößern
Abbildung 3: (v.o.) Ansicht eines PET-Volumendatensatzes eines Ganzkörperscans mit Konturlinien um Bereiche mit besonders hohen Intensitäten; Überblendung des PET-Bildes mit dem CT-Volumendatensatz des Patientens. Durch die Konturlinien heben sich die auffälligen Bereiche des PET-Bildes besonders deutlich ab und lassen sich in ihrer örtlichen Lage gut lokalisieren. Bild vergrößern
Abbildung 4: (v.l.) Seitliche Ansicht des CT-Volumendatensatzes eines Kopfes mit durch eine Transferfunktion eingefärbtem Schädel, der durch Konturlinien umrandet wird; Gleiche Ansicht wie zuvor, an dieser Stelle jedoch mit Konturlinien um den gesamten Kopfbereich; Im Vergleich zur Ansicht zuvor wurde die automatische Einfärbung durch eine Transferfunktion ausgeschaltet. Bild vergrößern

Diplomarbeit von Simon Beisel

Motivation

In den letzten vier Jahrzehnten ist das Ziel des Generierens von möglichst fotorealistischen Darstellungen (dem Photorealistic Rendering) immer eine der treibenden Kräfte in der Forschung der Computergrafik gewesen. Per Computer generierte Grafiken wurden und werden folglich häufig an dem Maßstab Fotorealismus gemessen.

Doch nicht immer ist es nützlich Computergrafiken möglichst fotorealistisch zu gestalten. Abhängig vom Einsatzgebiet einer Grafik kann es von Vorteil sein, gerade durch nicht fotorealistische Darstellungsweisen Aspekte, wie z. B. relevante Informationen oder die Bedeutung von wichtigen Bildinhalten, hervorzuheben. Das Ziel von Non-Photorealistic Rendering (NPR) ist daher das Erstellen von Darstellungen, welche – meist im Sinne eines verbesserten grafischen Informationsaustauschs – nicht mehr dem fotorealistischen und physikalisch korrekten Abbild einer Vorlage entsprechen. Derart erstellte Computergrafiken müssen folglich vielmehr danach bewertet werden, wie gut sie Inhalte kommunizieren und Bedeutung bzw. Informationen übermitteln können.

Im Bereich der medizinischen Visualisierung werden dreidimensionale anatomische Patientendaten durch so genanntes Volume Rendering zunächst möglichst fotorealistisch dargestellt. Die anatomischen Patientendaten werden dabei durch moderne bildgebende Verfahren wie beispielsweise die Computertomographie (CT) oder Positronen-Emissions-Tomographie (PET) erfasst und digital gespeichert.

Um die optische Lesbarkeit solcher medizinischen Visualisierungen weiter zu erhöhen und dargestellte Strukturen hervorzuheben, bietet sich die Integration von NPR-Techniken an. Diese erhöhen den Kontrast der Darstellung im Sinne einer besseren Informationsübermittlung von relevanten Inhalten und Strukturen. Die Untersuchung der Anwendungsmöglichkeiten von NPR-Techniken zur verbesserten Kontrastierung von medizinischen Visualisierungen – insbesondere kombinierten CT/PET-Darstellungen – bildet daher die Grundlage und die Motivation dieser Arbeit.

Ziel der Arbeit

Ziel dieser Diplomarbeit ist es, eine Lösungsentscheidung für die konkrete Problemstellung einer verbesserten Kontrastierung von CT/PET-Darstellungen mit Hilfe von NPR-Techniken zu entwickeln und in das Projekt „Visualization of medical data” des Lehrstuhls für Computergrafik, Visualisierung und Bildverarbeitung an der Universität Paderborn einzubinden. Dazu wird zunächst ein Überblick über die Gesamtthematik NPR gegeben, der eine Definition sowie die geschichtliche Entwicklung und Struktur des Non-photorealistic Renderings einschließt.

Im Weiteren teilt sich die Arbeit in drei Hauptteile auf, die eine sukzessive Fokussierung auf die Problemlösung zur verbesserten Kontrastierung von CT/PET-Darstellungen verfolgen. Die einzelnen Teile bauen jeweils auf den Erkenntnissen und Grundlagen der vorherigen Teile auf und erlauben so das Nachvollziehen der vorgestellten Sachverhalte.

So werden in einem ersten Teil verschiedene Grundtechniken, die als Basis der meisten NPR-Verfahren dienen, in einer Gliederung vorgestellt und untersucht. In diesem Teil ist die Blickrichtung allgemein und berücksichtigt sowohl mediale, künstlerische als auch erste medizinische Visualisierungsaspekte.

Darauf aufbauend, wird der Fokus im zweiten Teil auf den medizinischen Bereich, insbesondere auf die Visualisierung von CT- und PET-Daten, konzentriert. Dabei werden zunächst Aspekte aus der handgefertigten Illustration medizinischer und anatomischer Strukturen sowie der Einsatz von bildgebenden Verfahren in der Medizin vorgestellt. Außerdem wird ein Bewusstsein für die die medizinische Visualisierung betreffenden Problemstellungen geschaffen. Ebenso werden die Einsatzmöglichkeiten von NPR in der medizinischen Visualisierung untersucht. Auf Basis der vorangegangenen Erkenntnisse wird für die Problemstellung der verbesserten Kontrastierung von CT/PET-Darstellungen ein eigener Lösungsvorschlag entworfen und beschrieben, der auf der Darstellung von Konturlinien aufbaut. Ergänzend wird ein tiefenabhängiges Einfärben der Konturlinien vorgestellt, das die räumliche Kontrastierung unterstützt.

Dies führt zum abschließenden dritten Teil dieser Arbeit, in dem die Integration des Lösungsvorschlags in das Projekt „Visualization of medical data” und die daraus entstandene Software zur Visualisierung von medizinischen Volumendaten („Volume Studio“) vorgestellt wird.

Realisierung

Auf Basis der umfangreichen Erfassung des Themenbereichs „Non-photorealistic Rendering“, seinem Einsatz in der medizinischen Visualisierung und dem Vergleich mit handgefertigten medizinischen Illustrationstechniken wurde ein Lösungsvorschlag entwickelt, der auf dem Darstellen von tiefenabhängig eingefärbten Konturlinien basiert.

Im Falle von kombinierten CT/PET-Darstellungen gilt es häufig die räumliche Lage mehrerer Strukturen – wie die Lage von CT-Strukturen gegenüber PET-Visualisierungen – anzuzeigen und zu verdeutlichen. Zusätzlich stellen insbesondere die durch die CT-Daten gewonnenen Strukturen, wie beispielsweise Herzkranzgefäße, eine komplexe Struktur mit sich überlappenden oder schwer erkennbaren Komponenten dar.

Daraus folgt für die dieser Arbeit zugrunde liegenden Problemstellung, dass für eine verbesserte Kontrastierung eine unterstützte Visualisierung von räumlicher Lage und Formgebung der angezeigten Strukturen erforderlich ist. Die Integration von Konturlinien – eine aus der handgefertigten medizinischen Illustration entnommenen NPR-Technik – leistet in diesem Hinblick eine besonders große Hilfestellung.

Um die örtliche Lage von Strukturen zusätzlich hervorzuheben, können über eine entfernungsabhängige Färbung der Konturlinien – durch so genanntes Depth Cueing – zusätzliche Tiefeninformationen vermittelt werden. Das Depth Cueing färbt dabei Objekte, die weit vom Betrachtungspunkt entfernt liegen, mit einer anderen Intensität und Leuchtkraft ein als vordere Objekte.

Als Grundlage für die Implementation wurde das volumenbasierte Kantenfindungsverfahren von Dong et al. ausgewählt. Dieses wurde durch eigene Optimierungen und Erweiterungen ergänzt und angepasst. Dazu zählen Geschwindigkeitsoptimierungen und optische Erweiterungen wie das bereits erwähnte tiefenabhängige Einfärben der Konturlinien. Dieses neue Verfahren wurde in die vorhandene Software „Volume Studio“ eingebunden.

Zur Anwendung und Visualisierung des Kantenfindungsverfahrens wurde eine umfangreiche Benutzeroberfläche für „Volume Studio“ entworfen, die dem Benutzer die Interaktion und das genaue Justieren der Visualisierung erlaubt. Die Kanten können dabei entweder auf Basis eines einfachen Intensitätsschwellenwertes oder aber durch Auswahl eines Bereiches aus einer so genannten Transferfunktion ermittelt werden.

Neben der speziellen Hilfe zur verbesserten Kontrastierung von CT/PET-Darstellungen kann die vorgestellte Lösung insgesamt eine vielseitige Unterstützung in der Visualisierung von medizinischen Volumendaten bieten.