Einsatz von Normalmaps in der Postproduktion

Inhaltsverzeichnis

1 EINLEITUNG

2 GRUNDLAGEN
2.1 Mathematische Grundlagen
2.2 Physikalische Grundlagen
2.3 Physiologische Grundlagen
2.4 Computergrafische Grundlagen
2.4.1 2D-Computergrafik
2.4.2 3D-Computergrafik
2.4.3 2½D-Computergrafik

3 DIENORMALMAP
3.1 Generierungsvorschriften
3.2 Typen von Normalmaps
3.2.1 Unterscheidung nach dem Referenzkoordinatensystem
3.2.2 Unterscheidung nach Bent und True Normalmaps
3.2.3 Unterscheidung nach 180° und 360° Normalmaps
3.3 Normal-Mapping-Technik

4 ERSTELLUNG VON NORMALMAPS FÜR DIE POSTPRODUKTION
4.1 Geeignete Typen
4.2 Geeignete Dateiformate
4.3 Erstellung für computergenerierte Objekte
4.3.1 Normals Shader
4.3.2 Normals Pass
4.3.3 Normals Channel
4.3.4 Erstellung aus einer Tiefenmap
4.3.5 Empfehlungen zur Erstellung
4.4 Erstellung für reale Objekte
4.4.1 Shape from Shading
4.4.2 Photometric Stereo
4.4.3 Erweiterungen des Photometric Stereo
4.4.4 Manuelle Erstellung mit Bildbearbeitungs-Software

5 ANWENDUNGSGEBIETE IN DER POSTPRODUKTION
5.1 Relighting
5.1.1 Vorbetrachtungen
5.1.2 Manuelles Relighting auf Basis digitaler Farbkorrektur
5.1.2.1 Vorgehensweise
5.1.2.2 Bewertung
5.1.3 Spezielle Möglichkeiten ausgewählter Compositing-Software
5.1.3.1 Vorstellung ausgewählter Werkzeuge
5.1.3.2 Bewertung
5.1.4 Plugins
5.1.4.1 Vorstellung ausgewählter Plugins
5.1.4.2 Bewertung
5.1.5 Speziell für das Relighting realer Objekte entwickelte Verfahren
5.1.5.1 Vorstellung ausgewählter Verfahren
5.1.5.2 Bewertung
5.1.6 Fazit
5.1.7 Bewertung der Eignung der manuell erstellten Normalmaps für das Relighting
5.2 Retexturing
5.2.1 Vorbetrachtungen
5.2.2 Vorstellung ausgewählter Möglichkeiten
5.2.3 Bewertung

6 ZUSAMMENFASSUNG UND AUSBLICK

LITERATURVERZEICHNIS

1 Einleitung

Die Vielfalt und die Qualität der Darstellung visueller Effekte in Spiel- und Werbefilmen ist in den letzten Jahren enorm gestiegen. Aufgrund der ständig wachsenden Leistungsfähigkeit von Computern haben sich zahlreiche neue Möglichkeiten der nachträglichen Manipulation von Bildmaterial ergeben. Moderne Film- und Werbeproduktionen kommen in der Regel ohne eine perfekte Postproduktion nicht mehr aus. Das Bildmaterial wird nur selten so verwendet wie es aufgenommen wurde, sondern nachträglich bearbeitet und manipuliert bzw. komplett im Computer generiert. Die gegenwärtige Zeit wird daher auch häufig als postfotografisches Zeitalter bezeichnet.

Besonders im Bereich der 3D-Computergrafik und der visuellen Effekte wachsen sowohl das Potenzial als auch die Anforderungen an die Postproduktionsfirmen. Allerdings ist gerade die Erzeugung von computergenerierten 3D-Objekten oft mit sehr viel Zeitaufwand verbunden und erfordert eine hohe Rechenleistung der verwendeten Computer, da stets die Transformation der dreidimensionalen Daten auf ein zweidimensionales Ausgabemedium notwendig ist. Im Anschluss daran findet im Compositing häufig eine Kombination realen und computergenerierten Bildmaterials statt. Es wird der Anspruch erhoben, dass diese Vermischung für den Zuschauer optisch nicht erkennbar ist. Für die Erzeugung dieser Illusion sind häufig zahlreiche zusätzliche Anpassungen des Bildmaterials im Compositing notwendig.

Zur Beschleunigung und Steigerung der Flexibilität in der Postproduktion ist es nützlich, die dreidimensionalen Formen der aufgenommenen bzw. computergenerierten Objekte in zweidimensionalen Bilddaten zu speichern. Normalmaps dienen genau diesem Zweck. Ihre Verwendung schafft neue Möglichkeiten für die nachträgliche Bearbeitung von Bildmaterial in der Postproduktion.

In der vorliegenden Arbeit soll untersucht werden, wie und zu welchem Zweck Normalmaps in die Postproduktion, speziell in den Compositing-Prozess, eingebunden werden können und welche Vor- und Nachteile sich daraus ergeben.

In Kapitel 2 werden zunächst relevante Grundlagen erläutert. Kapitel 3 erklärt den Aufbau und die existierenden Typen von Normalmaps. Darauf folgend werden in Kapitel 4 Möglichkeiten zur Erstellung von Normalmaps aufgezeigt. In Kapitel 5 werden mögliche Einsatzbereiche von Normalmaps in der Postproduktion erläutert und bewertet. Zum Schluss folgt eine kurze Zusammenfassung und ein Blick in die Zukunft der Anwendung von Normalmaps in der Postproduktion.

2 Grundlagen

Für den Einsatz von Normalmaps in der Postproduktion sind mathematische, physikalische, physiologische und vor allem Grundlagen der Computergrafik von Bedeutung. In diesem Kapitel werden diese relevanten Grundlagen und Begriffe erläutert.

2.1 Mathematische Grundlagen

Der Begriff „Normale“ stammt aus der Mathematik. Die Normale in einem Punkt P einer Tangentialfläche A ist der Vektor, der senkrecht zu dieser Fläche A in diesem Punkt steht. Es existieren dementsprechend für jeden Punkt zwei Normalen, die in gegensätzliche Richtungen gerichtet sind (vgl. Abb. 2.1).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.1: Normalen

Die Normalen werden durch die Bildung des Kreuzprodukts (auch als Vektorprodukt bezeichnet) zwischen zwei Vektoren, welche die Ebene der Fläche A aufspannen, berechnet. Die Länge einer Normale ist im Allgemeinen unbestimmt. Wird die errechnete Normale durch deren Betrag dividiert, so ist das Ergebnis der Normaleneinheitsvektor, der nun eine feste Länge von 1 besitzt. Dieses Verfahren wird als Normierung bezeichnet. Mittels der Normalen aller Punkte einer Oberfläche eines Objekts kann dessen Form eindeutig beschrieben werden. ([MAT65], S. 590ff.)

Diese Arbeit beschäftigt sich mit der Anwendung der Normalen in der Computergrafik, wobei die verwendeten Normalen stets Normaleneinheitsvektoren sind [jg05]. Zur Vereinfachung wird deshalb in dieser Arbeit für Normaleneinheitsvektor der Begriff Normale verwendet.

2.2 Physikalische Grundlagen

Aus dem Gebiet der Physik sind für diese Arbeit Fakten aus der Optik, sowohl der Wellen- als auch der Strahlenoptik, relevant.

Zur Beschreibung der komplexen Eigenschaften des Lichts werden sowohl Wellen- als auch Teilchenmodelle herangezogen (Welle-Teilchen-Dualismus). Aus dem Bereich der Wellenoptik ist für die Beschreibung der Ausbreitung des Lichts nur dessen Wellencharakteristik von Relevanz. Für den Menschen ist lediglich Licht der Wellenlängen von ca. 380 nm (Violett) bis ca. 780 nm (Rot) sichtbar ([SC05], S. 9).

Weißes Licht entsteht durch die Überlagerung aller in diesem Spektrum vorkommenden Wellenlängen. Das bedeutet, dass Licht additiv ist. Licht einer einzelnen Wellenlänge wird als monochromatisches Licht bezeichnet. ([NFH07], S. 358)

In der Strahlenoptik (auch geometrische Optik genannt) werden die Welleneigenschaften des Lichts vernachlässigt. Das Licht wird als Bündel geradliniger Lichtstrahlen betrachtet. Trifft Licht auf eine nicht selbstleuchtende Oberfläche, so kann es abhängig von den Oberflächeneigenschaften zu Reflexion, Transmission oder Absorption des Lichts kommen. ([NFH07], S. 358ff.)

Die Reflexionsarten von Licht auf Oberflächen sind diffuse, glänzende oder spiegelnde Reflexion ([BI07], S. 252 ff.). Als charakteristische Beschreibung der Reflexion werden so genannte Leuchtkörper verwendet ([NFH07], S. 166) (vgl. Abb. 2.2). Aus Richtung des Lichtvektors

Abbildung in dieser Leseprobe nicht enthalten

der in Richtung des einfallenden Lichts zeigt, fällt Licht auf die Oberfläche ein und wird reflektiert. Der Leuchtkörper wird durch die reflektierten Lichtstrahlen gebildet. Diffuse Reflexionen streuen das einfallende Licht in alle Richtungen. Diese Reflexion wird als Lambertsche Reflexion¹ bezeichnet, wenn sie ideal ist und somit das Licht gleichmäßig in alle Richtungen reflektiert. Sie erzeugt einen halbkugelförmigen Leuchtkörper (vgl. Abb. 2.2a). Der Eindruck von Farbe einer Oberfläche entsteht durch die diffuse Reflexion eines bestimmten Wellenlängenbereichs des einfallenden Lichts und die Absorption der restlichen Bereiche. Glänzende Reflexionen dagegen reflektieren einfallendes Licht vorrangig in eine Richtung, wobei das ausfallende Licht zum Teil gestreut wird. Ein zigarrenförmiger Leuchtkörper entsteht (vgl. Abb. 2.2b). Es handelt sich hierbei um eine aus diffuser und spiegelnder Reflexion gemischte Reflexion. Spiegelnde Reflexionen sind ideale Reflexionen, die einfallendes Licht laut Reflexionsgesetz im Winkel gleich dem Einfallswinkel reflektieren (vgl. Abb. 2.2c). ([NFH07], S. 165 ff.)

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.2: Reflexionsarten nach ([NFH07], S. 166)
a) ideal diffuse Reflexion (halbkugelförmiger Leuchtkörper)
b) glänzende Reflexionen (zigarrenförmiger Leuchtkörper)
c) ideal spiegelnde Reflexion

Die meisten realen Oberflächen reflektieren Licht in einer Kombination dieser Reflexionsarten. Das von der Oberfläche reflektierte Licht charakterisiert deren Rückstrahlvermögen, das auch als Albedo bezeichnet wird ([KKS96], S. 227). Allgemein lassen sich Reflexionseigenschaften von Oberflächen in ihrer Komplexität durch die Bidirectional Reflectance Distribution Function, kurz BRDF (Bidirektionale Reflexions- verteilungsfunktion) beschreiben. Diese Funktion beschreibt die Reflexionseigenschaften einer Oberfläche in Abhängigkeit des Einfalls- und Betrachtungswinkels und der Wellenlänge des einfallenden Lichts. ([BI07], S. 262)

Analog zur BRDF existiert zur Beschreibung von Transmissionseigenschaften realer Oberflächen die Bidirectional Transmission Distribution Function², kurz BTDF (Bidirektionale Transmissionsverteilungsfunktion). Transparente Oberflächen trans- mittieren Licht, wobei sie zusätzlich Wellenlängenbereiche des Lichts absorbieren oder reflektieren können. Das Licht wird dabei gebrochen (Brechungsgesetz). Diese Brechung wird auch als Refraktion bezeichnet. Wie stark das Licht an der Oberfläche gebrochen wird, hängt von den Eigenschaften der Oberfläche und des Materials und dessen Brechzahlen ab. ([NFH07], S. 168)

Jedes Material besitzt in der Realität eine einzigartige BRDF bzw. BTDF oder eine Kombination beider ([KKS96], S. 227). Es besteht somit ein direkter Zusammenhang zwischen Licht, Farbe und Oberflächeneigenschaften ([ZTZ04], S. 18 ff.).

2.3 Physiologische Grundlagen

Für das Verständnis der Wahrnehmung von Licht und Farbe sind physiologische Aspekte zu betrachten. Das Licht wird von Rezeptoren auf der Netzhaut des menschlichen Auges erfasst und im Gehirn als Farbe interpretiert. Der Mensch nimmt Farbe und Helligkeit über getrennte Rezeptoren auf. Die Stäbchen sind für die Wahrnehmung der Helligkeit zuständig, während die Zapfen die Farbe wahrnehmen. Ausschlaggebend für die Farbempfindung sind verschiedenartige Fotopigmente in den Zapfen. Die Zapfen werden daher in L-, M- und S-Zapfen unterteilt. L-Zapfen erfassen langwelliges (Rot), M-Zapfen mittelwelliges (Grün) und S-Zapfen kurzwelliges Licht (Blau) (vgl. Abb. ). Alle anderen Farben werden im menschlichen Gehirn aus den drei Primärfarben Rot, Grün und Blau (RGB) zusammengesetzt. ([ZTZ04], S. 18 ff.)

Rein physikalisch betrachtet ist die Farbe unabhängig von der Helligkeit. Der Mensch empfindet allerdings nicht alle Farben als gleich hell. Die spektrale Hellempfindlichkeitskurve V

Abbildung in dieser Leseprobe nicht enthalten

(vgl. Abb. 2.3) beschreibt die Empfindung der Helligkeit

(Lichtstärke) im Zusammenhang mit der Wellenlänge des Lichts und somit mit der Farbe.

Gelb-Grün im Bereich von ca. 555 nm wird als hellste im Farbspektrum vorhandene Farbe empfunden, während beispielsweise Blau im Bereich von 450 nm wesentlich dunkler erscheint. Diese unterschiedliche Farbempfindung wird durch die unterschiedliche Empfindlichkeit der jeweiligen Zapfen erzeugt. ([NFH07], S. 359)

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.3: Spektrale Hellempfindlichkeitskurve des menschlichen Sehvermögens nach ([NFH07], S. 360)

2.4 Computergrafische Grundlagen

Unter dem Begriff Computergrafik (CG) werden alle Verfahren der Informatik zur Erfassung (Digitalisierung), Erstellung, Modellierung, Verarbeitung, Speicherung, Darstellung und Ausgabe von grafischen Daten zusammengefasst. Die Ergebnisse von Computergrafik sind künstlich, mit Hilfe von Computertechnik erzeugte Bilder, die als Computer Generated Images (CGI) bezeichnet werden. [itw07a]

Abhängig vom Verfahren, mit dem diese Bilder erstellt werden, kann der Bereich der Computergrafik in 2D- und 3D-Computergrafik unterteilt werden. Weiterhin lässt sich die 2½D-Computergrafik als zusätzliche Unterteilung finden ([KKS96], S. 9).

Die physikalischen und physiologischen Grundlagen von Farbe (vgl. Abschnitt 2.2 und 2.3) werden in der Computergrafik übernommen. Licht und somit Farbe werden durch die Überlagerung monochromatischem Lichts der Farben Rot, Grün und Blau simuliert ([NFH07], S. 161). Aus diesen drei Primärfarben (RGB) werden digitale Bilder aufgebaut. Jedes Pixel besteht aus je einem Farbkanal für Rot, Grün und Blau und enthält je einen Farbwert. Jede beliebige Farbe kann durch diese drei Primärfarben erzeugt werden. Für die Fernseh-, Computer- und Postproduktionstechnik dient das additive RGB-Farbmodell als Basis ([ZTZ04], S. 21). Farben, die sich aus zwei Primärfarben zusammensetzen, werden als Sekundärfarben bezeichnet. Die Komplementärfarbe ist die Farbe, die im Bezug zu einer Farbe nur Anteile an den anderen Farbkanälen bzw. dem anderen Farbkanal enthält. ([ZTZ04], S. 23)

Zahlreiche Programme in der Computergrafik erlauben neben der Farbbeschreibung durch RGB-Werte zusätzlich unter anderem die Auswahl der Farben über ihren Farbton (Hue), ihre Sättigung (Saturation) und ihre Helligkeit (Value). Dieser Beschreibung unterliegt das wahrnehmungsorientierte Farbmodell HSV, auch als HSB (B=Brightness) oder HSI (I=Intensity) bezeichnet. ([ZTZ04], S. 26ff.)

Der Farbton wird dabei in Grad angegeben. Rot wird im Modell durch 0° bzw. 360° repräsentiert. Alle anderen Farben sind in der Reihenfolge, wie sie im Spektrum des sichtbaren Lichts angeordnet sind, auf einem Kreis angeordnet. ([ZTZ04], S. 26)

Die Sättigung gibt an wie „rein“ der Farbton ist und somit wie hoch sein Weißanteil ist. Der Weißanteil ist der Anteil eines Farbtons, der in allen drei Farbkanälen Rot, Grün und Blau vorkommt. Eine zu 100% gesättigte Farbe kann demnach nur aus maximal zwei Primärfarben zusammengesetzt sein. Farben deren Sättigung 0% beträgt, sind reine Grauwerte (R=G=B). Der Weißanteil spielt bei der Definiton der Komplementärfarbe keine Rolle. ([ZTZ04], S. 27)

Die Helligkeit gibt an, wie intensiv ein Farbton ist. Die maximale Helligkeit dieses Farbtons bei 100% Sättigung wird erreicht, wenn mindestens einer der Farbwerte 255 beträgt. ([ZTZ04], S. 27f.)

Diese Angaben werden rechnerintern entsprechend in den RGB-Farbraum umgerechnet.

2.4.1 2D-Computergrafik

Die 2D-Computergrafik befasst sich mit der Erstellung und Verarbeitung digitaler Bilder. Das Kombinieren und Manipulieren von verschiedenen Bildquellen zu einem fertigen Bild wird als Compositing bezeichnet und ist ein Teilgebiet der Postproduktion. Das klassische Compositing ist demzufolge ein zweidimensionaler Prozess [Fuhelp]. Zusätzlich integriert immer mehr Compositing-Software Möglichkeiten zur Erstellung und Bearbeitung von 3D-Objekten.

Die RGB-Farbwerte digitaler Bilder werden in der Compositing-Software in der Regel jeweils als Werte zwischen 0 und 255 auf der Benutzeroberfläche dargestellt. Bei der Speicherung digitaler Bilder kann die Farbtiefe der Pixel festgelegt werden. Durch die Festlegung der Farbtiefe wird die Anzahl der Farbabstufungen bestimmt. Als ganze Zahlen (Integer) betrachtet, entsprechen RGB-Werte zwischen 0 und 255 einer Farbtiefe von 8 Bit pro Farbkanal und somit 24 Bit pro Pixel. Diese Farbtiefe ist gegenwärtig die gängigste zur Speicherung digitaler Bilder ([BI07], S. 244). Für die Darstellung aller vom Auge unterscheidbaren Farbabstufungen reichen zwar diese 256 Möglichkeiten pro Farbkanal aus, für bestimmte Einsatzbereiche in der Postproduktion, wie zum Beispiel die digitale Farbkorrektur, empfiehlt sich jedoch die Arbeit mit höheren Farbtiefen. Nachträgliche Manipulationen der Farben können genauer durchgeführt werden ([ZTZ04], S. 35) ([BI07], S. 244). Aus diesem Grund ermöglichen einige Bildformate die Speicherung mit höheren Farbtiefen von zum Beispiel 10 Bit, 12 Bit, 16 Bit oder auch 32 Bit (High Dynamic Range Images, kurz HDRI). Die rechnerinternen Berechnungen basieren stets auf Fließkommazahlen (Float) zwischen 0 und 1 für 8 Bit, 10 Bit, 12 Bit und 16 Bit Farbtiefe, während 32 Bit Formate sogar Werte unter 0 und über 1 erlauben. ([BI07], S. 218ff.)

Die digitale Farbkorrektur ist Teil des Compositings. Sie umfasst sämtliche Prozesse, die das gezielte Verändern der Farb- und Helligkeitswerte von digitalem Bildmaterial beinhalten ([ZTZ04], S. 277). Werkzeuge zur Steuerung dieser Veränderungen werden auch als Farbkorrektoren bezeichnet. Sie basieren häufig auf dem HSV-Farbmodell, da es der menschlichen Wahrnehmung und Beschreibung von Farbe eher entspricht als das RGB-Modell. Durch die Verwendung HSV-basierter Werkzeuge zur Farbkorrektur wird eine gezieltere und einfachere Auswahl der zu korrigierenden Farben ermöglicht ([ZTZ04], S. 26).

Die spektrale Hellempfindlichkeit des menschlichen Sehvermögens wurde teilweise in Compositing- und Bildbearbeitungs-Software integriert. Die Faktoren für die Festlegung, welche Farbe welcher Helligkeit entspricht, basiert dementsprechend auf dem menschlichen Sehvermögen (zum Beispiel in Eyeon Fusion 5.0). Bei einer Entsättigung des Bildes hat dies zur Folge, dass gleich gesättigte Farben in unterschiedliche Grauwerte umgewandelt werden (vgl. Abb. 2.4c) ([BI07], S. 243). In einigen anderen Programmen können die Faktoren der Farben im Hinblick auf die Helligkeit selbst festgelegt und somit die resultierenden Graustufenwerte manuell angepasst werden (zum Beispiel in Adobe Photoshop CS3 [Pshelp]). Andere Programme beachten die Hellempfindlichkeit nicht (zum Beispiel Adobe After Effects CS3). Hier sind die Helligkeitsfaktoren für Rot, Grün und Blau gleich. So können empfundene Helligkeitsunterschiede im resultierenden Graustufenbild verloren gehen (vgl. Abb. 2.4b).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.4: Darstellung der Entsättigung
a) Original
b) Sättigung: 0% bei gleichen Helligkeitsfaktoren für alle Farbkanäle (umgesetzt mit Adobe After Effects CS3)
c) Sättigung: 0% mit Berücksichtigung der Hellempfindlichkeit (umgesetzt mit Eyeon Fusion 5.0)

2.4.2 3D-Computergrafik

In der 3D-Computergrafik werden dreidimensionale Objekte mit Hilfe von 3D-Grafik- Software erstellt. Mit 3D-Grafik-Software können beispielsweise 3D-Objekte als Drahtgittermodelle erstellt, gegebenenfalls animiert, beleuchtet und deren Oberflächeneigenschaften definiert werden. Für die endgültige Darstellung auf einem zweidimensionalen Ausgabemedium muss die Szene gerendert werden. Das bedeutet, dass die dreidimensionalen Daten für die zweidimensionale Ausgabe pro Bild (Frame) berechnet werden müssen. Das Rendering kann abhängig von der Komplexität der erstellten Szene sehr viel Zeit in Anspruch nehmen. Das Ergebnis ist ein digitales Bild (Pixelgrafik) im gewählten Dateiformat und mit gewählter Farbtiefe (vgl. Abschnitt 2.4.1). Die möglichen Rendereinstellungen sind zum einen abhängig von der verwendeten 3D-Grafik-Software und zum anderen vom verwendeten Renderer. [fu07]

Das Multipassrendering ermöglicht es, das Rendering in verschiedene Passes (Ebenen) aufzuteilen. Das Ergebnis sind separierte Bilder, die unterschiedliche Informationen der 3D-Szene enthalten. So können zum Beispiel der Schatten, der Alpha-Kanal oder die Tiefeninformation als eigenes Bild gerendert werden, so dass die Flexibilität in der Postproduktion erhöht wird. Im Compositing werden die einzelnen Passes zusammengefügt und es können auf diese Weise einzelne Elemente gezielt angepasst und manipuliert werden ohne dass das komplette Bild neu in der 3D-Grafik-Software gerendert werden muss. [MA04]

Die am häufigsten verwendete Form zur Modellierung von 3D-Objekten sind Polygonnetze. Die 3D-Objekte werden hierbei durch ein Netz planarer Polygon-Flächen angenähert. Diese Polygonnetze bestehen aus Vertices (Eckpunkte), Edges (Kanten zur Verbindung zweier Vertices) und den dadurch resultierenden Polygonen (Vielecken). Während der Modellierung werden den Polygonnetzen je Polygon bereits weitere Informationen, unter anderem jeweils eine Normale, angehängt. Die Normale, die in Richtung der Objektinnenseite zeigt, wird in der Regel vernachlässigt, so dass jedem Polygon genau eine Normale zugewiesen wird. [co06]

Für die plastische Erscheinung der 3D-Objekte auf einem zweidimensionalen Ausgabemedium spielt die Wirkung von Licht und die daraus entstehenden Schatten und Schattierungen eine zentrale Rolle. Ein Schatten wird von einem Objekt auf ein anderes geworfen. Schattierungen hingegen sind Abstufungen der Helligkeit der Oberflächenfarbe, bedingt durch unterschiedliche Einfallswinkel des Lichts [ke07]. Fehlt der Schatten, so sind Rückschlüsse auf die Position von Objekten im Raum nicht möglich. Ohne Schattierungen kann die Form der Objekte nicht identifiziert werden. Eine Kugel kann beispielsweise ohne Schattierungen nicht von einem Kreis unterschieden werden. Erst auf Basis der entstehenden Schattierungen wird die dreidimensionale Form des Objekts für den Betrachter erkenntlich ([NFH07], S. 159). Eines der wichtigsten Verfahren der 3D-Computergrafik ist daher die Berechnung der Ausbreitung von Licht und dessen Wechselwirkung mit Oberflächen . Den Oberflächen müssen in der 3D-Grafik- Software Oberflächeneigenschaften zugewiesen werden, um das Aussehen der 3D- Objekte im endgültigen Rendering zu definieren. Zu Grunde liegen stets die physikalischen Gesetzmäßigkeiten laut Abschnitt 2.2 [ec07]. Der Shader (Schattierer) wird verwendet, um zu bestimmen, wie die Oberfläche des 3D-Objekts auf Lichteinfall reagiert. Vordefinierte Shader können sowohl von der 3D-Grafik-Software als auch vom Renderer bereit gestellt werden. Zusätzlich können eigene Shader programmiert werden. Häufig werden in Shadern idealisierte BRDF-Gleichungen (vgl. Abschnitt 2.2) verwendet, die ein ideales Lambertsches Reflexionsverhalten erzeugen und es zusätzlich ermöglichen, gezielt Glanzpunkte zu setzen [ec07]. Einige Renderer bieten auch BRDF- Shader an, welche die gemessene BRDF realer Oberflächen auf die 3D-Objekte übertragen können ([BI07], S. 262). Der Begriff „Shader“ wird jedoch im Sprachgebrauch nicht einheitlich verwendet. Einige 3D-Grafik-Software verwendet das Wort „Material“ für ihre eingebauten Shader und den Begriff „Shader“ nur für optional verfügbare Renderplugins. Prinzipiell sind alle Definitionen des Oberflächenaussehens Shader. ([BI07], S. 252)

Für die Simulation von Oberflächen wird deren Reflexionsverhalten in der 3D-Computergrafik traditionell aufgegliedert in ambiente, diffuse und spiegelnde (specular) Anteile. Der ambiente Anteil definiert die Farbe der Oberfläche durch die Reflexion ambienten Lichts (Umgebungslicht), das auf jeden Punkt der Oberfläche gleichmäßig scheint. Durch den diffusen Anteil wird die Oberflächenfarbe und der Grad der Lichtsstreuung bestimmt. Der spiegelnde Anteil bestimmt, wie glänzend

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.5:

Auswahl an Parametern eines einfachen Shaders

bzw. spiegelnd die Oberfläche erscheint und welche Farbe die entstehenden Glanzpunkte haben. Im Shader können diese Parameter eingestellt werden (vgl. Abb. 2.5). ([BK96], S. 380ff.)

Beim Rendering des endgültigen Bildes wird der ambiente Anteil für jeden Punkt der Oberfläche gleichmäßig hinzugefügt. Für die Berechnung des diffusen Anteils werden die Normalen [Abbildung in dieser Leseprobe nicht enthalten] verwendet. Um zu ermitteln, wie viel Licht auf die Oberfläche in einem bestimmten Punkt fällt, wird zusätzlich der Lichtvekto [Abbildung in dieser Leseprobe nicht enthalten] ebenfalls normiert, benötigt (vgl. Abb. 2.6). ([RU05], S. 332)

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2.6: Normale und Lichtvektor
a) stärkere Beleuchtung
b) geringere Beleuchtung

Durch Gleichung 2.1 wird der Einfallswinkel [Abbildung in dieser Leseprobe nicht enthalten] intern in der 3D-Grafik-Software berechnet ([RU05], S. 332).

Abbildung in dieser Leseprobe nicht enthalten

Anhand des Winkels Abbildung in dieser Leseprobe nicht enthalten wird die Helligkeit der Oberfläche ermittelt. Je kleiner der Winkel Abbildung in dieser Leseprobe nicht enthalten ist, umso stärker wird die Oberfläche beleuchtet (vgl. Abb. 2.6). Die Normalen stehen demzufolge in direktem Zusammenhang mit der Schattierung der Oberfläche, die durch die diffuse Reflexion entsteht. ([RU05], S. 331f.)

Für die Erzeugung von Glanzpunkten bzw. spiegelnder Reflexion wird zusätzlich der Blickrichtungsvektor (View-Vector)³ in die Berechnung einbezogen. Abhängig vom Winkel zwischen reflektiertem Lichtstrahl und Blickrichtungsvektor wird die Intensität der Spiegelung berechnet. Je kleiner der Winkel ist, umso höher ist die Intensität der Spiegelung. ([RU05], S. 334f.)

Für die Zuweisung bestimmter Eigenschaften zur Oberfläche eines 3D-Objekts werden Maps (Karten) verwendet. Maps sind somit „Karten“ bestimmter Eigenschaften eines 3D- Objekts. Der Prozess wird als Mapping bezeichnet. Je nach zu beeinflussender Eigenschaft gibt es unterschiedliche Mapping-Techniken, wie zum Beispiel Transparenz- Mapping oder Farb-Mapping. Das Texture-Mapping wird dabei verwendet, um die Oberflächen von 3D-Objekten mit zweidimensionalen Grafiken (Texturen) zu versehen. In diesem Zusammenhang müssen dem 3D-Objekt Texturkoordinaten (U und V) zugewiesen werden. Anhand der Texturkoordinaten wird das 3D-Objekt mit der Textur überzogen ([RU05], S. 73f.). Aufgrund der Tatsache, dass beim Texture-Mapping ein zweidimensionales Bild auf ein dreidimensionales Objekt projiziert wird, muss die Textur verzerrt werden. Dadurch werden die Pixel in so genannte Texel (Texture Elements) umgewandelt. Ein Texel ist somit ein Pixel auf einer Texture Map. In der endgültigen Darstellung entspricht ein Texel aufgrund seiner Tiefenposition nur selten einem Pixel, sondern besteht entweder aus mehreren Pixeln oder für mehrere Texel steht nur ein Pixel zur Verfügung [hj07]. Je nachdem, welchem Map-Kanal die Textur zugewiesen wurde, hat sie unterschiedliche Einflüsse auf das endgültige Aussehen des 3D-Objekts.

Die Kombination aus Shadern, Texturen und Maps bestimmt also die Oberflächen- eigenschaften und somit das Aussehen der 3D-Objekte im endgültigen Bild.

Durch die Wahl des Shading-Verfahrens wird bestimmt, an welchen Punkten der Oberfläche eine solche Beleuchtungsberechnung durchgeführt werden soll und wie die Berechnung der restlichen Punkte der Oberfläche durchgeführt wird [ha06]. Da ein rundes Objekt beispielsweise in Realität aus unendlich vielen Polygonen bestehen müsste, was aber in der 3D-Computergrafik zu extrem hohem Rechenaufwand führen würde, handelt es sich bei den Shading-Verfahren um Interpolationsverfahren, die eine „visuelle Glättung“ der Oberfläche zur Folge haben und den Rechenaufwand minimieren. Aus den Normalen der einzelnen Polygone werden jeweils zunächst die Normalen für jeden Vertex durch Mittlung der Normalen der angrenzenden Polygone gebildet. [ha06] ([NFH07], S. 191ff.)

Unterschieden wird dabei ([NFH07], S. 191ff.):

- Flat-Shading

Es findet keine Interpolation statt. Für den ersten Vertex des Polygons wird die Beleuchtung berechnet und für alle Pixel des Polygons übernommen.

- Gouraud-Shading

Die Beleuchtung wird für jeden Vertex des Polygons berechnet. Die Schattierungswerte der einzelnen Pixel werden dabei zwischen den errechneten Beleuchtungswerten der Vertices interpoliert.

- Phong-Shading

Nicht die Schattierungswerte werden interpoliert, sondern die Normalen werden pixelgenau ermittelt und für sie die Beleuchtung berechnet.

Flat- und Gouraud-Shading werden auch Per-Vertex-Lighting genannt, während Phong- Shading als Normalenvektor-Interpolationsshading oder auch als Per-Pixel-Lighting bezeichnet wird. Phong-Shading erfordert eine mathematisch aufwändigere Berechnung, was wiederum die Renderzeiten erhöht. ([NFH07], S. 195)

2.4.3 2½D-Computergrafik

Es existieren gegenwärtig verschiedene Verfahren zur Rekonstruktion der dreidimensionalen Form von Objekten aus zweidimensionalen Bildern. Im Zusammenhang dieser Rekonstruktion wird häufig der Begriff 2½D verwendet. Die zu Grunde liegenden Bilder werden zur Umsetzung derartiger Verfahren aus gleichen, maximal leicht versetzten Betrachtungsrichtungen aufgenommen. Nur die der Kamera zugewandten Punkte der Oberfläche sind somit auch rekonstruierbar. Aus diesen Punkten wird zwar ein dreidimensionales Modell erstellt, jedoch fehlt bei der Rekonstruktion die Information über die Rückseite des Objekts. Die dreidimensionale Rekonstruktion ist demnach unvollständig. Daher wird der Begriff 2½D-Modell verwendet. ([KKS96], S. 8ff.)

Beispiele solcher Verfahren sind unter anderem die statische und die dynamische Stereoanalyse (Shape from Stereo). Bei diesen Verfahren werden Objekte aus verschiedenen Blickrichtungen aufgenommen und anhand des Versatzes beider Bilder ein 2½D-Abbild der Objekte ermittelt. Diese Verfahren basieren auf der Fähigkeit des Menschen räumlich zu sehen, was erst durch den Versatz beider Augen möglich ist. Während durch die statische Stereoanalyse nur unbewegte Objekte rekonstruiert werden können, ermöglicht die dynamische Stereoanalyse zusätzlich die Rekonstruktion sich bewegender Objekte. Im Ergebnis beider Verfahren kann die Rückseite der Objekte nicht rekonstruiert werden und es entsteht somit nur ein 2½D-Abbild der realen Objekte. ([KKS96], S. 131ff.)

3 Die Normalmap

Die Normalmap stellt eine visuelle Repräsentation der Normalen dreidimensionaler Objekte dar. Sie ist somit eine Karte der Normalen eines 3D-Objekts. [jg05]

Wie die Normalen innerhalb einer Normalmap gespeichert werden und welche verschiedenen Typen von Normalmaps existieren wird in diesem Kapitel erläutert.

3.1 Generierungsvorschriften

Die Normalen einer Oberfläche haben im dreidimensionalen kartesischen Koordinatensystem die Koordinaten x, y und z. Bei der Erzeugung einer Normalmap werden die Koordinaten der Normalen in Form von RGB-Farbwerten gespeichert (vgl. Abb. 3.1). Die Normalmap ermöglicht es somit, dreidimensionale bzw. 2½ dimensionale Informationen in einem zweidimensionalen Bild zu speichern. Durch die Wahl des Shading-Verfahrens (vgl. Abschnitt 2.4.2) kann bei der Erstellung von Normalmaps mit 3D-Grafik-Software festgelegt werden, wie die zu Grunde liegenden Normalen ermittelt werden. Eigentlich ist die Normalmap eine einfache Colormap, deren Farbwerte als Normalen interpretiert werden können. ([RU05], S. 348) [jg05]

Die Koordinaten der Normalen werden wie folgt den Farbkanälen zugewiesen ([RU05], S. 348):

Abbildung in dieser Leseprobe nicht enthalten

Der Wertebereich jeder Koordinate liegt aufgrund der Normierung und der Möglichkeit der gegensätzlichen Richtung zwischen -1 und 1 (vgl. Abschnitt 2.1). Bei der Umrechnung der Vektorkoordinaten in Farbwerte werden Werte von -1 als Farbwert 0 und Werte von 1 als Farbwert 255 interpretiert (vgl. Abb. 3.2). Es folgt daraus, dass eine Normalmap niemals Schwarz (0; 0; 0) und niemals Weiß (255; 255; 255) enthalten kann. ([RU05], S. 348)

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3.1: Normalmap eines Beispielobjekts von verschiedenen Ansichten

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3.2: Repräsentation der RGB-Farbwerte durch die xyz-Komponenten der Normalen

Die Farbwerte einer gegebenen Normalmap erlauben umgekehrt dementsprechend Rückschlüsse auf die Ausrichtung und somit auch die Form der Oberfläche eines Objekts. Anhand der Farbwerte für jedes Pixel können die Koordinaten der Normalen berechnet werden ([RU05], S. 348):

Abbildung in dieser Leseprobe nicht enthalten

Für das Beispiel aus Abbildung 3.1 besitzt die Normale für ein ausgewähltes Pixel (43; 49; 181) die Koordinaten (-0,66; -0,61; 0,41) (vgl. Abb. 3.3).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3.3: Auslesen der Farbwerte eines Pixels zur Berechnung der Normale

3.2 Typen von Normalmaps

Normalmaps können nach drei Kriterien klassifiziert werden. In jeder Klassifizierung kann bei der Erstellung der Normalmap ein Typ gewählt werden.

Zum einen kann nach dem zu Grunde liegenden Referenzkoordinatensystem unterschieden werden. Eine weitere Auswahlmöglichkeit ist die nach Bent oder True Normalmaps. Sie basiert darauf, dass für die Berechnung sowohl die eigentlichen Normalen als auch modifizierte Normalen verwendet werden können.

[...]

---

¹ Dieses ideale Reflexionsmodell wurde benannt nach seinem Entwickler Johann Heinrich Lambert ([NFH07],S. 166).

² Die BRDF und die BTDF wurden 1977 zur Vereinheitlichung von Reflexions- und Transmissionsbeschreibungen vom National Bureau of Standards eingeführt ([KKS96], S. 223).

³ Der Blickrichtungsvektor ist der Vektor, der vom Punkt der Oberfläche aus genau in Betrachter- bzw. Kamerarichtung zeigt.