Amateurfilm-Forum

Moin Leute

Aufgrund einer Fragestellung in einem anderen Bord, und als Nachschlage Referenz für interessierte Leute in meinen Workshops, aber auch für jeden der Interesse an Compositing hat, und insbesondere mal an der Verwendung von Deep Images, habe ich ein kleines Tutorial über die Grundlagen aufgenommen.
Das ganze ist ein Basic Videotutorial (45 Min) zu dem ganzen Thema (ENG). Das Endergebnis des Tuts ist kein hübsches Bild, die Herangehensweisen aber natürlich übertragbar auf beliebig komplexe Situation, da es vorrangig um die grundlegenden Arbeitsabläufe und ein bisschen Technik geht. Es gibt aber eine gute Übersicht über Deep Comp Tools (in Nuke) und Rendering aus Arnold. Der Deep Compositing Part ist nicht auf andere Software übertragbar, aber all die anderen kleinen Tipps (Premultiplikation etc ) auch für jede andere Comp Software wie After Effects gültig. Desweiteren reisse ich kurz Keying und Despilling an, allerdings eher auf rudimentäre Art und Weise als Übersicht – normalerweise würde man für wirkliche Produktionsfootage komplexere Keys bauen, aber als kleiner Einstieg was node-basiertes Arbeit auch in Sachen Keying/Despill vereinfacht ist vorhanden, basierend auf den allseits bekannten hollywoodcamerawork.us Greenscreenplates.

Ablauf ist Maya/Arnold Rendering kurz -> Vorstellung DeepEXR Tools in Nuke -> längere Keying Part -> DeSpill und kleine Stolperfallen

Vielleicht gerade für den ein oder anderen Arnold User hier interessant der mal seine Renderings als Deep Images mit der Nuke (ggf Non Commercial) ausprobieren will! Deep Images könnt ihr mit diversen Runderer rendern, darunter: Arnold, Octane, Redshift, Vray, Mantra(Houdini).

Der allgemeine Compositing Part der nichts spezifisch mit Deep Images zu tun hat beginnt ab Minute 20, falls jemand nur an ein paar Comp-Informationen interessiert ist und nicht an Deep Data.

Hoffe es gefällt und macht Spaß! Ist noch ziemlich abends zusammengeschustert, gerade der Ton…
Aber so ist das halt mit den spontanen Ideen

Vielleicht kann ja der ein oder andere was daraus mitnehmen und damit anfangen, das würde mich freuen!

Beste Grüße
LennO

Zitat von »Mutzmann«

Da stolpere ich über ein Vfx-BTS zu Blade Runner 2049, höre zum ersten Mal von Deep Compositing, bin auf Anhieb angefixt und nur zwei Tage später haust du hier ein Tutorial dazu raus. Mega gut und vielen Dank dafür.

Sehr gerne! Freut mich, dass ich helfen konnte!

Zitat von »Mutzmann«

Wie gesagt: Ich bin Anfänger, aber für mich klingt Deep Compositing nach DER Methode für mein Vorhaben. Nur liefert Blender soweit ich weiß leider keine Deep EXRs. In Blender krieg ich, ohne dass ich ihn invertiere und separat speichere, ja nicht mal nen vernünftigen Z-Pass.

Zu World Position und Blender sowie Fusion hat dir Tiger ja schon die nötigen Infos gegeben, daher wiederhole ich das nicht nochmal und hoffe dass das Ganze so für dich klappt. Aber vielleicht noch ein paar Zusatzinformationen: Sowohl ein "einfacher" Z-Pass als ein World Position Pass können super nützlich im Compositing sein, in Fusion als auch in Nuke. Ein WPP ist allerdings kein Deep Compositing, welches so in Fusion nicht möglich ist, wie mit tatsächlichen Deep EXRs. Nichtsdestotrotz kommt man, gerade wenn es um Fog geht, mit nem Z-Pass oder WPP in Fusion als auch Nuke ziemlich weit. Probleme können aber mit nem WPP und nem Z-Pass auftauchen. Für simplen Distanz-Haze würde ich jederzeit einen Z-Pass empfehlen. Allerdings haben sowohl WPP als auch Z-Depth einen Nachteil, wenn man sie korrekt benutzt – beide Passes können und dürfen, rein technisch gesehen, nicht anti-aliased sein, d.h.sie haben Treppen. Um es am Z-Depth einfach auszudrücken: Werden Objektkanten durch Anti-Aliasing gefiltert, eine Vordergrundkugel die meinetwegen weiss ist im Z-Pass gegenüber eine sehr dunkel grauen im Hintergrund, so entstehen an den Kanten Mischfarben, ein anderer Grau-wert, die keine korrekte Tiefeninformation enthält. Die Kante der Vordergrundkugel liegt ja auf der Tiefe der Vordergrundkugel, nicht auf halben Wege zwischen ihr und Hintergrundkugel.

Dies führt down the line zu allerhand fiesen Problemen im Compositing an Objektkanten, und lässt sich auch nicht vermeiden. Deep EXRs speichern tatsächlich multiple Tiefen-Samples, und leiden daher auch nicht unter möglichen Anti-Aliasing Problemen, genauso sind Motion-Blur (direkt aus dem Renderer raus) und Transparenzen kein Problem – diese sind mit nem WPP Pass so nicht möglich, ausser man teilt seine Szene schon im Rendeirng in einige Tiefen-Abschnitte auf, 3D-Motionblur bleibt aber unmöglich mit WPP zu kombinieren.

Unterm Strich die sauberere Art und weise zu arbeiten ist Deep Compositing, allerdings eben Speicherplatz-intensiv bis zum Gehtnichtmehr, und deutlich langsamer in vielen Fällen als reines 2D-Compositing. Ob man wirklich Deep gehen will und muss, muss man wirklich anhand der Komplexität eines Shots entscheiden. Die Kombination aus wirklich 3D gerenderten Volumen inklusive raytraced Lichteffekten ist so wie im Tutorial gezeigt nur mit Deep Images möglich, über einen WPP-Pass nicht. Allerdings lässt sich das ganze natürlich auch durch reines 2D-Compositing erreichen, nur müssen dann in dem Volume-Layer auch die Objekte (im Tutorial die Kugel und der Würfel) bereits als schwarze "Holdouts" mitgerendert werden.

Aber sei gewarnt: Auch in anderer Software rendern Volumes prinzipbedingt länger bis lange

Wenn man reinen Tiefennebel haben will, so reicht oft auch ein Z-Pass den man(unkorrekterweise) einfach auch anti-aliasied vorliegen hat als simple Grading Maske in der Compositing-Software, oder zum Ausstanzen einer Noise oder einer konstanten Farbe die man wieder über das Bild legt.

Dass man einen Tiefenpass ändern muss (invertieren, graden) etc ist normal, je nachdem wie er rausgerechnet wurde. Manche Software hat starre Einstellungen wie sie einen Z-Depth erwartet, in Nuke beispielsweise kannst du meinetwegen im Z-Defocus auswählen, in welchem Format die Tiefeninformationen vorliegen. Die 3 simpelsten Z-Pass Arten sind halt Near=1.0 Far=0.0 oder eben Near =0.0 Far=1.0 oder eben Z=Distanz, d.h. die Werte/Graustufen im Tiefenpass entsprechen eins-zu-eins deiner Tiefe in 3D-Szeneneinheiten.

Zitat von »Mutzmann«

Als Student könnte ich mir die kostenlose C4D-Version holen, müsste dann allerdings wieder erst in die Software einsteigen, mitunter einige der bereits erstellen Assets in C4D übertragen und stünde in 18 Monaten wieder ohne Software da. Und wenn ich das richtig verstanden habe, bräuchte ich für die Deep EXRs zusätzlich eh noch einen Renderer, oder? Also von Haus aus kann C4D ebenfalls keine Deep-Dateien rendern? Oder gibt's da (in Zeiten von Resolve, Fusion und einer kostenlosen Nuke-Version) eine kostenlose Engine, von der du weißt und die das kann?

Als Student ist für dich alles an Autodesk Software ebenfalls kostenlos. Wenn du also das Tutorial einmal (ob du nun später bei Nuke oder Fusion landest, Maya, Blender oder Cinema) komplett in Maya nachvollziehen möchtest, oder dir auch mal 3Ds Max anschauen möchtest, und auch mal in Arnold rendern, so kannst du 3 Jahre gültige Education Lizenzen von Autodesk bekommen (Arnold ist integriert):

https://www.autodesk.com/education/free-software/featured

Einfach registrieren. Du musst deine Hochschule auswählen, aber das war es auch schon – einen Nachweis verlangt Autodesk nicht, also ein super einfaches, unkompliziertes Prozedere.

Zum Einstieg in 3D würde ich aber Cinema tatsächlich empfehlen, allerdings ist hier die Renderausgabe mittlerweile leider soweit weg von der Konkurrenz in Sachen Multi-Passes und der Funktionsweise an sich, dass du da auch ohne externe Renderengine wenig Spaß haben wirst wenn du wirklich tiefer in die Materie einstiegen und viel Compositing betreiben möchtest. Ebenso kann ich auch Blender empfehlen – auch wenn vieles in Blender einfach wahnsinnig verworren und nicht Industrie-konform läuft, du kriegst ne Meng Features für absolut kein Geld

Ein (abgesehen von Studentenlizenzen) freie verfügbarer Renderer der Deep rendern kann wäre mir gerade nicht bekannt.

Zitat von »Mutzmann«

Hättest du da evtl. ein paar generelle Tipps für mich und mein Vorhaben? [...] Würde ein Z-Pass bereits ausreichen, um zum Ziel zu kommen oder braucht es - da sich die Kamera etwas bewegen soll - besser einen World Position Pass?

Ich denke im Allgemeinen lässt sich sagen, dass ein Z-Pass dir für vieles reichen wird. Möchtest du nicht nur reinen Nebel, mit meinetwegen nur ner leichten Noise, sondern wirklich volumetrische Nebelschwaden, wäre WPP und Volumen in der Comp (entweder durch Fusions Volumetools, oder durch Partikel oder Cards in Nuke) der Weg to go. Allerdings möchte man dann oft auch tatsächlich Volume-Raytracing haben. Sobald du Interaktivität mit Lichtquellen willst, beispielsweise so etwas wie einen Suchscheinwerfer der durch Wolken schneidet und ähnliches, würde ich eher Volumes in 3D Software empfehlen, und dann vielleicht in Kauf nehmen dass es nunmal ne gewisse Zeit rendert. Um dann flexibel zu bleiben, kann es sich lohnen Deep zu rendern. Aber selbst an größeren Filmen rendern wir oft nicht für alles deep, da sich vieles auch auf anderen Wegen erreichen lässt und man sich nicht unnötig Performance im Compositing klauen muss.

Wenn es weitere Fragen gibt kannst du dich natürlich gerne hier melden!

LennO

Zitat von »Tiger«

Der Nachteil von Non-Commercial oder auch EDU Versionen (die für mich als nicht-Student eh nicht in Frage kommen) ist, daß man damit eben keine kommerziellen Projekte machen darf. Dazu gehören auch Crowdfunding Projekte und monetarisierte Youtube Videos.

Das ist das tatsächlich unterschiedlich, die Nuke Education Version für 180 Euro + Mwst pro Jahr beispielsweise ist eine volle, uneingeschränkte kommerzielle Lizenz, nach Studien-Abschluss gibt es auch eine kostengünstige Möglichkeit auf ein Graduate Update auf eine voll kommerzielle Version.

@Mutzmann:

Falls du dich für eine Nuke Education Version interessieren würdest (gegenüber der Non-commercial),

hier kannst du eine Anfrage stellen (https://www.foundry.com/industries/education), empfehlen würde ich dir aber als deutschen Reseller DVEAS https://www.dveas.de/home/. Dort kannst du einfach der Christiane Pohl schreiben, die dann alles weitere in die Wege leiten würde.

Die Production Collective enthält neben Nuke Studio auch Modo (3D-Software, aber hauptsächlich für Modelling geeignet falls man möchte, kein wirklich vollumfängliches 3d Paket) und auch Mari, welches für dich allerdings interessant sein könnte: 3D-Texture Painting. Ebenso Cara VR als 360° / Stereo Tooles, und auch VR-Output, falls das für dich irgendwann mal interessant sein sollte.

Zitat von »Tiger«

Und mal ehrlich, niemand wird als one-man-show, egal mit welcher Software, in größerer Menge oskarreife VFX Shots produzieren. Das ist schon alleine zeitlich unmöglich, wenn ich mir überlege, wie viele Leute bei einem aktuellen Kinofilm fulltime nur im Effekt-Department beschäftigt sind. Und wenn man in der Hollywood Liga mitspielt, stellt sich die Frage eh nicht mehr, dann nimmt man, was der Brötchengeber in der Pipeline hat oder ist selbst der Brötchengeber und hat ein entsprechendes Budget.

Nein, keine ganzen Shows in rauen Mengen als One-Man Show, aber als VFX Freelancer beispielsweise habe ich alles an Software die ich auch in Butzen benutze zum Großteil auch zuhause. D.h. Maya, Houdini, Nuke als Haupttools. Einmal, um eben weniger umfangreiche Jobs als One-Man Show umsetzen zu können, dazu um in Freelance-Teams kooperieren zu können, aber eben auch um weiter die selbe Software zu nutzen, die ich auch in Pipelines benützen würde, als auch für mein privates Zeug. Wenn man das Ganze kommerziell/beruflich anstrebt, ist es schon nicht verkehrt, auch weiter die selbe Software zu besitzen um in Downtime herumspielen zu können. Prinzipiell ist es aber natürlich auch so, dass es um die Prinzipien und nicht um Software-spezifisches Know-How geht. Die Prinzipien lernt man natürlich auch mit Blender, aber man ist grundsätzlich für Jobs deutlich attraktiver wenn man die Tools schon beherrscht. Und für VFX heisst das Maya, Houdini, und oder auch mal noch 3dsMax, aber weniger. Der Vorteil (oder auch Nachteil) ist halt, dass du auch bloss für einen Job kommerzielle Lics für beispielsweise einen Monat oder mehrere buchen kannst, einer der wenigen Vorteile von Abosystemen. Eine Maya Lizenz kostet im Monat ca. 300 Tacken – das ist durch jedes realistische VFX Budget mehr als mehrfach abgedeckt

Das sind aber natürlich Gedanken, die man sich machen muss, wenn es soweit ist – solange man noch in der Lernphase ist, sollte man sich durchaus einfach mal alles anschauen, und dann schauen was einem erstmal am besten liegt, bis man die Prinzipien beherrscht und dann vielleicht alltägliche Faktoren wie Nützlichkeit von Software für Jobs mit einfliessen zu lassen.

Zitat von »Mutzmann«

Rein interessehalber und nur um ein Gefühl zu bekommen, um wie viel mehr Speicherplatz es hier geht: Kann man das ungefähr sagen, wie viel mehr so in etwa bei Deep Data anfällt? Bin zwar mittlerweile überzeugt, dass es nichts für mein aktuelles Vorhaben ist, aber dennoch interessiert mich das ganze Thema Deep-Compositing echt sehr.

Das ist sehr sehr unterschiedlich und abhängig davon, was gerendert wird. Normale Geometrie beispielsweise ist deutlich kleiner als Volumendaten. Für Geometrie werden halt Samples nur für die getroffenen Oberflächen gespeichert. Bei Volumen wird alle paar Einheiten (sozusagen eine Step-Size) ein Tiefen-Sample in einer DeepEXR gespeichert. Bei großen Volumen, aber auch schon bei kleinen, können hier sehr schnell große Datenmengen zusammenkommen. Mal als Eckdaten ein paar Größen einzelner Frames:

Kugel und Würfel aus dem Tutorial:

OpenEXR 16bit half float ZIPS-Kompression (kein Deep, keine AOVs, also reiner Beauty Pass) in 960x540px: 366KB

OpenEXR Deep in 960x540px: 2MB

Fog aus dem Tutorial:

OpenEXR 16bit half float ZIPS-Kompression (kein Deep, keine AOVs, also reiner Beauty Pass) in 960x540px: 1,1 MB

OpenEXR Deep: 841,5 MB (ja, Achthunderteinundvierzig Komma Fünf)

Betrachtet man mal einen typischen Produktionslayer, wie dieses Raumschiff hier als Einzelelement, so sind die Dateigrößen wie aufgelistet:

OpenEXR Flat: 11,8 MB



OpenEXR Deep: 88MB



In Production sind mir durchaus schon einige GB an Deep Daten pro Frame untergekommen. Dann sind es aber eben zumeist Volumen, die dazu auch noch recht fein aufgelöst sind.

Tendenziell ist aber Deep immer spürbar bis drastisch Größer als der entsprechende 2D-Frame.

An der Stelle vielleicht noch ein Tipp am Rande: Wenn du 2D renderst, render OpenEXR, half-float 16bit und als Kompression ZIP Scanline (nicht ZIP16 o.ä.) Die lädt deine Comp-Software am schnellsten von der Platte.

Zitat von »Mutzmann«

Hatte gedacht, es sei ne Art Gesetz, wie die Passes auszusehen haben. Gerade weil man diese ja ausgibt, um sie in anderen Softwares weiter zu verarbeiten. Aber gut, dann ziehe ich meine Vorwürfe an Blender zurück

Wie gesagt Gesetze gibt es schon. Aber eben halt mehrere. Da man ja heute nur noch mit float Daten in jeder seriösen Pipeline arbeitet nutzt man eigentlich nur noch den direkte Z=Depth pass, d.h. die Werte im Depth Pass sind 1:1 deine Szeneneinheiten und damit halt auch Distanzwerte deutlich über 1.0f. Dieser wiederum lässt sich im Compositing auch in alle anderen Formate wandeln in dem man dessen Range neu mappt (beispielsweise 0.0-30.0 auf 0.0-1.0) und/oder invertiert usw.

Zitat von »Mutzmann«

Ist Arnold sowohl in Maya als auch in 3DS Max enthalten?

Ja, Arnold ist in beiden enthalten. Die 3ds max Integration ist relativ neu, allerdings haben unsere ersten Tests gezeigt dass sie durchaus solide ist. Die Maya Integration ist schon relativ alt (und wird schon lange verlässlich in der Filmindustrie als ziemliche Standard-Kombination genutzt) und ist ziemlich solide. Da Solidangle nun zu Autodesk gehört, ist Arnold nun der Standardrenderer beider Apps. Für Cinema4D, falls du doch eine C4D Studentenlizenz willst, kannst du allerdings auch mal eine reine Arnold-Edu Version anfragen, ob du die bekommst weiss ich aber nicht. EDUs von Arnold Standalone gibt es aber auf jedenfall für Bildungseinrichtungen, ob auch als Einzelplatz Student Lizenz bin ich mir gerade nicht sicher.