Amateurfilm-Forum

Das nennt sich 3D Mesh, sowas einfach mal schnell aus einem Video erzeugen funktioniert nicht. Es gibt verschiedene Wege zumindest teil-automatisiert zu so einen Ergebnis zu kommen. Das ist eine durchaus übliche Aufgabe im CGI Bereich, wenn es darum geht, gefilmtes Material und 3D Objekte zu kombinieren. Die nötigen Workflows lassen sich aber nicht mal auf die Schnelle erklären, da ist schon tiefergehendes Fachwissen gefragt. Ausserdem werden solche Dinge normalerweise schon beim Dreh berücksichtigt in dem z.B. mehrere Kameras aus unterschiedlichen Perspektiven zum Einsatz kommen, die Protagonisten Tracking Anzüge oder zumindest Marker haben, von den Schauspielern 3D Scans erzeugt werden, mit Motion Control gearbeitet wird usw.

Es gibt ja inzwischen viele Apps, die sowas live machen. Faceswap, Snapchat(?) ich kenne mich da nicht aus, aber vielleicht findest du da ja was passendes, was du einfach nehmen kannst? Dass es da so digitale Avatare gibt könnte ich mir durchaus vorstellen

Wenn es "nur" um die Edges geht, könnte vielleicht Lockdown (hier der Link zum DP-Artikel) interessant sein.

"Lockdown" scheitert, wenn sich das Objekt dreht, z.B. ein Kopf der zuerst nach links und dann nach rechts schaut. Das Plugin kann nichts tracken, was zeitweise verdeckt wird, es "denkt" auch nur zweidimensional. Wenn es wie auf den Bildern aussehen soll, muss das jeweilige Objekt als 3D Mesh rekonstruiert und entsprechend den Bewegungen im Film rotiert und ggf. auch noch verzerrt werden. In dem Video wurde das im Prinzip so gemacht:



und hier wird kurz und bündig erklärt, wie es geht, muss man nur mal schnell 1:1 nachmachen

Oh wow. Ganz einfach