Oder alles mit einer Combined Matte keyen. Dann ist zwar alles Schwarz-Weiß, aber das hat den Vorteil das du mit schwarzen oder weißen Farbflächen halbtransparente Flächen noch gut retuschieren kannst, meinst reichen da ein paar Keyframes und eine grobe Maske. Dazu halt mit Clip Black und Clip White rumspielen. Keylight ist mächtiger, als du denkst.
Zum Schluss nimmst du die Schwarz-Weiß Ebene einfach als Luma-Matte unter deiner Original-Footage.