Lese ich aus der Meldung richtig raus, dass du ein 6173x3556 großes Bild/Video bearbeiten willst? Kein Wunder das Keylight im RAM da in die Knie geht.
Ich nehme mal an, dass du nicht die CS5 hast, dann kann AE nur etwa 2Gb Ram verwalten und das reicht ihm wohl nicht. Die einfachste Lösung, die ich jetzt sehe ist, dass du das Bild/Video aufsplittest in zwei Hälften und die danach wieder zusammenführst.
Andere Lösung wäre RAM aufstocken und auf CS5 umstellen.
Natürlich nur, wenns auch wirklich daran liegt.