Also was sich für mich in After Effects zum Teil auch recht gut bewährt hat ist simples Clonen mit dem Kopierstempel, oder eben malen mit dem Pinsel. Zwar muss man hier meist frame-by-frame vorgehen, aber dafür zahlt es sich beim Ergebnis aus.
Ansonsten solltest du vielleicht mal einen Blick auf Mokey von Imagineer Systems werfen:
http://www.imagineersystems.com/products/mokey/
Das Tool kann nämlich im Grunde genau das, was du für deine Shots mit den Schwenks brauchst. Der Gedanke dahinter ist folgender: Wenn im Bild ein Schwenk ist, ist irgendwann der - ich nenne es mal Zielbereich - in dem ein Objekt entfernt werden soll auch clean zu sehen. Nun wird der Shot getrackt und der cleane Bereich aus, den man aus einem Teil des Shots gewonnen hat, dort eingebunden.
Kann man natürlich bedingt auch in AE von Hand machen, aber sobald man es mit jeglichen Verzerrungen hervorgerufen durch die Optik zu tun hat, ist man meist ziemlich verloren, wenn man nicht genaue Informationen über Brennweite, Chipgröße etc. hat.
Mokey macht da in der Regel einen recht guten Job, allerdings hat man häufig mit leichten Ghosting-Effekten zu kämpfen, sodass man letztendlich doch meist noch sieht, dass dort irgendetwas nicht stimmt. Dies hängt natürlich auch stark von der Größe des entfernten Objekts auf. Bei einem kleinen Punkt wie hier wird dies kaum auffallen. Entfernt man jedoch ein größeres Objekt, stößt man wieder auf die Problematik.
Ansonsten fürchte ich, bleibt dir nicht viel anderes als eben frame-by-frame rauszupainten. Ist zwar ein bisschen ätzend, aber es lassen sich sehr gute Ergebnisse erreichen.