Das Problem ist das Audacity einen relativ simplen Rauschfilter hat und nur das rausfiltert was 1:1 dem Profil entspricht, wenn du aber sprichst vermischt sich das Rauschen mit dem aufgenommenen Audiosignal und Audacity kann das nicht mehr richtig filtern - also alles soweit normal.

Also meiner Erfahrung nach hat Audacity einen gar nicht so üblen Rauschfilter. Wenn ich damit arbeite, speise ich den Rauschfilter mit Material, wo nur Rauschen zu hören ist und wende ihn dann an (das ist sicherlich klar). Allerdings benutze ich den Filter auf niedrigen Einstellungen und das dann aber mehrmals - und zwar immer mit neuen Rausch-Sampls! Bringt meiner Erfahrung nach bessere Ergebnisse als einmal "intensiv" einzustellen.

Deine Problematik klingt beinahe danach, als hätte man bereits den Rauschfilter genutzt, da Audacity meiner Vermutung nach zum Rauschfilter auch eine Art Noisegate nutzt. Viel mehr kann ich dir an dieser Stelle aber auch nicht mit Tipps helfen, tut mir Leid.