Um was für Objekte handelt es sich denn ?
Ich hab das Problem bei großen "Prefabs" wenn ich die lösche schmiert er mir auch ab.
Gelöst hab ich das Problem indem ich das Objekt selectiert hab und dann die Kamera hab wegschauen lassen, und anschließend erst gelöscht.
Klingt zwar doof aber so hats geklappt.

Nur kann ich dir nicht sagen ob dein Problem auch damit was zutun hat.