Как происходит освобождение памяти после удаления обьекта?

Как именно работает освобождение памяти от объекта, что остается на его месте, к примеру уничтожается массив из 100 int, а после него уже располагаются другие объекты, то когда этот массив заберет сборщик мусора, у меня появится дырка на 400 байтов, не будут же данные после него смещаться?