Продолжает ли листенер onclick (Который прям в тэге) висеть в памяти после удаление объекта?

При каком удаление? Можно полностью удалить - тогда ничего не будет.
Можно "выбить" из DOM - тогда все сохраниться.
Даже если он не удаляется, объекта нет - нет события! Правда, если удалять по 500 кнопок, то память будет забита. Но на то нам и мусорщик - подчищать невидимые объекты, до которых нельзя добраться.