Почему элемент не пропадает?

Реакт не в курсе что вы там еще в dom добавляете.
Можете дать всему списку ключ и менять этот ключ чтобы вся нода списка удалилась и создалась заново - тогда и левый элемент пропадает.
Но вообще лучше ничего в обход реакта не добавлять

Потому что React никак не взаимодействует с элементами, которые созданы не с помощью React. У элементов созданных React есть специальные свойства добавленные библиотекой(__reactEventHandlers$[hash], __reactInternalInstance$[hash]).
Есть три варианта удалить созданные вручную элементы:
1. Удалить их вручную, для этого достаточно добавить им общий селектор и уничтожать перед обновлением.
2. Заменить ключ компонента списка, как предлагает Robur. React полностью заменит ваш список удалив и создав новую DOM ноду.
3. Демонтировать список и смонтировать заново. Тут React демонтирует компонент, удалит родительскую ноду вместе с вашими элементами и смонтирует новый компонент и создаст новую ноду.