Как удалить тег с определённым src?

Вам понадобятся:
Node#removeChild
document.querySelector
селектор по атрибуту
Немного трудолюбия, чтобы слепить это все вместе.

Только скрипт от этого не перестанет выполняться, так как к этому моменту его содержимое будет считано, распарсено, проинтерпретировано и запущено.

Удалить-то можно - делаешь querySelector('[src="main.js]') - только вот беда в том, что пока скрипт не загрузится, он не появится в DOM, а, следовательно, ты не сможешь его гарантировано удалить до выполнения.