FreeBSD для таких целей неплохо подходит. PF, и хороший сетевой стек... И менее хардкорно, чем OpenBSD. =)
Но если Linux привычнее, то можно и Vyos.
Или даже любой серверный линукс, и самому настроить фаерволл и маршрутизацию, тем более, что для домашних целей это не сложно, да и скилл прокачается. =) И получить как бонус, действительно полноценную среду, и возможность устанавливать произвольный софт без проблем.
Но в итоге, вероятнее всего, проблемой станет возможность загрузки хоть чего-то из этого, на указанной железке, в виду её специфики. =)
Простой
