Возможно ли на Ubuntu установить такой фаервол, чтобы разрешать отдельным приложениям доступ в отдельные подсети, а остальным запретить?

Посмотри про пространства имён (namespaces). Там можно много всего навертеть.

Попробовать запустить приложение которому разрешен доступ в подсети от определенного пользователя:
sudo -u приложение
потом в iptables:
sudo iptables -A OUTPUT -p tcp -m owner --uid-owner -o eth1 -j ACCEPT
только вместо -o eth1 надо как-то вставить требуемую подсеть, где-то там может быть ответ