Что будет, если включить на одном свитче RSTP?

Может на небольшое время заблокировать трафик, пока слушает, нет ли в сети других RSTP. И всё, в остальном штатный режим работы.

Если для примера взять кольцо на 3 свичах - STP/RSTP достаточно включить лишь на любом одном, этот свич решит, что он корневой и заблокирует свой же линк для устранения кольца - ведь получит собственный же Hello на интерфейсе, который остальные свичи честно ретранслировали как рядовой L2-пакет. Два других свича могут быть вообще неуправляемыми.