Ну вообще говоря отключать это не нужно. Не каждый, кто пользуется вашим приложением видит так же хорошо, как и Вы. Этот ползунок сильно помогает людям с плохим зрением и это нужно учитывать.
Что бы отключить такое поведение, достаточно отключить свойство adjustsFontForContentSizeCategory у UIFont, которое не зря по умолчанию выставлено в true.
По умолчанию шрифт полученный методами preferredFont(forTextStyle:), preferredFont(forTextStyle:compatibleWith:) и от UIFontMetrics включает это свойство, для остальных шрифтов - отключён. Вот ваш способ и сработал.
