Factory method создает лишнюю абстракцию?

Фабричный метод - это способ абстрагирования создания конкретного экземпляра. У нас есть общий интерфейс фабрик, затем на этом интерфейсе строится конкретная фабрика, создающая объект. Все понятно. Но у меня возникает вопрос - зачем используется отдельная прослойка в виде фабрики, если можно объединить продукты под общим интерфейсом и отдавать их из клиента, внедряя зависимость. Ведь в конечном итоге мы все равно инициализируем фабрику, так почему бы не избавиться от лишней прослойки?

upd:
Правильно ли я понимаю, что суть в том, чтобы избавить клиента от "зависимости" от объекта?