Почему стали популярны less, sass, ruby on rails, bower, grunt? И зачем они нужны?

Почему стали? От лени и нежелания думать своим мозгом.
Популярны они сталит благодаря продвижению Гуглом, Яндексом и иже с ними всяких "стандартов написания кода". При том, что и Яндекс и Гугл в этом плане очень далеки от идеала.
Эти фреймворки хороши для сквозной разработки крупных проектов, когда все участники хорошо знакомы с данными методами, давно сотрудничают и т.п. Т.е. для тех же крупных компаний. При том, что в большинстве крупных компаний всё-таки имеются собственные стандарты.
Ну а остальные уже, как обезьяны, подхватили. И требуют БЭМ, SASS, Angular для статичного одностраничника. Начинаешь выяснять для чего заказчику всё это надо - "а мне так наш дизайнер посоветовал"... Или когда берёшься доделывать чужой проект с кучей недоделанных хвостов в SASS - то ещё удовольствие и "оптимизация написания кода" - тупо вручную текстовым поиском приходится по фалам искать потерявшиеся переменные.
Сама настройка, выработка общих стандартов и синтаксиса для этих фреймворков - занимает кучу времени.
Так что по большому счёту вы ничего не пропустили. Браузеры все равно не понимают SASS и иже с ним))
Пишите как вам удобнее. Если клиент настаивает - попробуйте выяснить причины такой настойчивости. Если случай клинический - шлите лесом!

Просто вы потерялись в середине нулевых, а по некоторым вещам и в начале.
Стоит немного наверстать.

Писать конечно можно и в блокноте. Я в середине нулевых начал пользоваться eclipse, nusphere (phped), теперь же жизнь без PHPStorm не представляю. Для простого кода обычно использую sublime.
Ну и конечно, я так же не представляю жизнь без препроцессоров, современных наработок и т.д. Все что вам кажется дикостью. К примеру вместо PHP на серверной стороне использовать NodeJS или вообще Go.

Помните, в 90е сотовые телефоны были редкостью ? Они были в новинку.
Но сейчас, жизнь без них (я про обычные сотовые, без чатиков) просто не могу представить.

Все как и с любым другим направлением, технологии развиваются, человек привыкает к удобствам и обратно уже не хочет. Соответственно, компании ищут сотрудников, которые бы обладали набором современных знаний, т.к. для командной работы это очень спасает.

Какой ужас. Что в вопросе, что в ответах. С одной стороны, и удалять такие вопросы не нужно. С другой стороны нет никакого механизма здесь, что бы дать понять, где начинается бред.

Хотел написать много, цитирую как вопрос так и ответы, но передумал.
Коротко:

Мои навыки и мои знания позволяют делать красивые и функциональные проекты.

Совсем не понимаю, оно же ведь неплохо получается и без всяких дополнительных вещей?

Задумайтесь, делаете ли вы проекты или сайты-визитки, корпоративные сайты, интернет-магазины от $100 за пять рабочих дней ?

Ознакомиться нужно сначала с:
www.phptherightway.com
https://github.com/dypsilon/frontend-dev-bookmarks

Руби, пхп, питон или ноджс в подавляющем большинстве - неважно. Но вот я отвечал на подобный вопрос про руби и постарался ответить объективно на вопрос о различиях с пхп: PHP+Symfony или Ruby+RoR?

Если еще короче: раз вы сейчас задаете такие вопросы, значит, не приходилось сталкиваться с задачами, где без этого всего никак. А пока не столкнетесь сами, никто вас "не убедит", что это все необходимо

Боюсь ошибиться, но это возникает от невозможности или нежелания развивать кругозор, возьмите за правило в воскресный вечер на пару часов заглядывать хотя бы в хаб "Веб-разработка", там люди для Вас уже все данные агрегатируют в статьи, многие темы пересекаются, даже особо не вникая в суть каждого инструмента через месяц-два вы будете прекрасно ориентироваться и в них и в решениях на их основе. Без этого вы не поймете, что Вам нужно, а что нет. Не верьте людям, которые говорят, что препроцессоры CSS, например, бесполезная вещь, мусор для лентяев. Они или сами не знаю что это, либо мазахисты. Еще никто не жаловался из тех кто пробовал. Еще бы... кому интересно станет противно, от того что миксин за тебя пишет вендорные префиксы, переменные хранят весь набор цветов твоего проекта или других прелестей.

В свое время (PHP4) мы с другом долго спорили, для чего нужен ООП. Пришли к выводу, что только для облегчения командной работы. С тех пор язык развился, теперь ООП дает кучу других преимуществ.
Сейчас такая же ситуация со всеми этими пре- и пост-процессорами, менеджерами и т.д. Удобно для больших проектов, над которыми работает куча народу, а для небольших сайтов это только замедляет разработку.
Вывод: хотите на работу в крупную компанию - изучайте, хотите быть фрилансером - отберите то, что вам будет удобно использовать, а остальное - в топку.

Спрос рождает предложение. Самое обычное дело.
Растет объем и сложность задач, улучшаются старые и создаются новые инструменты для их решения.

Не парься, эти вещи лишь упрощают и автоматизируют рутину для тех у кого есть мозг. Без них вполне себе можно не спеша работать и делать ВСЕ.

А вот если наоборот, как в моем случае, все эти вещи знаю, а программировать один фиг не могу. Вот тут уже проблема. И less с grunt'ом за меня ничего не напишут.

Посмотрите вот тут ролик Трэвиса Нельсона. Он рассказывает о своем видении CSS-фрейморков. Хорошо это или плохо? Какую выгоду можно получить от их использования? Есть ли правильное время для того, чтобы начать изучать фреймворки? И нужны ли они вообще?