Есть ли смысл учиться верстать адаптивно без фреймворков?

Да все путают сетку и фреймворк.
Если надо адаптив - то сетка сильно упрощает жизнь, на любой странице. Не важно, из бутстрапа она или Susy.
Если делать темы для сайтов - то тут нужен фреймворк. Абсолютно все темы на themeforest сделаны на основе фреимворка. Не важно какого, у некоторых авторов он свой. Тут не вопрос в том, что "я не могу запилить с нуля модалки, формы и прочие приблуды". А в том, сколько времени я потрачу на это. И в том, что зачем пилить каждый раз заново функционал который есть в каждом проекте. Поэтому и беру готовый. А свое время трачу на реально интересные вещи проекта.
А еще я уверен что в моем коде разберется человек, который никогда меня не видел. И основные вещи даже имеют документацию. (на сайте фреимворка)

Если вопрос автора в том, что "стоит ли учиться верстать адаптивно без сетки?" то, конечно это надо знать. Как сделать раскладку блоков на флексах, флоатах, inline-block и тд. Но в будущем в проектах и на работе везде будет использоваться именно сетка.

Параллельно 2 мя способами - с и без фреймворков.
Без - дает лучшее понимание, но чтобы добиться устойчивости результата в разных браузерах - нужно попотеть.
С - дает лучший и быстрый результат

Разумеется, да.
Вы должны понимать сам процесс, а фреймворк - это лишь инструмент.

Может покажется смешно, но я не могу адаптивно верстать на бутстрапе, так как у меня там 5 и 7 колонок бывает. Начал использовать flexbox, ставить ширину в процентах и про бутстрап забыл) 12-колоночная система не очень гибкая, а четвертая версия ещё не вышла.

Чтобы запилить сетку как на Bootstrap самому нужно понимать следующие темы CSS:
1) Блочная модель документа
2) Свойство Float
3) Методы очистки потока в CSS
ну и прочитать ЭТО