Большая ли разница между версиями Laravel?

Различия между версиями есть в документации https://laravel.com/docs/5.6/releases
С каждой версии на каждую надо смотреть отдельно.

В целом фреймворк внезапно не меняется с каждым релизом.

Установил 5.4

Где логика - последняя 5.6.
Зачем начинать с заведомо устаревшей базы.

по этой версии меньше видеоуроков

зато по каждой версии есть отличная документация даже с поиском, и даже если что-то изменилось найти можно в два клика.

Особых изменений нет, но Laravel 5.6 совместно с PHP 7.2 выдает более хорошие показатели в плане производительности и нагрузки, а если мне не изменяет память то примерно даже в 2 раза превосходит версии ниже

Если я буду смотреть видео по 5.3, работая на 5.4 то ничего страшного?

Нет, но лучше последнюю поставить.