Каков путь к big data?

Почитайте, запомните и повторяйте перед сном:

Нет никакой универсальной "серебряной пули" против проблем в самых сложных проектах, включая обработку "больших" данных.

Моя архитектура проекта, включая архитектуру используемой базы данных для этого проекта, в целом и полностью зависят от функциональных требований!

Я это понимаю, буду каждый раз самостоятельно проектировать архитектуру проекта, включая систему хранения данных (СХД) для этого проекта.

И напоследок: неважно сколько данных и какого типа, важно - как они связаны!

Мне нравится условный план, написанный тут.

Касательно "вытеснения" как Вы выражаетесь Питоном Джавы в этом контексте, то это справедливо.
Никаких преимуществ Джавы для анализа данных, что больших, что малых, в большинстве случаев не нужно.

никакого вытеснения нету, питону не по силам вытеснить java, из анализа данных, дела обстоят совсем наоборот, для высокоскоростной работы, и для манипулирования данными в памяти, используют именно статически типизированные языки очень популярны java/scala.
всякие питоны и js используют только для прототипирования, быстрой проверки идей.
К томуже зарубежом питон -> это основной язык используемый при обучении студентов программированию (HE "программистких" специальностей) как более простой для обучения язык, плюс удобно работать используя RELP ( https://ru.wikipedia.org/wiki/REPL ).
На динамически типизированных языках писать что-то простенькое гараздо проще. И поэтому так много всяких студенческих поделок на питоне для обработки данных.
Но нужно учитывать что использование динамически типизированных языков, для реально крупных проектов убийственно, как с точки зрения разработки и откладки, так и с точки зрения производительности.
Для прототипирования , для контрошек по математике питон это отличное решение, для реального бизнес проекта не стоит даже заморачиваться.
кстати для любителей собрать что-то быстро на коленке в 9й java будет идти jshell с relp https://blogs.oracle.com/java/entry/jshell_and_rel...

К хорошим вышеизложенным ответам добавлю ссылку вот на такую очень популярную схему с названием "Road To Data Scientist". Можно распечатать, повесить и отмечать галочкой, что знаете, что нет. Понятное дело, что схема достаточно относительная, но всё же.

https://habrahabr.ru/company/npl/blog/321918/