Мой опыт подсказывает, что как раз все Приложения может жить на одном сервере, даже можно запустить несколько экземпляров одного и того же приложения для увеличения скорости скачивания информации, а вот результаты для сохранения в должны быть в разные базы.
Если рассмотреть Приложение, то оно представляет цикл:
- формирование URL ( как правило быстро )
- HTTP запрос ( оч. медленно )
- парсинг (быстро)
- сохр в БД ( медленно )
т.е большей частьи времени приложение будет ожидать выполнения HTTP запроса и сохр в БД.
так что можно запустить столько приложений, сколько памяти хватит.
Судя по объемам (алибаба), одного сервака для БД явно не хватит, а чтоб БД работала быстро ей надо много свободной оперативки.
Если исп БД MySQL, то там есть ARCHIVE Engine, которая настроена на быструю вставку. Есть ограничения, но всегда можно настроить репликацию на InnoDb или куда нужно.
Простой
Средний
