Что выбрать Spring или Talend?

На самом деле мне наверное нужно, то что вы делали. Правда данных будет намного меньше. А заказчик сказал изучить talend для обработки, но я начал сомневаться и нашел Spring Batch. Спасибо буду смотреть в сторону спринга.

renniqs: Я с талендом не работал, но коллега, который работал с ним очень плотно отзывался о нем крайне отрицательно. И собсно он мне посоветовал и принес на проект Spring Batch. Мы на батче написали уже несколько модулей, как для разовых, так и для периодических задач. В целом очень довольны.

protven: Есть возможность поделиться готовым решением модуля?

renniqs: К сожалению код - собственность компании. Но в целом Spring Batch довольно прост, достаточно выполнить несколько хелло-ворлдов и можно писать свою задачу.

Если кратко, то начните с того, что распишите что вам надо сделать. Например
- задача разовая/периодическая
- запускаемся по раписанию/или по команде.
- мы читаем оттуда-то (файл, база данных).
- мы обрабатываем данные так-то
- мы мы записываем данные туда-то.
- ошибки мы обрабатываем так-то (или пишем в лог и игнориуем или роняем выполнение джобы)

Исходя из этого планируете структуру своего модуля.

Запуск по команде можно сделать например так
Запуск через веб-интерфейс например так
Периодический запуск можно сделать с помощью всеможных шедулеров, типа Quartz, @scheduled в самом спринге есть, банальный кронтаб.

Для чтения используется https://docs.spring.io/spring-batch/trunk/referenc...
Есть стандартные реализации для чтения из БД, из csv файлов например или можно писать свою.

Для обработки прочитанных данных традиционно принято писать отдельный процессор
Процессоры можно объединять в цепочки - композитные процессоры.

Ну и для записи результатов надо использовать ItemWriter, опять же - есть стандартные реализации, например для записи в БД, можно написать свои реализации.

Для обработки ошибок можно настроить или skip-exceptions для списка ошибок, которые можно игнорировать или на каждый шаг можно повесить Listener, со стандартными методами "before", "after" и "onError".

Для параллельной обработки я использовал Partitioner, но вариантов масса.
Я бы советовал сначала сделать последовательный вариант и только потом, если вдруг надо ускорять процесс, пытаться его параллелить.
Так же не забывайте выставлять корректные размеры fetchSize и commitSize, это соотвественно размер чанка данных, которые вы читаете и записываете.

На гитхабе огромное количество примеров на любой вкус, да и в сети тоже полно уже готовых примеров.
Позапускайте готовые, поймите как они работают и пишите свое по аналогии.

protven: Спасибо большое!