Scrapy как сохранять большие объемы данных?

Если все это в csv выгружать более 400 000 строк не будет ли потом проблем?

А при чем здесь Scrapy?????
Вам виднее что вы потом собираетесь делать с этим файлом.
При последовательной построчной обработке - никаких проблем хоть с миллиардами строк не будет.
А вот если вам понадобится произвольные строки удалять или обрабатывать не подряд - это гемойнее.

В целом, конечно, это зависит от того, как вы потом хотите с этими данными работать. Но вообще каких-то особых проблем быть не должно, 400 000 строк - это не так уж и много.

спокойнее пихать в монгу, особенно когда JSON, и постобрабатывать, удаляя

в файл может случиться кодировочка не та... и снова рестарт

Данные, конечно же, сохранять в реляционную СУБД, хоть SQLite, хоть MySQL.
400 тыс. строк это фигня. даже для SQLite.
С СУБД просто работать: чтение записей с лимитом по 1000 штук или всех сразу, делать всякие выборки по условиям и т.д.