Как не уронить сайт запуская громадный скрипт в кроне?

Можно разбить на ТРИ скрипта, давая каждому достаточно времени для выполнения и установив флаги, позволяющие убедиться, что предыдуший выполнен.
Третий - скачивание фоток - можно запускать многократно, проверяя, есть ли объекты для обработки, и обрывать по таймауту.

Adamos: Полезно. а есть что почитать по теме разделение скриптов? Вроде множество способов есть.

А что вы тут собрались читать?
Скрипт 1 выставляет флаг "начал работу", скачивает и распаковывает архив, выставляет флаг "закончил работу".
Скрипт 2 запускается, скажем, минут через пятнадцать. Проверяет флаг "закончил работу" первого, парсит xml, заносит в базу данные, в том числе адреса фоток, которые надо скачать.
Скрипт 3 запускается каждые 5 минут, проверяет, есть ли в базе нескачанные фотки, выбирает первую, скачивает и помечает загруженной, проверяет, сколько прошло времени, если мало - ищет следующую, иначе заканчивает работу.
Собственно, и все. 1 и 2 разделять, в принципе, необязательно. Зависит от объема файла и ограничений хостера.

А скрипт у вас таки на PHP или perl? В принципе для решения это не столь важно, просто в тегах стоит PHP, а в htop у вас виднеется perl. Или он туда случайно попал?

Подскажите как поступить, можно ли ограничить скрипту количество используемых процессов.

И php, и perl однопоточные, так что сами по себе они больше одного процесса не создадут. Если же вы заморочились на многопоточность, то и ограничивать надо на уровне приложения.

neol: PHP. Выполняемый скрипт nmls.php. Perl выполняет GET запрос к php скрипту.

Иван Антонов: Хм. Судя по имени файла, мы с вами решали одну и ту же задачу ;)

Я решил ее так, как описал выше. Для разбора файла использовал XMLReader - но для он нормально работает только при наличии достаточной памяти. У меня хостинг для Битрикса, там памяти достаточно.

Adamos: я использую simplexml. на 8 ядерной машине с 24 гб памятью.

Иван Антонов: Не исключено, что корень ваших проблем - именно в этом.
Громадные файлы и SimpleXML, прямо скажем, не созданы друг для друга.
И что, у вас в настройках пыха прописано, что любой скрипт может жрать всю многогиговую память?