Как на PHP выполнить долгий скрипт?

увеличивая memory limit объем данных обработанных так же увеличивается.
ob_* и flush использую для записи данных в файл (не знаю на сколько это правильно).
memory limit был указа 256M изменил на 512M ошибка та же вылетает

Алексей: "ob_* и flush использую для записи данных в файл"
вы меня расстраиваете, не делайте так.
file_put_contents + FILE_APPEND всегда хватает, или fopen на крайняк, а так делать очень плохо.
либо увеличивайте мемори лимит еще сильнее (4гига например), если не доходит что вы делаете плохо и все таки хотите познать жизнь через боль.

Юрий: У меня стоит задача по битриксу т.е.

Есть некий скрипт

$crmContact = new CAllCrmContact(false);
$dbResult = $crmContact->GetList(
    array('ID' => 'DESC'),
    array('CHECK_PERMISSIONS' => 'N'),
    array('ID', 'NAME', 'LAST_NAME', 'FULL_NAME', 'DATE_CREATE', 'ASSIGNED_BY_ID')
);

while ($contact = $dbResult->GetNext())
{
   // здесь вносятся изменения в бд и сохранаются логи в файл
   // при увеличении памяти (memory limit) до 4G обрабатывается только 70т 
   // после выдается ошибка
}

Все никак "догнать" не могу как эту ошибку победить (

Алексей: 1) я надеюсь в логи вы начали писать file_put_contents с флагом FILE_APPEND то есть строку не накапливаете.
2) если вы говоорите что данные хоть как то обрабатываются значит crmContact->GetList загружает их полностью (иначе я бы предложил загружать эти записи по частям например по 1000 обрабатывать и загружать следующее), а проблема возникает уже в месте "здесь вносятся изменения в бд и сохранаются логи в файл" нужно смотреть этот код на предмет того где он потребляет столько памяти.
под подозрением строки типа
$str .= 'ololo';
$arr[] = 'new item';
то есть где вы потребляете память строками или новыми элементами массива.

Юрий: когда начал использовать file_put_contents то объем выполнения увеличился, но ошибка все же выполняется.
У меня в начале при каждом новом цикле обнуляются переменные. Может это как то повлиять?

Алексей: если обнуляются, то не должны влиять.
по нормальному надо брать xdebug и по шагам смотреть где память теряется.
в вашем случая я бы просто порекомендовал старый добрый метод "исключения". убираете часть кода/запускаете и смотрите выполняется ли до конца. если нет - убираете еще кусок. если выполняется значит потихоньку добавляете код, пока не дойдете до места которое сьедает память.

Юрий: Спасибо за рекомендации, буду пробовать

не совсем понял как выполнить прерывание скрипта?

При запуске скрипта проверяете наличие tmp-файла - есть - достаете значение текущей итерации с записью в переменную $iterationFrom. Далее при запуске логики работы скрипта используете не foreach, а for ($i = $iterationFrom; $i < count($items); $i++), внутри цикла if ($i - $iterationFrom >= $maxIterationCount), которые выполняет break for цикла и запись $iterationFrom в tmp-файл. Не могу целый ответ написать, дико неудобно через комментарий

Николай Конюхов: а в данном случае while не подойдет?

Есть некий скрипт

$crmContact = new CAllCrmContact(false);
$dbResult = $crmContact->GetList(
    array('ID' => 'DESC'),
    array('CHECK_PERMISSIONS' => 'N'),
    array('ID', 'NAME', 'LAST_NAME', 'FULL_NAME', 'DATE_CREATE', 'ASSIGNED_BY_ID')
);

while ($contact = $dbResult->GetNext())
{
   // здесь вносятся изменения в бд и сохранаются логи в файл
   // при увеличении памяти (memory limit) до 4G обрабатывается только 70т 
   // после выдается ошибка
}

Алексей: Суть в том, чтобы прервать выполнение скрипта до получения ошибки о переполнении памяти с сохранением состояния на котором он остановился. Я себе вашу задачу представляю так - делается крон правило с выполнением каждые 5 минут. При этом данные нужно обновлять только каждый день. При запуске скрипт проверяет наличие tmp-файла с текущей позицией запуска: 1) Файла нет - запускаем, к примеру, через require выполнение основного скрипта обработки. 2) Файл есть - достаем данные из файла - там может быть указатель позиции, на которой скрипт остановился или флаг успешного выполнения (-1, к примеру) - если там -1 - проверяем mktime файла - если данные успешно обработаны сегодня - ничего не делаем, если разница с текущем временем > суток - удаляем файл и начинаем выполнять основной скрипт обработки .

// cron_wrapper.php
define(POS_END, -1);
define(FRESHNESS_TIME, 86400); // сутки

function start_update($position, $flagFile) {
	$crmContact = new CAllCrmContact(false);
	$contactsRoundCount = 20000;
	$dbResult = $crmContact->GetList(
		array('ID' => 'DESC'),
		array('CHECK_PERMISSIONS' => 'N'),
		array('ID', 'NAME', 'LAST_NAME', 'FULL_NAME', 'DATE_CREATE', 'ASSIGNED_BY_ID')
		// добавить LIMIT => $position, $contactsRoundCount
	);

	$i = 0;
	while ($contact = $dbResult->GetNext())
	{
	   // здесь вносятся изменения в бд и сохранаются логи в файл
		$i++;
		if ($contactsRoundCount <= $i) {
			// дошли до последней записи, прекращаем выполнение скрипта
			// записываем данные о позиции в flagFile
			file_put_contents($flagFile, $position+$i);
		}
	}
	
	// если вышли из while до достижения $contactsRoundCount значит данные для обновлений закончились
	if ($i <= $contactsRoundCount) {
		file_put_contents($flagFile, POS_END);
	}
}

$flagFile = 'current.pos';

if (file_exists($flagFile)) {
	$currentPos = file_get_contents($flagFile);
	if ($currentPos == POS_END) {
		if (time() - filemtime($flagFile) > FRESHNESS_TIME) {
				$currentPos = 0;
				unlink($flagFile);
		} else {
			die("Nothing to update");
		}
	}
}

start_update($currentPos, $flagFile);

Николай Конюхов: дефайны с ковычками и $currentPos = 0; перед $flagFile = 'current.pos';, а то если скрипт первый раз запускается - будет null

Николай Конюхов: Спасибо за ответ, но я пока что буду искать где память съедается )

Николай Конюхов: Воспользовался вашим решением, спасибо.