@stoik_kpd

Оптимальная обработка на php содержимого большого количества файлов?

Дано: десятки тысяч файлов разного размера (несколько мб) html формата, содержимое которых нужно обработать (с помощью preg_replact вытащить некоторые данные).

Топорный способ, который пробую, забивает процессор на 99,9% и память на 650-700 MiB:
Задаю массив со списком файлов и прохожусь циклом. В цикле пробовал целиком содержимое вытаскивать с помощью file_get_contents и тут же обрабатывать. Также пробовал вместо file_get_contents -> построчное чтение fgets, однако заметного результата так и не добился.

Приоритет в меньшей нагрузке сервера, время операции не столь важна. Подскажите пожалуйста алгоритм обработки такого большого кол-ва файлов с оптимальной нагрузкой.
  • Вопрос задан
  • 109 просмотров
Решения вопроса 1
Adamos
@Adamos
grep/sed/awk по крону. Результаты скидывать в папочку, которую уже будет разбирать пых.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы