Как правильно настроить обработку больших текстовых файлов на сервере, используя php?
Здравствуйте.
Есть скрипт для подстчета слов в тексте, написан на php.
Пользователи будут загружать тексты и получать статистику текста.
Проверял большие тексты, обрабатываются довольно быстро, до 2-5 секунд. Использование памяти на самом большом тестовом тексте было 400 мегабайт.
Вопрос в том, как правильно настроить обработку файлов на сервере. Если 10 пользователей одновремено отправят тексты на обработку, памяти не хватит.
Нужно ли 2 сервера? Один для сайта, а второй для обработки текстов?
Нужно написать и настроить php демон, который например будет следить за загруженными файлами, обрабаывать новые и удалять обработанные?
Да, лучше сделать очередь и фоновую обработку текстов. Можно использовать систему очередей (например, RabbitMQ). При необходимости обработку можно будет вынести на отдельные сервера (если файлы большие, их много и обрабатывать требуется быстро)
для этого ключ -w вроде как, но всё равно это не решение ибо человеку вероятно нужно считать не только общее число слов но и дать статистику по частоте.
