Почему в отчете netstat много соединений с 127.0.0.1?

Еще бы понять, куда вообще копать, чтобы можно было понять, в чем проблема. Логи я не знаю как смотреть, там в основном записи типа:

upstream timed out (110: Connection timed out) while reading response header from upstream
limiting requests, excess: 10.104 by zone "two"

В первом случае я так понимаю просто кто то не дождался очереди, во втором по правилу сбросилось. Как из этого понять, что память ест, я не знаю. top показывает кучу процессов php-fpm, может в этом дело может быть? Самое интересное, что сайт периодически показывает ошибку подключения к базе, хотя к базе там почти нет обращений, поскольку там кеширующий плагин стоит и к базе доступ только модераторы имеют, которых пару человек всего.

Андрей Шульц, В первом не дождался ответа от php-fpm, т.е. скрипт работал больше минуты, если таймаут не изменён. Во втором слишком много запросов с адреса в единицу времени, и поэтому, довольно вероятно, что кто-то вас атакует, либо лимит слишком низкий.

Если процессов php-fpm много, и они съедают память, то их лимит надо значительно уменьшить. Максимальный RPS, в итоге, может даже больше стать, из-за снижения накладных расходов на переключение между ними, а система не будет вставать колом, упираясь в память. Это может или решить проблему, или увеличить стабильность работы.

Вообще, если вы не разбираетесь в вопросе, то вам будет лучше кого-то нанять - с такими проблемами совсем не просто разобраться по подсказкам.

Борис Сёмов, сменил tcp на сокет (сразу пропали все подключения на локалхост) и сменил pm = static на pm = ondemand, в итоге памяти стало есть 17% только. Видимо проблема была в этом.

И да, нанять кого то надо было, но владелец сайта считает, что я с этой задачей справляюсь и не хочет никого нанимать, хотя я ему это предлагал, поскольку я больше по разработке, а не по сисадминству. Но за год как то удалось из проекта, падающего при отключении кеша сразу превратиться в более менее стабильный, который держался месяц и без кеша и не одну DDOS атаку пережил.

Андрей Шульц, Ещё надо ограничить всё же максимальное количество процессов php (max_children).

Борис Сёмов, в данный момент у меня стоит pm.max_children = 10. 15 уже нагружать память начинает

Судя по логам, не совсем удачно выбрал число. И для 10 и для 15 такое показывал

WARNING: [pool www] server reached max_children setting (10), consider raising it

Вообще есть где то мануал по настройкам исходя из конфигурации? В большинстве статей тупо пишут цифру никак не аргументируя. Например для данного значения вот что нашел:

pm.max_children = Total RAM dedicated to the web server / Max child process size

Было бы неплохо найти и для остальных значений.

Андрей Шульц, Формула вполне нормальная, в принципе. Это максимум процессов, способных поместиться в свободной памяти. Часто, стоит часть памяти оставить, чтобы был кеш файловой системы, так что надо брать даже меньше лимит процессов, чем получается по ней.

WARNING: [pool www] server reached max_children setting (10), consider raising it

Это не всегда значит, что реально надо сделать больше обработчиков. Чаще, это значит, что не хватает производительности, и надо просто больше ресурсов. Упираться может в io или проц, тут уж надо мониторить чем-нибудь.