Отключили VPS за превышение RAM — что делать?

Контроль памяти процесса Linux
тут попробуйте глянуть

Zabbix, Nagios.

Судя по Вашей истории, сервер (или его IP) отключили из-за DDoS, а не из-за RAM.
Это распространённая практика у хостингов, чья инфраструктура недостаточно защищена от сетевых атак, поскольку такие перегрузки влияют на качество услуг других клиентов (инфраструктура ведь у всех общая).

Можно настроить мониторинг ресурсов, чтобы видеть, что происходило незадолго перед отключением сервера с сетью/кол-вом пакетов/другими ресурсами.

Попробуйте поставить перед сайтом какой-нибудь CDN-сервис, который станет прослойкой между атаками и вашим сайтом.
Попробуйте купить маленькую VPS у DDoS-защищённого провайдера и сделать её фронтэндом к сервису. Или купите VPS побольше, чтобы смигрировать на неё весь сервис.

У меня жор памяти был из-за Apache. Дропнул его в пользу nginx и больше проблема не повторяется.
Вообще читайте логи.
О недоступности сервера мне сигнализирует Яндекс.Метрика и внутренняя служба у хостера (по SMS).

Если DDoS то нужно запускать сервер через CDN
https://www.cloudflare.com/features-cdn/

Если это DDoS, то:

Встатить у хостера у которого есть DDoS-защита. Например, из бюджетных - есть у ruweb.net. Базовый уровень входит в оплату. Дополнительная DDoS есть и за дополнительные деньги и не дорого. Базовой хватает для много.

Проанализировать логи. Атака шла наверняка только на 1 сайт.
Раскидать 5 сайтов по пяти маленьким VDS. В крайнем случае потеряете только сайт.

Жор памяти зависит от архитектуры вашего приложения. Возможно, можно настроить программно, чтобы пресекать жор памяти. Но сервер все равно будет лежать. Зато хостер не будет отключать и вы будете контролировать процесс.

Снаружи контроль ведется, например, через Yandex Метрику. Изнутри сервера - например, через Zabbix.

Сделать файловер IP на DNS. Например, zilore умеет.
Но это нужен будет второй сервер. Для больших гарантий - у другого хостера. Тогда и от DDoS будет некая защита и от аварий в датацентре и на каналах связи к нему.

Валить нахрен с такого хостинга.
Хостер продал ресурсы, насколько вы их потребляете его заботить не должно.

Идите туда, где виртуализация на KVM.

Если отключили за ddos (вообще вряд ли, скорее это было школо-dos, на который нормальный хостер не обратит внимания), то man cloudflare.

webopulsar