То что физической памяти много - не значит что движок базы данных может ее всю использовать. Раньше было нормально потому что данных было меньше - можно просто удалить старые данные.
Думаю движок БД нужно другой - из "платных". А может просто ошибка в запросе из-за чего он сжирает больше памяти чем мог бы. Данное ограничение введено специально чтобы кто попало не ворочал BigData у себя на компе. У MSSQL Express - будут такие же проблемы там тоже 2 гига оперативки максимум.