Я бы посоветовал книжку
"Windows Internals" Марка Руссиновича. Там описан процесс выделения памяти и вообще Memory Manager.
Так же стоит ознакомиться с тем как это делает процессор. Например
вот описание
Почитать справку по функциям VirtuallAllocEx, VirtualLock и вокруг